olap概念
OLAP（On-Line Analytical Processing）即联机分析处理，通过对数据大量分析，得出分析报告，提供决策支持，其侧重数据分析能力，比喻说用户行为分析。
与之对应的是OLTP（on-line transaction processing）即联机事务处理，也就是我们熟知的关系系数据处理，比喻说MySQL、Oracle等，用来记录某类业务发生的行为，其强调的是在线事务处理、小批量数据操作，比喻说银行交易、电商会员注册等。
OLAP/OLATP对比
OLAP 功能型分类
ROLAP: 关系型OLAP
特点：基于原始数据灵活的查询分析，但是其性能差
代表：Hive、Spark、Impala、Presto、Clickhouse、Hologres
MOLAP: 多维型OLAP
特点：基于预聚合数据分析，性能高，灵活性差
代表：Kylin、Druid
HOLAP: 混合型OLAP
混合型OLAP同时具有ROLAP、MOLAP的特点，查询明细数据使用ROLAP,查询聚合数据使用MOLAP。
架构上分类
MPP架构
html动物介绍滑块切换页面模板
一款html动物介绍滑块切换页面模板
64 查看详情
MPP即大规模并行处理，也就是一种分布式并行处理的方式，将一个计算任务下发给不同的计算节点共同完成计算结果。对于MPP架构有以下几个特点：
1.并行计算(基于内存)
2.shard-nothing,无共享模式，即每个节点有自己CPU、Memory、DISK
批处理
批处理也是一种分布式并行计算框架，也就是我们所熟知的MapReduce、Hive、Spark等，与MPP相比：
1.MPP确定的计算必须要在确定的节点上，而批处理可以在任务节点上
2.MPP中间结果保存在缓存中，而批处理需要落入磁盘，因此其查询延时更高
3.MPP做横向扩展需要数据重分布，而批处理只需要增加计算并发即可，其横向扩展能力更强
MPP on Hadoop架构
由于MPP的计算能力与批处理架构的扩展能力，因此衍生了MPP on Hadoop架构，以impala、presto为代表。
基于此架构，中间结果不写磁盘，极大降低了其查询延时，并且也可以通过横向扩展计算节点提升其计算能力。
OLAP 选择
在当前面对大数据量、低延时、灵活查询的场景下，没有一个OLAP引擎能够完全满足所有场景，需要根据特定的场景做tradeoff.
以上就是OLAP介绍的详细内容，更多请关注创想鸟其它相关文章！
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如发现本站有涉嫌抄袭侵权/违法违规的内容， 请发送邮件至 chuangxiangniao@163.com 举报，一经查实，本站将立刻删除。
发布者：程序猿，转转请注明出处：https://www.chuangxiangniao.com/p/799645.html
微信扫一扫 
支付宝扫一扫 
