0


[选型] 实时数仓之技术选型

数仓技术路线选型

对于已有的hive数据仓,怎样改造成实时数仓的要求呢?

2.关于实时数仓的选型

  • 如果选择hbase,建议选择kudu
  • 如果选择kudu, 还可以选择doris
  • 如果选择doris,建议选择iceberg

以上三种选择,要配合具体的场景;

技术选型方案

方案一:doris作为实时数仓,hive作为离线数仓

其中doris作为实时数仓,可以设计存储n天的(doris紫自身能够自动就行数据生命周期的管理);然后hive数据仓仍然作为T+1的离线数仓使用;

优点:继承以往的hadoop生态的hive遗产,只用新加入doris一个组件即可,满足实时性数仓的要求;

缺点:该架构缺点也很明显,早期的lamda架构;1.数据重复存储2份,导致存储资源的浪费;2.两套架构需要两套维护系统,需要跟多的人员和经理投入;

方案二:以doris构建实时数仓

doris完全取代hive数仓,作为离线和实时统一的数仓使用;一般常常和clickhouse对比;

doris自身是一个存算一体的mpp架构的olap引擎,PB 级别大数据集,秒级/毫秒级查询,对标准sql的支持很好;能够应付大规模数据数据的实时和离线数据查询;现实中有许多公司将doris作为事实的实时实仓工具;显示中对多维分析和报表查询都有良好的支持;

优点:

  1. 使用更简单,如建表更简单,SQL标准支持更好, Join性能更好,导数功能更强大

  2. 运维更简单,如灵活的扩缩容能力,故障节点自动恢复,社区提供的支持更好

  3. 分布式更强,支持事务和幂等性导入数据,物化视图自动聚合,查询自动路由,全面元数据管理;百度研发开源,有小米、美团、好未来等企业使用经验;

缺点:

方案三:以iceberg为核心构建实时数仓

使用数据湖技术iceberg,作为统一离线和实时数仓的中间层

iceberg可以直接对接上层各种计算引擎,实现真正的离线和实时一体存储,所有的关键数据只保留一份;参考:Iceberg概述

iceberg可以对接上层各种数据源

总 结

因为hive本身只能作为离线数仓来使用,有T+1的时间延迟,无法保证查询实时性的要求,因此构建实时数仓就显得十分必要,也是行业发展的趋势;

综合考虑如下:

  • 第一阶段,先完成离线数仓的构建,实时数据展示仍然使用以往的实时方案;
  • 第二阶段,引入doris或者iceberg构建实时数仓;

本文转载自: https://blog.csdn.net/fct2001140269/article/details/128216716
版权归原作者 fct2001140269 所有, 如有侵权,请联系我们删除。

“[选型] 实时数仓之技术选型”的评论:

还没有评论