0


大数据FLINK实时数仓项目实战

一、FLINK实时数仓项目简介

1、​​​​​​普通实时计算与实时数仓比较

普通的实时计算优先考虑时效性,所以从数据源采集经过实时计算直接得到结果。如此做时效性更好,但是弊端是由于计算过程中的中间结果没有沉淀下来,所以当面对大量实时需求的时候,计算的复用性较差,开发成本随着需求增加直线上升。

实时数仓基于一定的数据仓库理念,对数据处理流程进行规划、分层,目的是提高数据的复用性。

2、实时数仓项目分层

  • ODS

原始数据,日志和业务数据 。

  • DWD

根据数据对象为单位进行分流,比如订单、页面访问等等。

  • DIM

维度数据。

  • DWM

对于部分数据对象进行进一步加工,比如独立访问、跳出行为ÿ

标签: 大数据 flink

本文转载自: https://blog.csdn.net/qq_35029061/article/details/127168064
版权归原作者 wespten 所有, 如有侵权,请联系我们删除。

“大数据FLINK实时数仓项目实战”的评论:

还没有评论