flink车联网项目：维表离线同步（第69天）
本文为flink车联网项目：维表离线同步，后续章节为：ods层具体实现。
大数据Flink（一百零六）：什么是阿里云实时计算Flink版
阿里云实时计算Flink版是一种全托管Serverless的Flink云服务，开箱即用，计费灵活。阿里云实时计算Flink版是一套基于Apache Flink构建的⼀站式实时大数据分析平台，提供端到端亚秒级实时数据分析能力，并通过标准SQL降低业务开发门槛，助力企业向实时化、智能化大数据计算升级转型
flink车联网项目：业务实现2（维表开发）（第68天）
本文为flink车联网项目：业务实现2(维表开发)，后续章节为：维表离线同步。
Flink1.19JobGraph是如何生成的
16.在这么多代码中，最为核心的就是这一行代码，setChaining（）这个方法从名字上看，就是设置算子链，在这个方法里，完成了JobGraph整体结构的创建和算子任务的合并，由于比较复杂，我这一篇就不赘述了，后面会出一篇单独讲。14.回退出来，调用createJobGraph，对这个jobgra
Flink 之 滚动窗口/滑动窗口/会话窗口/OVER窗口
数据处理方式流式计算：数据是连续不断地到达的，OVER窗口函数会在数据流中实时地计算窗口结果。每当新数据到达时，窗口计算会实时更新。批计算：数据是一次性读取并处理的，OVER窗口函数会在整个数据集上一次性计算窗口结果。所有数据都读取完毕后，窗口计算才会开始。计算延迟流式计算：适用于需要低延迟、实时更
Flink时间和窗口
如图所示，由事件生成器（Event Producer）生成事件，生成的事件数据被收集起来，首先进入分布式消息队列（Message Queue），然后被 Flink 系统中的 Source 算子（Data Source）读取消费，进而向下游的窗口算子（Window Operator）传递，最终由窗口算
【Flink metric（1）】Flink指标系统的系统性知识：获取metric以及注册自己的metric
【Flink metric】Flink指标系统的系统性知识：以便我们实现特性化数据的指标监控与分析
SpringBoot集成Flink CDC实现binlog监听
CDC是Change Data Capture(变更数据获取)的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到MQ以供其他服务进行订阅及消费CDC主要分为基于查询和基于Binlog基于查询的都是Batch模式(即数据到达
Flink 1.20 版本发布，一些值得注意的特性！
8月2日，Flink1.20版本发布，一边听歌一边看我分析。（戳上面????听歌）本文基于官方网站的Release Note做一个简单的分析，看看哪些内容是更加值得我们关注的。在定位上，这个版本是一个2.0版本之前的过渡版本，也是1.x时代最后一个版本。这个版本中有很多细小的变动，和一些MVP版本的
数据中台项目常见的问题
实际上这一块是难点之一，比如说对数据源管理的话，我们是以插件式的形式去做的，比如说我如果现在想要集成一个 Es我需要写好es的读执行器，es的写执行器，es转换执行器，以插件式的形式来去简化我们的工作，这一块我们也是参考电子插的设计架构来的。，其特征是是一些应该有的信息缺失，如供应商的名称，分公司的
flink车联网项目前篇：数据开发（第66天）
本文为flink车联网项目前期准备：数据仓库开发。由于篇幅过长，后续章节：业务实现。
flink车联网项目前篇：建模设计（第65天）
本文主要详解了维度建模和flink车联网项目的建模设计。由于篇幅过长，后续章节：数据开发。
Paimon数据湖详解（第49天）
本文主要详解了Paimon数据湖的使用。
Hadoop+Flink研发环境部署+开发
修改Flink目录下conf/flink-conf.yaml,在末尾添加classloader.check-leaked-classloader: false，然后保存。-- 配置HDFS网页登录使用的静态用户为root-->-- 指定ResourceManager的地址-->-- 指定MapRed
Flink on yarn 开发过程中遇到的问题
去到正常和异常的节点下比较，确实异常节点缺失这个文件夹（用于存储运行时nodemanager和taskmanager的日志），怀疑是部署中间件框架时遗漏，通过手动增加文件夹的方式，问题解决。如果source端的数据量最小，拿到source端流过来的数据后做了细粒度的拆分，数据量不断的增加，到sink
Flink(arm) on K8S 部署时的那些坑
目标：在arm架构的K8S上部署一套flink集群。我对k8s还算了解，但在此之前没接触过flink，部署起来确实有点困难。本文记录在此过程中遇到的问题，以及问题原因和解决方案。
Flink 实时数仓（八）【DWS 层搭建（二）流量域、用户域、交易域搭建】
Flink 实时数仓，流量域、用户域、交易域搭建
大数据Flink（一百零七）：阿里云Flink的应用场景
同时Flink还能订阅云上数据库RDS、PolarDB等关系型数据库中Binlog的更新，并利用DataHub、SLS、Kafka等产品将实时数据收集到实时计算产品中进行分析和处理。实时计算Flink版可以处理复杂的流处理和批处理任务，也提供了强大的API，执行复杂的数学计算并执行复杂事件处理规则，
Apache Flink中TaskManager，SubTask，TaskSlot，并行度之间的关系
另外一个方面是在Flink中运行的task对CPU资源的占用不同，有CUP密集型task 操作和CPU非密集型task操作情况，例如在Flink集群中source和map操作只是读数据后转换，对CPU占用短，但是window这种穿口计算聚合操作设计大量数据计算，占用CPU资源长，这就导致运行时候so
Flink-StarRocks详解:第三部分StarRocks分区分桶(第53天)
本文为Flink-StarRocks详解后续章节：主要详解StarRocks分区分桶由于篇幅过长，后续接着下面进行详解： StarRocks查询数据湖 实现即席查询案例需要显式列出每个 List 分区所包含的枚举值列表，并且值不需要连续，区别于包含连续日期或者数值范围的 Range 分区。当新数
