Flink面试（2）
1) CheckpointCoordinator(检查点协调器) 周期性的向该流应用的所有source算子发送 barrier(屏障)。2) 当某个source算子收到一个barrier时，便暂停数据处理过程，然后将自己的当前状态制作成快照，并保存到指定的持久化存储中，最后向CheckpointCo
Flink CDC整库同步
Flink CDC整库同步
大数据学习之Flink，了解Flink的多种部署模式
应用模式是对单作业模式的优化，不管是会话模式还是单作业模式，代码都是在客户端是进行执行的，然后由客户端提交给JobManager的，这种方式下客户端会比较耗资源，因为需要下载依赖和发送二进制文件到JobManager。会话模式就是在作业提交之前通过启动集群并创建会话，我们通过这个会话提交任务，所有的
Flink源码分析(5)JobMaster启动源码分析
Flink JobMaster源码启动入口从Dispatcher.runJob()方法处开始，下面让我们一起进入到JobMaster的源码分析中。这里启动jobmaster服务，注册心跳同时创建了监听服务，在jobmaster内部创建了slotpool，用于维护整个任务的资源。内执行了jobgr
Flink Stream API实践
Flink Stream API实践
Flink 生态对 Confluent / Kafka Schema Registry 支持情况的研究报告
这几年，在流式链路上引入一个 Schema Registry 变得越来越流行，也越来越有必要， Schema Registry 能有效控制 Schema 的变更，合理推进 Schema Evolution，同时，引入它以后还能有效精简消息内容（特别是针对 Avro 格式），提升消息的传输效率，所以引
【大数据面试】Flink面试题附答案
1、背压问题2、Flink是如何支持批流一体的3、Flink任务延迟高，想解决这个问题，你会如何入手4、Flink的监控页面，有了解吗，主要关注那些指标？5、你们之前Flink集群规模有多大？部署方式是什么？你了解哪些部署方式？6、Flink如何做压测和监控7、Flink checkpoint 的相
使用Flink SQL实时入湖Hudi/Hive
Hudi是一个流式数据湖平台，使用Hudi可以直接打通数据库与数据仓库，Hudi可以连通大数据平台，支持对数据的增删改查。Hudi支持同步数据入库，提供了事务保证、索引优化，是打造实时数仓、实时湖仓一体的新一代技术。下面以我实际工作中遇到的问题，聊下湖仓一体的好处，如有不对，敬请指正。
阿里巴巴瓴羊基于 Flink 实时计算的优化和实践
本⽂整理⾃阿里云智能集团技术专家王柳焮⽼师在 Flink Forward Asia 2023 中平台建设专场的分享。
Flink WordCount实践
Flink WordCount实践
云粒智慧实时数仓的架构演进分享：OceanBase + Flink CDC
4月20日，在2024 OceanBase开发者大会上，云粒智慧的高级技术专家付大伟，分享了云粒智慧实时数仓的构建历程。他讲述了如何在传统数仓技术框架下的相关努力后，选择了OceanBase + Flink CDC架构的实时数仓演进历程。
Flink CDC 整库 / 多表同步至 Kafka 方案（附源码）
我们此前介绍的一些 CDC 开箱即用方案往往都是一张表对应一条独立的链路（作业），需要一个独立的数据库连接，在表数量很大的情况下，会对数据库造成很大压力，同时过多的 Flink 作业会不易于管理和维护，为众多小表创建独立的采集作业也浪费了资源。此外，使用 Flink SQL 针对每张表定义 CDC
海豚调度系列之：任务类型——Flink节点
本案例为大数据生态中常见的入门案例，常应用于 MapReduce、Flink、Spark 等计算框架。主要为统计输入的文本中，相同的单词的数量有多少。若生产环境中要是使用到 flink 任务类型，则需要先配置好所需的环境。在使用 Flink 任务节点时，需要利用资源中心上传执行程序的 jar 包。F
Flink窗口理论到实践 | 大数据技术
⭐⭐个人主页🔎哆啦A梦撩代码🎉欢迎关注🔎👍⭐️留言📝
Seal^_^【送书活动第2期】——《Flink入门与实战》
Seal^_^【送书活动第2期】——《Flink入门与实战》
FlinkCDC系列之Oracle实时数据采集
新增一条数据：INSERT INTO "FLINKUSER"."ORDERS"("ORDER_ID", "ORDER_DATE", "CUSTOMER_NAME", "PRICE", "PRODUCT_ID", "ORDER_STATUS") VALUES ('10006', TO_TIMESTAM
Flink 架构深度解析
它通过高效的事件处理模型、强大的状态管理和灵活的部署选项，为实时数据分析提供了一个可靠和高效的平台。- **作业调度**：接收提交的作业，将作业的 JobGraph 转换为 ExecutionGraph，并调度任务到 TaskManager 上执行。- **高吞吐量和低延迟**：Flink 的事件驱
Flink窗口函数
看过上面3个案例，可以发现增量聚合函数ReduceFunction和AggregateFunction都是数据来一条处理一条，而全窗口函数ProcessWindowFunction则是在窗口结束的时候才执行计算，因此process的效率相对更低。但是process的优点在于它可以得到上下文信息，因此
flink的自动类型推导：解决udf的通用类型问题
使用flink的自动类型推导解决udf的通用类型问题
SpringBoot集成Flink-CDC，实现对数据库数据的监听
SpringBoot 集成 Flink CDC 实现对数据库表中数据变动的监听，源码中实现简易版增量迁移。
