FlinkCDC 入门之数据同步和故障恢复
FlinkCDC 是一款基于 Change Data Capture（CDC）技术的数据同步工具，可以用于将关系型数据库中的数据实时同步到 Flink 流处理中进行实时计算和分析，下图来自官网的介绍。下图1是 FlinkCDC 与其它常见 开源 CDC 方案的对比：可以看见的是相比于其它开源产品，F
Flink SQL 解析嵌套的 JSON 数据
下面将会演示如何在 DDL 里面定义 Map、Array、Row 类型的数据,以及在 SQL 里面如何获里面的值。数据格式如下:{ "funcName": "test", "data": { "snapshots": [{ "content_type": "application/x-gzip
Flink实现同时消费多个kafka topic，并输出到多个topic
flink同时消费多个kafka topic，并输出到多个topic
使用 Apache Flink 开发实时 ETL
Apache Flink 是大数据领域又一新兴框架。它与 Spark 的不同之处在于，它是使用流式处理来模拟批量处理的，因此能够提供亚秒级的、符合 Exactly-once 语义的实时处理能力。Flink 的使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据。本文将介绍如何使用 Fli
Flink CDC (Mysql为例)
flink cdc mysql 对数据的解析和消费进行了二次封装，使用者只需增加简单的配置，实现FlinkConsumerListener接口，关注编写业务代码即可。
Flink反压如何排查
Flink反压如何排查，是我们在进行flink开发以及监控的流程中必不可少的一项技能，同时也是很多大厂面试需要问题的知识点。
【Flink】Flink 记录一个 checkpoint 检查点 越来越大的问题
Flink SQL checkpoint越来越大咋么办，从2个G，现在4个G了，增量同步的，窗口是1小时，watermark是6小时，按道理来说，数据量不应该越来越大啊？在窗口内执行了count(distinct )这些操作。设置了状态的ttl。后端状态存储用的rocksdb。状态如下设置了增量
使用dinky自动savepoint、checkpoint恢复flink sql作业
使用dinky自动savepoint、checkpoint恢复flink sql 作业3.2. Flink sql 准备补充说明:flink需要开启checkpoint, 配置好状态后端参数3.3. dinky 面板savepoint 策略选择 最近一次查看作业详情栏, 如下图右上角所示, 他们的含
基于 Flink CDC 的实时同步系统
自科杰科技大数据架构师张军，在 FFA 2022 数据集成专场的分享。
Flink之StreamTableEnvironment对象
1.executeSql("sql 语句")可以执行SQL#2.sqlQuery("sql 语句")执行SQL查询，返回查询结果加载table到内存中把结果插入到table中在内存中创建临时表。
Flink--- 批处理 / 流处理
flink 流处理 批处理
Kafka 消息过期策略（时间相关参数）
retention.ms=1小时的毫秒数,delete.retention.ms=7天的毫秒数,segment.ms=7天的毫秒数。在这种配置下，retention.ms=1小时的毫秒数 生效，kafka offset中数据已经不可见，flink也无法消费到数据。在新建topic的时候附加 ret
flink sql 校验常见错误及解决办法
几个常见的flink sql 语法校验和运行时报错。
flink 窗口函数
flink窗口函数
Hudi（19）：Hudi集成Flink之索引和Catalog
通过 catalog 可以管理 flink 创建的表，避免重复建表操作，另外 hms 模式的 catalog 支持自动补全 hive 同步参数。WITH ('catalog.path' = '${catalog 的默认路径}',WITH ('catalog.path' = '${catalog 的默
flink on k8s
基于 kubeshpere 的 flink on k8s 实践
Flink 任务（Tasks）和任务槽（Task Slots）★★★★★
文章目录任务槽（Task Slots）任务槽数量的设置任务对任务槽的共享任务槽和并行度的关系任务槽（Task Slots）之前已经提到过，Flink 中每一个 worker(也就是 TaskManager)都是一个 JVM 进程，它可以启动多个独立的线程，来并行执行多个子任务（subtask）。Ta
基于Flink CDC实时同步数据（MySQL到MySQL）
Flink FlinkCDC 实时ETL
Flink 定时加载数据源
flink 自定义实时数据源使用流处理比较简单，比如 Kafka、MQ 等，如果使用 MySQL、redis 批处理也比较简单如果需要定时加载数据作为 flink 数据源使用流处理，比如定时从 mysql 或者 redis 获取一批数据，传入 flink 做处理，如下简单实现注意 flink 好多包
【云原生】Docker-compose部署flink
Apache Flink的数据流编程模型在有限和无限数据集上提供单次事件（event-at-a-time）处理。在基础层面，Flink程序由流和转换组成。Apache Flink的API：有界或无界数据流的数据流API、用于有界数据集的数据集API、表API。[3]数据流的运行流程Flink程序在执
