友盟+｜如何通过阿里云Flink+Paimon实现流式湖仓落地方案
友盟+ 以“数据智能，驱动业务增长”为使命，为移动应用开发者和企业提供包括统计分析、性能监测、消息推送、智能认证等一站式解决方案。
Flink 调度源码分析3：Slot 分配策略
在Apache Flink中，Slot是用于执行并行任务的基本单位。Slot分配策略是指如何有效地将任务分配给可用的Slot，以最大化资源利用率和任务执行效率。
docker安装flink
安装flink + kafka
Flink数据流动全观察：代理技术实现细节记录与分析（附完整源码）
代理技术实现Flink流动数据细节记录与分析
基于flink&hudi批流一体技术
Hudi是Hadoop Updates and Incrementals的简写，它是由Uber开发并开源的Data Lakes解决方案。Hudi 用于管理的数据库层上构建具有增量数据管道的流式数据湖，同时针对湖引擎和常规批处理进行了优化。简言之，Hudi是一种针对分析型业务的、扫描优化的数据存储抽象
Flink基本原理剖析讲解
Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性
Flink之Watermark
punctuated:每条数据后都会插入当前事件时间解析出来的watermarkperiodic:周期性生成，默认是200m生成一个watermark在新版本中punctuated已经被标记为过时(当前版本1.18.1)watermark的构造：1.forMontonousTimestamps:时间
如何使用Flink连接openGauss数据库（flink-cdc-connector）
本文会在最后附上代码修改的git patch首先简单介绍下flink，Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和管道方式执行任意流数据程序，Flink的流水线运行时系统可以执行批处理和流处理程
flink cdc 连接池不可用 异常问题排查解决
解决办法：修改连接池大小，重启集群。详细操作加微信：wxjffj。
Flink checkpoint 源码分析- Flink Checkpoint 触发流程分析
Flink的checkpoint的过程依赖于异步屏障快照算法，该算法在《Lightweight Asynchronous Snapshots for Distributed Dataflows》这篇paper中被提出。理解了这篇paper也就明白了flink的chekpoint机制。paper整体来
flink sql 优化
不是所有job资源越堆越多好。有时作业的复杂或数据的特殊情况(外部系统性能除外，例如写数据库)，增加资源只会让job性能越来越差或报错(亲身经历job性能差，特别痛苦，一直加资源性能还是差或运行报错)。需要不断找根源问题，多使用不同方法测试才能找到适合job的处理性能。如果优化很多次后job性能还是
19、Flink 的 State Backends 配置详解
Flink 的 State Backends 配置详解
Flink CDC 原理
Flink CDC（Change Data Capture）是 Apache Flink 提供的一个变更数据捕获工具集。它可以监控数据库的变更，并将这些变更实时地以流的形式提供给下游系统，这些变更包括插入、更新和删除操作。Flink CDC 适用于需要实时数据管道和数据流处理的场景，如实时数据分析、
Flink时间语义 | 大数据技术
Flink中，时间通常分为三类EventTime:事件(数据)时间,是事件/数据真真正正发生时/产生时的时间IngestionTime:摄入时间,是事件/数据到达流处理系统的时间ProcessingTime:处理时间,是事件/数据被处理/计算时的系统的时间Flink的三种时间语义中，处理时间和摄入时
记录一次脏数据导致flink任务失败的处理
这个报错，我记得以前有字符长度不够时，日志会记录是哪个字段长度不够导致的，但这次的日志没有指出具体是哪个字段有问题，排查发现应该不是mysql字段长度不够导致，后来在网上看可能是时间类型字段不匹配也会导致此报错。最终抓取到异常数据，有个日期相关的字段值为‘0024-01-16’（正确的应该为2024
【flink报错】flink cdc无主键时的操作
flink cdc无主键的问题
Flink背压问题：从原理到源码
Flink对于背压的处理是通过在任务传递之间设置有界容量的数据缓冲区，当整个管道中有一个下游任务速度变慢，会导致缓存区数据变满，上游任务获取不到可用的缓冲区，自然而然地被阻塞和降速，这就实现了背压。不同taskManager通信通过Netty， Netty的 Buffer 是无界的，但可以设置 Ne
最新版Flink CDC MySQL同步MySQL（一）_flink 连接mysql
得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**[外链图片转存中…(img-bjg180DR-1713035295230)]
17、Flink 的 Checkpointing 配置详解
Flink 的 Checkpointing 配置详解
FLINK SQL 1.17.1读取KAFKA数据，实时计算后写入MYSQL
为了后续搭建实时数据做准备，测试使用FLINK SQL实时读取KAFKA数据，通过实时计算后，写入MYSQL。原始数据为仿造的保单表和险种表的数据，在kafka中创建两张贴源层表：保单表和险种表，再建一张关联表和一张汇总表，然后将数据写入mysql。
