大数据系列——Flink理论
Flink是一个对有界和无界数据流进行有状态计算的分布式处理引擎和框架，既可以处理有界的批量数据集，也可以处理无界的实时流数据，为批处理和流处理提供了统一编程模型，其代码主要由 Java 实现，部分代码由 Scala实现。Flink以REST资源的形式和外部进行交互，所以可以集成在所有常见的集群资源
Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系
例如一个加法算子，第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是，相同的输入都会得到相同的结果，与次数无关。访问量的统计，我们都知道Nginx的访问日志一个请求一条日志，基于此我们就可以统计访问量。如下，/api/a这个url第一此访问的时候，返回的结果就是cou
flink源码分析之功能组件(五)-高可用组件
本系列是flink源码分析的第二个系列，上一个《flink源码分析之集群与资源》分析集群与资源，本系列分析功能组件，kubeclient，rpc，心跳，高可用，slotpool，rest，metrics，future。本文解释高可用组件，包括两项服务，主节点选举和主节点变更通知* 高可用服务常见有
Flink借助Kafka实现端到端精准一次
Flink结束Kafka实现端到端精准一次，包含检查点，保存点，状态后端的概念
Flink CDC 3.0 正式发布，详细解读新一代实时数据集成框架
01FlinkCDC概述Flink CDC 是基于数据库日志 CDC（Change Data Capture）技术的实时数据集成框架，支持了全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合 Flink 优秀的管道能力和丰富的上下游生态，Flink CDC 可以高效实现
Flink Table API 与 SQL 编程整理
都是从中scan出来的。而这个myTable又是我们注册进去的。问题就是有哪些方式可以注册Table。类似于上述的WordCount，指定一个文件系统fs，也可以是kafka等，还需要一些格式和Schema等。//将source注册到env中然后把自己的注册进去。例如下面一个String类型的Dat
flink 踩坑记录
flink cdc踩坑记录
《十堂课学习 Flink》第三章：Flink SQL 环境搭建
Flink SQL 环境搭建相关内容。
Flink基础概念-算子
无界数据流例如从Kafka这样的消息组件中读取的数据一般，没有数据流结束的定义，即使没有数据也在进行消费。有界数据流有界数据流能够等到所有数据都提取之后再进行处理。有状态流处理将数据的中间状态进行存储，能够重复使用该状态进行处理。Flink的特点Flink计算模型流计算微批处理时间语义事件时间、处理
Flink 数据类型 & TypeInformation信息
除了使用已有的所定义的数据格式类型之外，用户也可以自定义实现，来满足的不同的数据类型定义需求。Flink提供了可插拔的让用户将自定义的注册到Flink类型系统中。如下代码所示只需要通过实现接口，返回相应的类型信息。通过@TypeInfo注解创建数据类型，定义数据类型。然后定义类继承于，参数类型指定。
基于Flink CDC实时同步PostgreSQL与Tidb【Flink SQL Client模式下亲测可行，详细教程】
只要这个flink作业是正常runnning，那么对source_table的任何修改都会同步到sink_table。注意这种是单向同步，source_table的变动（增/删/改）会同步到sink_table，但反过来sink_table的变动不会影响到source_table（不会触发sourc
使用Flink处理Kafka中的数据_题库子任务_Java语言实现
职业院校技能大赛，使用Flink处理Kafka中的数据_题库子任务_Java语言实现
Flink 系列文章汇总索引
某一知识点，并辅以具体的示例进行说明。本专栏的文章编号可能不是顺序的，主要是因为写的时候顺序没统一，但相关的文章又引入了，所以后面就没有调整了，按照写文章的顺序进行编号。但一个专题的顺序号是统一的，不存在编号跳跃情况。
【DataSophon】大数据服务组件之Flink升级
DataSophon也是个类似的管理平台，只不过与智子不同的是，智子的目的是锁死人类的基础科学阻碍人类技术爆炸，而DataSophon是致力于自动化监控、运维、管理大数据基础组件和节点的，帮助您快速构建起稳定，高效的大数据集群服务。为设计出轻量级，高性能，高可扩的，可满足国产化环境要求的大数据集群管
【Flink实战】Flink对接Kafka Connetor使用docker部署kafka
Docker 是一个开源的容器化平台，用于将应用程序和其依赖的环境打包成一个独立的容器，以实现应用程序的快速部署、可移植性和可伸缩性。0 传统的应用部署方式通常需要在目标环境中手动设置各种依赖项和配置，可能面临不同操作系统或软件版本之间的兼容性问题。而 Docker 可以通过容器的方式隔离应用程序和
Flink
前面说过有状态计算其实就是需要考虑历史数据而历史数据需要搞个地方存储起来Flink为了方便不同分类的State的存储和管理,提供了如下的API/数据结构来存储StateKeyed State 通过 RuntimeContext访问，这需要 Operator 是一个RichFunction。保存Key
Flink 数据集类型
现实世界中，所有的数据都是以流式的形态产生的，不管是哪里产生的数据，在产生的过程中都是一条条地生成，最后经过了存储和转换处理，形成了各种类型的数据集。如下图所示，根据现实的数据产生方式和数据产生是否含有边界（具有起始点和终止点）角度，将数据分为两种类型的数据集，一种是有界数据集，另外一种是无界数据集
Flink 流处理流程 API详解
中不同类型的流在处理的时候对应不同的 process 方法，他们都位于同一个 function中，会存在一些共享的数据信息。这个引擎对类型信息知道的越多，就可以对数据进行更充足的优化，序列化与反序列化就会越快。进行横向切分，把数据流中不同类别任务输入到不同的算子中进行处理，不同的算子之间是并行的操作
FlinkCDC实现主数据与各业务系统数据的一致性（瀚高、TIDB）
FlinkCDC实现业务系统主数据对应字段，用主数据系统主数据字段实时覆盖
【flink番外篇】1、flink的23种常用算子介绍及详细示例（3）-window、distinct、join等
1、Flink 专栏等系列综合文章链接本文主要介绍Flink 的10种常用的operator（window、distinct、join等）及以具体可运行示例进行说明.如果需要了解更多内容，可以在本人Flink 专栏中了解更新系统的内容。本文除了maven依赖外，没有其他依赖。本专题分为五篇，即：【f
