Flink
前面说过有状态计算其实就是需要考虑历史数据而历史数据需要搞个地方存储起来Flink为了方便不同分类的State的存储和管理,提供了如下的API/数据结构来存储StateKeyed State 通过 RuntimeContext访问，这需要 Operator 是一个RichFunction。保存Key
Flink 数据集类型
现实世界中，所有的数据都是以流式的形态产生的，不管是哪里产生的数据，在产生的过程中都是一条条地生成，最后经过了存储和转换处理，形成了各种类型的数据集。如下图所示，根据现实的数据产生方式和数据产生是否含有边界（具有起始点和终止点）角度，将数据分为两种类型的数据集，一种是有界数据集，另外一种是无界数据集
Flink 流处理流程 API详解
中不同类型的流在处理的时候对应不同的 process 方法，他们都位于同一个 function中，会存在一些共享的数据信息。这个引擎对类型信息知道的越多，就可以对数据进行更充足的优化，序列化与反序列化就会越快。进行横向切分，把数据流中不同类别任务输入到不同的算子中进行处理，不同的算子之间是并行的操作
FlinkCDC实现主数据与各业务系统数据的一致性（瀚高、TIDB）
FlinkCDC实现业务系统主数据对应字段，用主数据系统主数据字段实时覆盖
【flink番外篇】1、flink的23种常用算子介绍及详细示例（3）-window、distinct、join等
1、Flink 专栏等系列综合文章链接本文主要介绍Flink 的10种常用的operator（window、distinct、join等）及以具体可运行示例进行说明.如果需要了解更多内容，可以在本人Flink 专栏中了解更新系统的内容。本文除了maven依赖外，没有其他依赖。本专题分为五篇，即：【f
为什么 Flink 抛弃了 Scala
Java的可移植性和跨平台性也是其受欢迎的原因之一。另外，Java社区的活跃程度也是不容忽视的，Java的开发者群体庞大且经验丰富，他们可以为Flink提供宝贵的支持和指导，从而帮助用户更好地使用和优化Flink的功能。随着时间的推移，Flink社区的主要焦点已经转向JavaAPI，而Flink中的
轻松通关Flink第20讲：Flink 高级应用之海量数据高效去重
这一课时我们讲解了多种不同的 Flink 大数据下的去重方法，并且详细比较了它们的异同。在实际的业务场景中，精确去重和非精确去重需要灵活选择不同的方案，在准确性和效率上达到统一。点击这里下载本课程源码。
【Flink实战】玩转Flink里面核心的Sink Operator实战
在Flink中，Sink Operator（也称为Sink Function或Sink）是指负责将DataStream或DataSet的数据发送到外部存储或外部系统的操作符。Sink Operator是Flink的数据输出端，它的作用是将处理过的数据写入目标位置，如数据库、文件系统、消息队列等。Si
Flink（九）CEP
Flink CEP
最佳实践！ StreamPark 在顺网科技的生产实践, 如何支撑大规模 Flink 作业
本文主要介绍顺网科技在使用 Flink 计算引擎中遇到的一些挑战，基于 StreamPark 作为实时数据平台如何来解决这些问题，从而大规模支持公司的业务。
Flink 有状态流式处理
做法就是没处理完一笔，更改完状态之后，就做一次快照（包含它处理的数据在队列中的位置和它处理到的位置以及当时的状态进行对比）【1】如下图，当我们从数据源获取数据的时候，其实我们已经开始有状态了，这个时候我们可以把任务处理的整个过程抽象成如下图中的一张表。我们要处理一个持续维护的状态时，最适合的方式就是
在flink-connector-jdbc中增加对国产数据库达梦(V8)的支持
本文将展示如何在flink-connector-jdbc中增加对国产数据库达梦(V8)的支持。演示基于Java语言，使用Maven。
编译 Flink代码
中，如有问题百度解决，百度没有，多试几次，可能是网络的问题。镜像仓库或者自己搭建的仓库。最重要的是第二个片段的内容。另一种编译命令，相对于上面这个命令，主要的确保是：不编译。当成功编译完成后，上述几种编译方式最终都能在当前。另外，在一些情况下，我们可能并不想把编译后的。查看 Git远程分支，我们选择
springboot集成Flink-CDC
文章目录一、Flink&Flink CDC官网二、CDC&Flink CDC介绍1、 什么是cdc2、什么是Flink CDC3、支持的连接器三、springboot整合Filnk CDC1、官网示例2、Maven依赖1) Flink和Flink CDC版本映射2）具体maven依赖
flink的window和windowAll的区别
window 和windowAll的区别
使用Flink MySQL cdc分别sink到ES、Kafka、Hudi
进入hudi目录，修改hudi/pom.xml，修改对应组件的版本，由于flink使用的是scala-2.11版本，spark3.x版本以上默认使用scala-2.12预编译，为了节省时间，我们在此使用spark2.4.8以scala-2.11预编译的版本，对应的hadoop版本为2.7。- 修改h
31、Flink的SQL Gateway介绍及示例
SQL Gateway 是一种使远程多个客户端能够并发执行SQL的服务。它提供了一种提交Flink Job、查找元数据和在线分析数据的简单方法。SQL Gateway 由可插入endpoints 和SqlGatewayService组成。SqlGatewayService是一个由endpoints
49、Flink的Java Lambda 表达式写法示例
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性1
45、Flink 的指标体系介绍及验证（1）-指标类型及指标实现示例
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念、通用api介绍及入门示例14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性1
【flink番外篇】1、flink的23种常用算子介绍及详细示例（1）- map、flatmap和filter
本文主要介绍Flink 的3种常用的operator（map、flatmap和filter）及以具体可运行示例进行说明.将集合中的每个元素变成一个或多个元素,并返回扁平化之后的结果。按照指定的条件对集合中的元素进行过滤,过滤出返回true/符合条件的元素。本文主要介绍Flink 的3种常用的oper
