【大数据】Flink 详解（六）：源码篇 Ⅰ
PipeExecutor在 Flink 中被叫做流水线执行器，它是一个接口，是Flink Client生成 JobGraph 之后，将作业提交给集群的重要环节。前面说过，作业提交到集群有好几种方式，最常用的是yarn方式，yarn方式包含3种提交模式，主要使用session模式，per-job模式。
Elasticsearch 集成--Flink 框架集成
是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。掀开了内存计算的先河，以内存作为赌注，赢得了内存计算的飞速发展。但是在其火热的同时，开发人员发现，在Spark中，计算框架普遍存在的缺点和不足依然没有完全解决，而这些问题随着5G时代的来临以及决策者对实时数据分析结果的迫切需要而凸显的更加明显：
大数据-玩转数据-Flink 网站UV统计
在实际应用中，我们往往会关注，到底有多少不同的用户访问了网站，所以另外一个统计流量的重要指标是网站的独立访客数（Unique Visitor，UV）。对于UserBehavior数据源来说，我们直接可以根据userId来区分不同的用户。将userid放到SET集合里面，统计集合长度，便可以统计到网站
flink数据流 单(kafka)流根据id去重
配置: table.exec.state.ttl。
大数据-玩转数据-Flink RedisSink
可以根据要写入的redis的不同数据类型进行调整。具体版本根据实际情况确定。
Flink读取mysql数据库(java)
Flink从mysql读取数据
Flink-Window详细讲解-countWindow
当每个窗口中的元素数量达到 5 时，将触发计算。这意味着窗口 1 中的计算会在处理 5 个元素后触发，窗口 2 中的计算会在处理 10 个元素后触发。是持续监视整个数据流的元素数量，只有在数据流中的元素数量从不小于 5 变为不小于 10 时，才会再次触发计算。会持续监视整个数据流的元素数量，只有当元
flink优化
大状态调优：在我们的项目中，在做新老访客修复时，我们将每个mid的访问时间都存到了状态里面，在做回流用户数时，我们将每个用户的登录时间都存到了状态里面，导致了大状态问题，由于hashmap状态后端会将数据存储到内存，所以就会出现内存不够的情况。我们的解决办法就是将状态后端改成了rocksdb，并且开
Flink CDC 基于mysql binlog 实时同步mysql表
环境说明：flink1.15.2mysql 版本5.7 注意：需要开启binlog，因为增量同步是基于binlog捕获数据windows11 IDEA 本地运行先上官网使用说明和案例：MySQL CDC Connector — Flink CDC documentation1. mysql开启bi
Flink-多流转换(Union、Connect、Join)
对于连接流 ConnectedStreams 的处理操作，需要分别定义对两条流的处理转换，因此接口中就会有两个相同的方法需要实现，用数字“1”“2”区分，在两条流中的数据到来时分别调用。关于两条流的连接，还有一种比较特殊的用法：DataStream 调用.connect()方法时，传入的参数也可以不
Flink三种模式介绍&集群的搭建
Flink、Flink集群的搭建、Flink三种部署模式、会话模式、单作业模式、应用模式
Flink自定义触发器
Apache Flink是一个流处理框架，它提供了许多内置的触发器来控制流处理作业的执行。但是，有时候内置的触发器不能满足我们的需求，这时候我们就需要自定义触发器
实战：大数据Flink CDC同步Mysql数据到ElasticSearch
CDC 的全称是 Change Data Capture（变更数据捕获技术） ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。
Flink1.17.0数据流
必须连续处理无限流，即事件必须在摄取后立即处理。不可能等待所有输入数据到达，因为输入是无限的，并且在任何时间点都不会完成。处理无界数据通常需要按特定顺序（例如事件发生的顺序）引入事件，以便能够推断结果完整性。可以通过在执行任何计算之前引入所有数据来处理有界流。Flink 被设计为在所有常见的集群环境
怎么计算flink任务需要多少cpu和内存
JVM堆大小：JVM堆大小越大，可以同时运行的线程数就越多。因此，我们可以尝试提高JVM堆大小以提高并发度，从而降低CPU和内存的使用量。数据规模：Flink任务需要的CPU和内存与数据规模成正比。如果数据规模较大，那么任务需要更多的CPU和内存来处理数据。Flink任务需要的CPU和内存取决于任务
Flink源码之JobManager启动流程
JobManager的启动过程就是创建三大组件RestServer/RM/Dispacher实例初始化的过程，RestSever通过Netty启动HTTP服务，RM/Dispacher被AkkaRpcService包装成AkkaActor提供本地或远程RPC服务，RestServer仅仅是接受请求解
【开发问题】flink-cdc不用数据库之间的，不同类型的转化
我一开始直接用的oracle【date】类型，mysql【date】类型，sql的校验通过了，但是真正操作数据的时候报错，告诉我oracle的数据格式的日期数据，不可以直接插入到mysql格式的日期数据，说白了就是数据格式不一致导致的。我想的是既然格式不对，就自己手动把格式转一下，然后变成mysql
Flink流批一体计算（20）：DataStream API和Table API互转
在 PyFlink Table API 中，DDL 是定义 source 和 sink 比较推荐的方式，这可以通过 TableEnvironment 中的 execute_sql() 方法来完成，然后就可以在作业中使用这张表了。由于Flink是一个基于 Java/Scala 的项目，连接器（conn
轻松通关Flink第24讲：Flink 消费 Kafka 数据业务开发
这一课时介绍了 Flink 消费 Kafka 的方式，比如从常用的指定单个或者多个 Topic、消息的序列化、分区的动态发现等，还从源码上介绍了 Flink 消费 Kafka 的原理。通过本课时的学习，相信你可以对 Flink 消费 Kafka 有一个较为全面地了解，根据业务场景可以正确选择消费的方
hadoop3.2.4集成flink 1.17.0
hadoop，flink，集成
