[Flink项目优化] 资源配置调优
[Flink项目优化] 资源配置调优
SpringBoot整合Flink（施耐德PLC物联网信息采集）
施耐德PLC设备（TM200C16R）设置好信息采集程序，连接局域网，SpringBoot订阅MQTT主题，消息转至kafka，由flink接收并持久化到mysql数据库；失效数据清理机制（为了方便测试，所以清理机制执行频率高且数据失效低）202303171001/p（发布话题，由设备发送，应用端接
大数据Flink进阶（九）：集群基础环境搭建
集群基础环境搭建。
大数据Flink进阶（八）：Apache Flink架构介绍
在Flink的整个软件架构体系中，同样遵循这分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。上图是Flink基本组件栈，从上图可以看出整个Flink的架构体系可以分为三层，从下往上依次是物理部署层、Runtime 核心层、API&Libraries层
Flink学习20：聚合算子(sum,max,min)
常见的聚合算子 sum,max,min等聚合算子可以在在keyedStream 流上进行滚动的聚合（即累计的操作），而且同一个 keyedStream 流上只能调用一次 聚合算子。
【Flink】Flink 和 Kafka 连接时的精确一次保证
【Flink】Flink 和 Kafka 连接时的精确一次保证
Flink 读写MySQL数据（DataStream和Table API）
Flink提供了基于JDBC的方式，可以将读取到的数据写入到MySQL中；本文通过两种方式将数据下入到MySQL数据库，其他的基于JDBC的数据库类似，另外，Table API方式的Catalog指定为Hive Catalog方式，持久化DDL操作。Maven依赖，包含了Hive Catalog的相
【UML】UML建模
用例图参与者、用例的基本概念。1.2 用例描述的格式要求。1.3 绘制用例图。2 类图和对象图2.1 类图的基本概念。2.2 分析识别类，绘制类图。2.3 绘制对象图。3 顺序图3.1 顺序图的组成。3.2 顺序图中的消息类型。3.3 绘制顺序图。4 状态图4.1 状态机的含义。4.2 状态机图中的
flink任务内存调优，TaskManager、JobManager内存配置
Flink是基于java的JVM运行，拥有高效的数据处理能力，但是考虑到用户在 Flink 上运行的应用的多样性，尽管flink框架已经为所有配置项提供合理的默认值，仍无法满足所有情况下的需求。 flink进程总内存、taskmanager内存、jobmanager内存配置...
Flink二阶段提交
XA（eXtended Architecture）是指由X/Open 组织提出的分布式交易处理的规范。XA 是一个分布式事务协议，由Tuxedo 提出，所以分布式事务也称为XA 事务。XA 协议主要定义了事务管理器TM（Transaction Manager，协调者）和资源管理器RM（Resourc
PyFlink使用说明：建表及连接Mysql数据库
PyFlink版本是1.16.0，所以需要下载 ：flink-connector-jdbc-1.16.0.jar。环境根据最新的版本安装即可，需要注意最新的PyFlink支持的最大Python版本。注意点：使用 批处理环境的时候，无法执行成功 ，必须使用 流处理环境。注意点：使用 批处理环境的时候，
大数据Flink进阶（三）：Flink核心特性
另外，Flink通过序列化/反序列化方法将所有的数据对象转换成二进制在内存中存储，降低数据存储的大小的同时，能够更加有效地对内存空间进行利用，降低GC带来的性能下降或任务异常的风险，因此Flink较其他分布式处理的框架会显得更加稳定，不会因为JVM GC等问题而影响整个应用的运行。在流处理应用中，数
大数据Flink进阶（六）：Flink入门案例
DataSet和DataStream是Flink中表示数据的特殊类，DataSet处理的数据是有界的，DataStream处理的数据是无界的，这两个类都是不可变的，一旦创建出来就无法添加或者删除数据元。主要是因为在Flink1.15版本后，Flink添加对opting-out（排除）Scala的支持
大数据Flink进阶（四）：Flink应用场景以及其他实时计算框架对比
在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。另一方面结合实时数据ETL处理
大数据flink框架入门分享(起源与发展、实时与离线计算、场景、处理流程、相关概念、特性普及、入门Demo)
起源于一个叫作 Stratosphere 的项目，它是由 3 所地处柏林的大学和欧洲其他一些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2014 年 4 月，Stratosphere 的代码被复制并
为什么说新一代流处理器Flink是第三代流处理器(论点:发展历史、区别、适用场景)
Flink 被认为是第三代流处理器，这是因为 Flink 在设计时参考了前两代流处理器的经验教训并引入了一些新的技术和思想，从而使得 Flink 具有更高的性能和更广泛的应用场景。下面我带大家了解一下流处理器从第一代到第三代的发展历史。对于有状态的流处理，当数据越来越多时，我们必须用分布式的集群架构
flink学习33：flinkSQL连接mysql，查询插入数据
1.生成运行时env2.生成表环境3.接上数据流，数据流数据生成表4.把数据库中sink保存数据的表，在flink中生成一遍（相当于把flink生成的表，绑定到数据库中的表），配上数据库连接信息，并执行，及注册5.查询表，可以根据注册表名查询6.插入表，可以根据生成的flink表进行数据插入。
【Flink】面试题精简版（持续更新）
作为大数据领域炙手可热的大数据组件，flink作为大数据行业跳槽必问的组件，整理一些Flink相关的面试题供大家参考，有些题言简意赅即可，大多数的博客冗余一堆的知识点，看完要好久，我想帮大家提炼总结出核心的点，以帮助大家临阵磨枪，短时间掌握，当你把知识提炼出来，你会发现你的知识进步了，当你把简单提炼
【Flink基础】-- Flink CDC介绍
一、Flink CDC 是什么？ 2020年 Flink cdc 首次在 Flink forward 大会上官宣，由Jark Wu & Qingsheng Ren 两位大佬介绍，原始 blog 点击链接。 Flink CDC connector 可以捕获在一个或多个表中发生的所有变更。
Flink cdc 介绍及使用 FlinkCDC读取mysql 及 jdbc 连接参数配置
Flink cdc 介绍常见cdc开源方案Flink cdc 使用案例Flink cdc读取mysql 及 jdbc 连接参数配置1.Maven POM 文件2.Flink CDC 代码补充CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都
