StarRocks官网摘要笔记
StarRocks 官网摘要笔记
Flink窗口及其分类-详细说明
Flink 是一种流式计算引擎，主要是来处理无界数据流的，数据源源不断、无穷无尽。想要更加方便高效地处理无界流，一种方式就是将无限数据切割成有限的“数据块”进行处理，这就是所谓的“窗口”（Window）。所以在 Flink 中，窗口其实并不是一个“框”，流进来的数据被框住了就只能进这一个窗口。相比之
Flink CDC-2.3版本概述
Flink CDC-2.3版本概述
Flink学习19：算子介绍keyBy
主要作用：把相同的数据，汇总到相同的分区中。
FusionInsight MRS Flink DataStream API读写Hudi实践
目前Hudi只支持FlinkSQL进行数据读写，但是在实际项目开发中一些客户存在使用Flink DataStream API读写Hudi的诉求。1.HoodiePipeline.java 将Hudi内核读写接口进行封装，提供Hudi DataStream API。1）HoodiePipeline.j
[Flink项目优化] 资源配置调优
[Flink项目优化] 资源配置调优
SpringBoot整合Flink（施耐德PLC物联网信息采集）
施耐德PLC设备（TM200C16R）设置好信息采集程序，连接局域网，SpringBoot订阅MQTT主题，消息转至kafka，由flink接收并持久化到mysql数据库；失效数据清理机制（为了方便测试，所以清理机制执行频率高且数据失效低）202303171001/p（发布话题，由设备发送，应用端接
大数据Flink进阶（九）：集群基础环境搭建
集群基础环境搭建。
大数据Flink进阶（八）：Apache Flink架构介绍
在Flink的整个软件架构体系中，同样遵循这分层的架构设计理念，在降低系统耦合度的同时，也为上层用户构建Flink应用提供了丰富且友好的接口。上图是Flink基本组件栈，从上图可以看出整个Flink的架构体系可以分为三层，从下往上依次是物理部署层、Runtime 核心层、API&Libraries层
Flink学习20：聚合算子(sum,max,min)
常见的聚合算子 sum,max,min等聚合算子可以在在keyedStream 流上进行滚动的聚合（即累计的操作），而且同一个 keyedStream 流上只能调用一次 聚合算子。
【Flink】Flink 和 Kafka 连接时的精确一次保证
【Flink】Flink 和 Kafka 连接时的精确一次保证
Flink 读写MySQL数据（DataStream和Table API）
Flink提供了基于JDBC的方式，可以将读取到的数据写入到MySQL中；本文通过两种方式将数据下入到MySQL数据库，其他的基于JDBC的数据库类似，另外，Table API方式的Catalog指定为Hive Catalog方式，持久化DDL操作。Maven依赖，包含了Hive Catalog的相
【UML】UML建模
用例图参与者、用例的基本概念。1.2 用例描述的格式要求。1.3 绘制用例图。2 类图和对象图2.1 类图的基本概念。2.2 分析识别类，绘制类图。2.3 绘制对象图。3 顺序图3.1 顺序图的组成。3.2 顺序图中的消息类型。3.3 绘制顺序图。4 状态图4.1 状态机的含义。4.2 状态机图中的
flink任务内存调优，TaskManager、JobManager内存配置
Flink是基于java的JVM运行，拥有高效的数据处理能力，但是考虑到用户在 Flink 上运行的应用的多样性，尽管flink框架已经为所有配置项提供合理的默认值，仍无法满足所有情况下的需求。 flink进程总内存、taskmanager内存、jobmanager内存配置...
Flink二阶段提交
XA（eXtended Architecture）是指由X/Open 组织提出的分布式交易处理的规范。XA 是一个分布式事务协议，由Tuxedo 提出，所以分布式事务也称为XA 事务。XA 协议主要定义了事务管理器TM（Transaction Manager，协调者）和资源管理器RM（Resourc
PyFlink使用说明：建表及连接Mysql数据库
PyFlink版本是1.16.0，所以需要下载 ：flink-connector-jdbc-1.16.0.jar。环境根据最新的版本安装即可，需要注意最新的PyFlink支持的最大Python版本。注意点：使用 批处理环境的时候，无法执行成功 ，必须使用 流处理环境。注意点：使用 批处理环境的时候，
大数据Flink进阶（三）：Flink核心特性
另外，Flink通过序列化/反序列化方法将所有的数据对象转换成二进制在内存中存储，降低数据存储的大小的同时，能够更加有效地对内存空间进行利用，降低GC带来的性能下降或任务异常的风险，因此Flink较其他分布式处理的框架会显得更加稳定，不会因为JVM GC等问题而影响整个应用的运行。在流处理应用中，数
大数据Flink进阶（六）：Flink入门案例
DataSet和DataStream是Flink中表示数据的特殊类，DataSet处理的数据是有界的，DataStream处理的数据是无界的，这两个类都是不可变的，一旦创建出来就无法添加或者删除数据元。主要是因为在Flink1.15版本后，Flink添加对opting-out（排除）Scala的支持
大数据Flink进阶（四）：Flink应用场景以及其他实时计算框架对比
在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。另一方面结合实时数据ETL处理
大数据flink框架入门分享(起源与发展、实时与离线计算、场景、处理流程、相关概念、特性普及、入门Demo)
起源于一个叫作 Stratosphere 的项目，它是由 3 所地处柏林的大学和欧洲其他一些大学在 2010~2014 年共同进行的研究项目，由柏林理工大学的教授沃克尔·马尔科（Volker Markl）领衔开发。2014 年 4 月，Stratosphere 的代码被复制并
