Flink
unboundedandboundedFlink的世界观是数据流，对Flink而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已，所以Flink也是一款真正的流批统一的计算引擎。无界流：有定义流的开始，但没有定义流的结束。它们会无休止的产生数据。无界流的数据必须持续处理，即数据
流式计算框架比较：Apache Flink vs. Apache Stor
1.背景介绍流式计算是一种处理大规模数据流的技术，它可以实时处理大量数据，并提供快速的分析和决策。在大数据时代，流式计算已经成为了一种重要的技术手段，它可以帮助企业更快地响应市场变化，提高业务效率。Apache Flink和Apache Storm是两个流行的流式计算框架，它们都是开源的，具有强大的
Flink从入门到实践（二）：Flink DataStream API
/ num>@Override@Override// 最终执行的方法，输出到终端});
【Flink Sink 流数据批量写入数据库】
flink 通过开窗window缓存周期数据构成批，然后下发到sink算子 批量写入 数据库 性能优化
8 分钟看完这 7000+ 字，Flink 时间窗口和时间语义这对好朋友你一定搞得懂！外送窗口计算和水印一并搞懂！！！
场景1：电商场景中计算每种商品每1min的累计销售额。场景2：我们在观看直播时，直播间的右上角会展示最近1min的在线人数，并且每隔1min会更新一次。场景3：一件商品被推荐给我们时，展示着这个商品累计的销量，并且销量还会不断地更新（假设10s更新一次）。当我们仔细分析这3个场景中计算的实时指标时，
Flink-CDC实时读Postgresql数据
CDC（Change Data Capture）,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT, DELETE, UPDATE等。用户可以在如下的场景使用cdc：（1）实时数据同步：比如将Postgresql库中的数
flink词汇表
在检查点期间存储其快照的位置（的 Java 堆或文件系统）。
Flink多流转换（1）—— 分流&合流
本文介绍了flink多流转换中的分流和河流
Flink问题解决及性能调优-【Flink根据不同场景状态后端使用调优】
Flink 实时groupby聚合场景操作时，由于使用的是rocksdb状态后端，发现CPU的高负载卡在rocksdb的读写上，导致上游算子背压特别大。通过调优使用hashmap状态后端代替rocksdb状态后端，使吞吐量有了质的飞跃（20倍的性能提升），并分析整理。
Flink｜《Flink 官方文档 - 应用开发 - Python API - 依赖管理》学习笔记
学习笔记如下：当 PyFlink 在本地运行时，用户可以将第三方 Python 库安装在本地 Python 环境中，并将机器学习模型下载到本地。但是，这个方法在远端运行 PyFlink 作业时无法生效。Python DataStream API 和 Python Table API 都提供了支持各种
Flink检查点（checkpoint）、 保存点（savepoint）的区别和联系
checkpoint和savepoint是Flink为我们提供的作业快照机制，他们都包含有作业状态的持久化副本。1、checkpoint的侧重点是容错，即Flink作业意外失败并重启之后，能够直接从早先打下的checkpoint恢复运行，且不影响作业逻辑的准确性。而savepoint的侧重点是维护，
Flink流处理案例：实时数据拓展
1.背景介绍在本文中，我们将深入探讨Apache Flink流处理框架的核心概念、算法原理和最佳实践，并提供一个具体的代码实例。通过这篇文章，我们希望读者能够更好地理解Flink流处理框架的优势以及如何应用于实际场景。1. 背景介绍Apache Flink是一个流处理框架，它可以处理大规模的实时数据
Flink多流转换（2）—— 双流连结
本文介绍了Flink多流转换中的双流联结部分
Flink集成Hive之Hive Catalog
流程流程:Flink消费Kafka,逻辑处理后将实时流转换为表视图,利用HiveCataLog创建Hive表,将实时流 表insert进Hive,注意分区时间字段需要为 yyyy-MM-dd形式,否则抛出异常:java.time.format.DateTimeParseException: Text
Docker中flink-cluster-jobmanager-1运行失败解决方法
在这个配置中，我增加了 `jobmanager.memory.process.size` 到 `1600m` 以确保 JVM Overhead 在 `[192mb, 1024mb]` 的范围内。同时，我也增加了 `jobmanager.memory.heap.size` 到 `1024m`。我们需要
【大数据】Flink SQL 语法篇（二）：WITH、SELECT & WHERE、SELECT DISTINCT
关于看如何看一段 Flink SQL 最终的执行计划：最好的方法就如上图，看 Flink Web UI 的算子图，算子图上详细的标记清楚了每一个算子做的事情。
Flink SQL --Flink 整合 hive
catalog(元数据) ---> database ---> table ---> 数据 --- > 列。
使用flink sqlserver cdc 同步数据到StarRocks
flink cdc，sqlserver，starrocks
实战Flink Java api消费kafka实时数据落盘HDFS
在Java api中，使用flink本地模式，消费kafka主题，并直接将数据存入hdfs中。
flink反压及解决思路和实操
我这个是并行度是 4 ，所以会有 0、1、2、3 代表是哪个 subTask（task 下每个并行task），其中看到的比较多的是这两个，outPutUsage 代表发送端 Buffer 的使用率，inPutusage 代表的接收端 Buffer 的使用率。也可能是 TaskManager 的内存引
