Flink-容错机制checkpoint
随时存档”确实恢复起来方便，可是需要我们不停地做存档操作。如果每处理一条数据就进行检查点的保存，当大量数据同时到来时，就会耗费很多资源来频繁做检查点，数据处理的速度就会受到影响。所以在Flink中，检查点的保存是周期性触发的，间隔时间可以进行设置。
Flink 源码学习｜Watermark 与 WatermarkGenerator
当数据源中消息的事件时间单调递增时，当前事件时间（同时也是最大事件时间）就可以充当 watermark，因为后续到达的消息的事件时间一定不会比当前事件时间小。当输入数据流中消息的事件时间不完全有序，但是对于绝大部分元素，滞后时间通常不会超过一个固定的时间长度时，我们可以通过在当前最大事件时间的基础上
Flink实时物联网数据处理
1.背景介绍物联网(Internet of Things, IoT)是一种通过互联网将物体和物体、物体和人、人与人之间进行信息交换和传输的新兴技术。物联网的发展为各行业带来了巨大的变革，特别是在实时数据处理和分析方面，物联网为我们提供了大量的实时数据，这些数据在很多场景下具有极高的价值。实时数据处理
Flink
unboundedandboundedFlink的世界观是数据流，对Flink而言，其所要处理的主要场景就是流数据，批数据只是流数据的一个极限特例而已，所以Flink也是一款真正的流批统一的计算引擎。无界流：有定义流的开始，但没有定义流的结束。它们会无休止的产生数据。无界流的数据必须持续处理，即数据
流式计算框架比较：Apache Flink vs. Apache Stor
1.背景介绍流式计算是一种处理大规模数据流的技术，它可以实时处理大量数据，并提供快速的分析和决策。在大数据时代，流式计算已经成为了一种重要的技术手段，它可以帮助企业更快地响应市场变化，提高业务效率。Apache Flink和Apache Storm是两个流行的流式计算框架，它们都是开源的，具有强大的
Flink从入门到实践（二）：Flink DataStream API
/ num>@Override@Override// 最终执行的方法，输出到终端});
【Flink Sink 流数据批量写入数据库】
flink 通过开窗window缓存周期数据构成批，然后下发到sink算子 批量写入 数据库 性能优化
8 分钟看完这 7000+ 字，Flink 时间窗口和时间语义这对好朋友你一定搞得懂！外送窗口计算和水印一并搞懂！！！
场景1：电商场景中计算每种商品每1min的累计销售额。场景2：我们在观看直播时，直播间的右上角会展示最近1min的在线人数，并且每隔1min会更新一次。场景3：一件商品被推荐给我们时，展示着这个商品累计的销量，并且销量还会不断地更新（假设10s更新一次）。当我们仔细分析这3个场景中计算的实时指标时，
Flink-CDC实时读Postgresql数据
CDC（Change Data Capture）,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT, DELETE, UPDATE等。用户可以在如下的场景使用cdc：（1）实时数据同步：比如将Postgresql库中的数
flink词汇表
在检查点期间存储其快照的位置（的 Java 堆或文件系统）。
Flink多流转换（1）—— 分流&合流
本文介绍了flink多流转换中的分流和河流
Flink问题解决及性能调优-【Flink根据不同场景状态后端使用调优】
Flink 实时groupby聚合场景操作时，由于使用的是rocksdb状态后端，发现CPU的高负载卡在rocksdb的读写上，导致上游算子背压特别大。通过调优使用hashmap状态后端代替rocksdb状态后端，使吞吐量有了质的飞跃（20倍的性能提升），并分析整理。
Flink｜《Flink 官方文档 - 应用开发 - Python API - 依赖管理》学习笔记
学习笔记如下：当 PyFlink 在本地运行时，用户可以将第三方 Python 库安装在本地 Python 环境中，并将机器学习模型下载到本地。但是，这个方法在远端运行 PyFlink 作业时无法生效。Python DataStream API 和 Python Table API 都提供了支持各种
Flink检查点（checkpoint）、 保存点（savepoint）的区别和联系
checkpoint和savepoint是Flink为我们提供的作业快照机制，他们都包含有作业状态的持久化副本。1、checkpoint的侧重点是容错，即Flink作业意外失败并重启之后，能够直接从早先打下的checkpoint恢复运行，且不影响作业逻辑的准确性。而savepoint的侧重点是维护，
Flink流处理案例：实时数据拓展
1.背景介绍在本文中，我们将深入探讨Apache Flink流处理框架的核心概念、算法原理和最佳实践，并提供一个具体的代码实例。通过这篇文章，我们希望读者能够更好地理解Flink流处理框架的优势以及如何应用于实际场景。1. 背景介绍Apache Flink是一个流处理框架，它可以处理大规模的实时数据
Flink多流转换（2）—— 双流连结
本文介绍了Flink多流转换中的双流联结部分
Flink集成Hive之Hive Catalog
流程流程:Flink消费Kafka,逻辑处理后将实时流转换为表视图,利用HiveCataLog创建Hive表,将实时流 表insert进Hive,注意分区时间字段需要为 yyyy-MM-dd形式,否则抛出异常:java.time.format.DateTimeParseException: Text
Docker中flink-cluster-jobmanager-1运行失败解决方法
在这个配置中，我增加了 `jobmanager.memory.process.size` 到 `1600m` 以确保 JVM Overhead 在 `[192mb, 1024mb]` 的范围内。同时，我也增加了 `jobmanager.memory.heap.size` 到 `1024m`。我们需要
【大数据】Flink SQL 语法篇（二）：WITH、SELECT & WHERE、SELECT DISTINCT
关于看如何看一段 Flink SQL 最终的执行计划：最好的方法就如上图，看 Flink Web UI 的算子图，算子图上详细的标记清楚了每一个算子做的事情。
Flink SQL --Flink 整合 hive
catalog(元数据) ---> database ---> table ---> 数据 --- > 列。
