大数据-123 - Flink 并行度 相关概念 全局、作业、算子、Slot并行度 Flink并行度设置与测试
一个Flink程序由多个Operator组成（Source、Transformation、Sink）。一个Operator由多个并行的Task（线程）来执行，一个Operator的并行Task（线程）数目就被称为该Operator（任务）并行度（Paralle）并行度可以有如下几种指定方式。Flin
Flink入门（更新中）
1.图片介绍低延迟高吞吐内存计算弹性实施部署机制高可用配置保存点恢复机制exactly-once 状态一致性事件时间处理专业的迟到数据处理2.对比mapreduce相似性都是大数据处理框架，都提供了一套编程模型和API，使得开发人员能处理大规模数据集。分布式处理：都支持分布式处理，即数据可以在多个节
大数据Flink（一百一十五）：Flink SQL的基本概念
因为这个表的元数据没有被持久化。那么在这个 Flink session 中，你的任务访问到这个表时，访问到的永远是临时表（即相同名称的表，临时表会屏蔽永久表）。在这个作业中，订单表作为驱动源表输入，用户信息表作为静态维表，统计结果表作为作业最终输出。表可以是临时的，并与单个 Flink sessio
大数据-121 - Flink Time Watermark 详解 附带示例详解
Watermark 是一个特殊的标志，它用于告诉 Flink 数据流中事件的进展情况。简单来说，Watermark 是 Flink 中估计的“当前时间”，表示所有早于该时间戳的事件都已经到达。Flink 认为当前时间在 Watermark 时间戳之前的所有事件已经接收完毕，不再期待有早于该时间戳的事
大数据-124 - Flink State 01篇 状态原理和原理剖析：状态类型 执行分析
同时在Flink中KeyedState和OperatorState均具有两种形式，其中一种为托管状态（Managed State）形式，由FlinkRuntime中控制和管理状态数据，并将状态数据转换为内存HashTables或RocksDB的对象存储，然后将这些状态数据通过内部的接口持久话到Che
掌握Flink键控状态（Keyed State）：深入指南与实践
在Flink中，键控状态是与特定键相关联的状态，每个键可以有自己的状态副本。键控状态对于需要对每个分组键分别进行计算的场景非常有用，例如，计算每个用户的点击总数。
大数据-117 - Flink DataStream Sink 案例：写出到MySQL、写出到Kafka
上节研究了Flink Sink的基本概念、配置和使用，同时研究了一个案例。本节我们研究FlinkSink写出数据到MySQL、写出到Kafka的数据。Flink 提供了 JdbcSink，它是基于 JDBC 协议的 Sink，可以将数据写入各种关系型数据库，包括 MySQL。在使用 JDBC Sin
大数据-122 - Flink Time Watermark Java代码测试实现Tumbling Window
在使用基于事件时间的窗口时，Flink 依赖 Watermark 来决定何时触发窗口计算。例如，如果你有一个每 10 秒的滚动窗口，当 Watermark 达到某个窗口的结束时间后，Flink 才会触发该窗口的计算。尽管 Watermark 能有效解决乱序问题，但总有可能会出现事件在生成 Water
大数据-120 - Flink Window 窗口机制-滑动时间窗口、会话窗口-基于时间驱动&基于事件驱动
滑动窗口是固定窗口更广义的一种形式，滑动窗口由固定的窗口长度和滑动间隔组成。Flink 的滑动时间窗口（Sliding Window）是一种常用的窗口机制，适用于处理流式数据时需要在时间范围内定期计算的场景。滑动窗口会按照指定的窗口大小（window size）和滑动步长（slide interva
4、Flink SQL 与 DataStream API 集成处理 Insert-Only 流详解
Flink SQL 与 DataStream API 集成处理 Insert-Only 流详解
【Flink】Watermark 在 Flink SQL 中的用法
Flink SQL 中的 Watermark 机制简化了对无序数据的处理。通过定义 Watermark，Flink 可以基于事件时间准确地处理乱序数据，确保数据分析结果的准确性。Watermark 的灵活性允许你根据不同场景定制延迟策略，适应现实数据流的复杂性。
Apache Flink内存模型
如上图，Flink总内存（Total Process Memory）包含了Flink总内存（Total Flink Memory） 和JVM特定内存，Flink总内存又包括JVM堆内存（JVM Heap），托管内存（Managed Momory），直接内存（Direct Memory），下面我们分别
windows本地kafka和zookeeper单机版
总结:上面总共开启了3个cmd。zookeeper配置环境变量，在cmd中可以不指定路径，直接执行。kafka没有配置环境变量，要有路径执行。在config目录下复制一份zoo_sample.cfg文件到同级目录，然后更改名称为zoo.cfg。server.properties配置完后，需要在kaf
flink入门案例
flink 入门程序
大数据-119 - Flink Window总览 窗口机制-滚动时间窗口-基于时间驱动&基于事件驱动
Flink 的滚动时间窗口（Tumbling Window）是一种常见的基于时间的窗口机制，可以通过事件驱动进行计算。通俗讲，Window是用来对一个无限的流的设置一个有限的集合，从而有界数据集上进行操作的一种机制，流上的集合由Window来划定范围，比如“计算过去10分钟”或者“最后50个元素的和
谈一谈Flinksql的Join和Lookupjoin的区别
在实时数仓中，通过动态查询、内存优化、高效处理大规模数据以及灵活的数据源连接，能够更好地满足实时性要求和资源利用效率，因此被更广泛地应用在实时数仓中使用普通JOIN会面临内存消耗大、延迟高、扩展性差、数据倾斜、动态数据处理困难以及难以与外部系统集成等问题。这些缺点使得普通JOIN难以满足实时数仓对于
Flink1.18 同步 MySQL 到 Doris
修改我们的配置文件my.cnf重启 mysql。
大数据-118 - Flink DataSet 基本介绍 核心特性 创建、转换、输出等
上节研究了Flink的Sink的案例：SinkJDBC，SinkKafka，并且附带了代码的实现案例，本节继续研究FlinkDataSet，包含基本介绍、特性等。Flink 的官方路线图中已经不再优先开发 DataSet API 的新特性，未来的主要开发将集中在 DataStream API，甚至批
大数据-113 Flink DataStreamAPI 程序输入源 自定义输入源 非并行源与并行源
上节研究了Flink的DataStreamAPI，文件、Socket、集合、连接器等内容。本节研究自定义的输入源，包含非并行源与并行源。在 Apache Flink 中，非并行源（Non-Parallel Source）是一种特殊的源操作（Source Operator），它的最大并行度被限制为 1
flink 核心概念（个人总结）
状态：在处理数据时，flink可以维护状态，这对于实现复杂逻辑如窗口操作和聚合是有必要的。flink支持有状态的流处理，它可以存储和访问数据流处理过程中的状态信息。窗口是处理无界数据流的一种方法，它将数据流切分成有限大小的块进行处理。b.有界数据流：有明确开始和结束点的数据流，例如批量处理的历史数据
