大数据Flink（八十八）：Interval Join（时间区间 Join）
刚刚的案例也讲了，Regular Join 会产生回撤流，但是在实时数仓中一般写入的 sink 都是类似于 Kafka 这样的消息队列，然后后面接 clickhouse 等引擎，这些引擎又不具备处理回撤流的能力。可以发现 Inner Interval Join 和其他三种 Outer Interva
【天衍系列 05】Flink集成KafkaSink组件：实现流式数据的可靠传输 & 高效协同
旨在帮助读者理解Flink的KafkaSink组件的相关知识体系，以及了解是如何实现流式数据的可靠传输 & 高效协同
Flink通讯模型—Akka与Actor模型
也就是说，它可以被分配，分布，调度到不同的CPU，不同的节点，乃至不同的时间片上运行，而不影响最终的结果。尽管单个的actor是自然有序的，但一个包含若干个actor的系统却是高度并发的并且极具扩展性的。actor线程顺序处理收到的消息。3）call stack的问题 当我们编程模型异步化之后，还有
Flink与Spring Boot集成实践：搭建实时数据处理平台
在当今数据风暴的时代，实时数据处理已经成为众多企业关注的热点。Apache Flink作为一个高性能、可扩展的实时计算框架，在实时数据处理领域占据着举足轻重的地位。Spring Boot则以其快速开发、简化配置而广受欢迎，将两者结合，我们可以快速地搭建起一个实时数据处理平台。本文将详细讲述如何将Fl
【快捷部署】002_Flink（1.17.2）
快捷部署系列，本期带来的是Flink，快速体验、学习
FlinkSql 窗口函数
以前用的是Grouped Window Functions（分组窗口函数），但是分组窗口函数只支持窗口聚合现在FlinkSql统一都是用的是Windowing TVFs（窗口表值函数），Windowing TVFs更符合 SQL 标准且更加强大，支持window join、Window aggreg
Flink on Yarn安装配置
Apache Flink，作为一个开源的分布式处理引擎，近年来在大数据处理领域崭露头角，其独特的流处理和批处理一体化模型，使得它能够在处理无界和有界数据流时展现出卓越的性能。本文旨在对Flink进行简要的前言性介绍，以及他的安装配置。
Flink 调度源码分析1：拓扑图创建与提交过程
在Flink中，拓扑图提交过程是将用户编写的数据处理逻辑转换为实际可执行的作业并提交到集群运行的过程。首先，用户编写Flink程序，定义数据源、转换操作和输出目标等。然后，Flink会将这些操作转换为一个有向无环图(DAG)，表示数据处理流程。接着，Flink会将DAG图优化并生成作业图，包括任务的
记一次Flink任务无限期INITIALIZING排查过程
环境：Flink-1.16.1，部署模式：Flink On YARN，现象：Flink程序能正常提交到 YARN，Job状态是 RUNNING，而 Task状态一直处于 **INITIALIZING**，排查思路有...
(增加细粒度资源管理)深入理解flink的task slot相关概念
深入理解flink的task slot相关概念
实时数据处理的流式计算框架：Apache Spark Streaming 与 Apache Flink 的实践
1.背景介绍随着互联网的普及和大数据时代的到来，实时数据处理变得越来越重要。实时数据处理技术可以帮助企业更快地响应市场变化，提高业务效率，提升竞争力。在大数据处理领域，流式计算是一个重要的技术，它可以实时处理大量数据，并在数据到达时进行分析和处理。Apache Spark Streaming 和 A
【Flink】窗口实战：TUMBLE、HOP、SESSION
在流式计算中，流通常是无穷无尽的，我们无法知道什么时候数据源会继续 / 停止发送数据，所以在流上处理聚合事件（count、sum 等）的处理方式与批处理中的处理方式会有所差异。在流上一般用窗口（Window）来限定聚合的范围，例如 “过去 2 分钟网站点击量的计数”、“在最近 100 个人中点赞这个
Flink技术简介与入门实践
Flink 是一个分布式流处理和批处理计算框架，具有高性能、容错性和灵活性。JobManager：JobManager 是 Flink 集群的主节点，负责接收和处理用户提交的作业。解析和验证用户提交的作业。生成执行计划，并将作业图分发给 TaskManager。协调任务的调度和执行。管理作业的状态和
二次开发Flink-coGroup算子支持迟到数据通过测输出流提取
coGroup算子开窗到时间关闭之后，迟到数据无法通过测输出流提取，intervalJoin算子提供了api，因为join算子底层就是coGroup算子，所以Join算子也不行。flink版本 v1.17.1。
【flink番外篇】11、Flink 并行度设置
系统介绍某一知识点，并辅以具体的示例进行说明。1、Flink 部署系列本部分介绍Flink的部署、配置相关基础内容。2、Flink基础系列本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。3、Flik Table API和S
Flink面试题持续更新【2023-07-21】
需要注意的是，Spark 3.0引入了Structured Streaming，它在Spark Streaming的基础上进行了重构，以支持更高级的流处理功能和与批处理更紧密的一体化。需要注意的是，除了默认的消息语义之外，Flink和Spark Streaming都提供了灵活的配置选项和API，允许
Flink 性能优化总结（内存配置篇）
flink 性能优化 内存配置
【Flink SQL】Flink SQL 基础概念（五）：SQL 时区问题
首先说一下这个问题的背景：大家想一下离线 Hive 环境中，有遇到过时区相关的问题吗？至少博主目前没有碰到过，因为这个问题在底层的数据集成系统都已经给解决了，小伙伴萌拿到手的 ODS 层表都是已经按照所在地区的时区给格式化好的了。举个例子：小伙伴萌看到日期分区为2022-01-01的 Hive 表时
Flink Flink数据写入Kafka
flink官方集成了通用的 Kafka 连接器，使用时需要根据生产环境的版本引入相应的依赖。通过socket模拟数据写入Flink之后，Flink将数据写入Kafka。
【Flink入门修炼】2-1 Flink 四大基石
前一章我们对 Flink 进行了总体的介绍。对 Flink 是什么、能做什么、入门 demo、架构等进行了讲解。本章我们将学习 Flink 重点概念、核心特性等。本篇对 Flink 四大基石进行概括介绍，是 Flink 中非常关键的四个内容。
