Java版Flink使用指南——从RabbitMQ中队列中接入消息流
在一文中,我们完成了第一个小型Demo的编写。例子中的数据是代码预先指定的。而现实中,数据往往来源于外部。本文我们将尝试Flink从RabbitMQ中读取数据,然后输出到日志中。关于RabbitMQ的知识可以参阅。
Flink-StarRocks详解:第五部分查询数据湖(第55天)
本文为Flink-StarRocks详解后续章节:主要详解StarRocks查询数据湖由于篇幅过长,后续接着下面进行详解:数仓场景:即席查询大案例
Flink CDC操作数据库获取变更数据
使用FlinkCDC Connector整合SpringBoot实现对OceanBase,SQLServer数据库变更数据的获取
53、Flink 测试工具测试用户自定义函数详解
Flink 测试工具测试用户自定义函数详解
Flink LookupJoin攒批查询
使用Lookup Join进行维表关联时,流表数据需要实时与维表数据进行关联。使用Cache会导致数据关联不准确,不使用Cache会造成数据库服务压力。攒批查询是指攒够一定批数量的数据,相同的查询Key只查询一次,从而减少查询次数。对短时间Key重复率比较高的场景有不错的性能提升。
Flink-StarRocks详解:第四部分StarRocks分区管理,数据压缩(第54天)
本文为Flink-StarRocks详解后续章节:主要详解StarRocks分区分桶管理,数据压缩,由于篇幅过长,后续接着下面进行详解: StarRocks查询数据湖 实现即席查询案例。
Apache Flink简介
快速认识flink
flink用法详解
无界流 (Unbounded Streams): 数据流理论上没有终点,持续不断地流入系统。Flink 会连续地处理这些事件,即使在处理过程中新的数据还在不断到来。 有界流 (Bounded Streams): 数据流有一个明确的起点和终点,处理完所有数据后任务即结束。Flink 可以像处理流一样处
10分钟了解Flink Watermark水印
本文主要讲了Flink Watermark水印的概念和使用。
Flink 反压
Flink反压是一个在实时计算应用中常见的问题,特别是在流式计算场景中。
抖音集团基于 Apache Doris 的实时数据仓库实践
在直播、电商等业务场景中存在着大量实时数据,这些数据对业务发展至关重要。而在处理实时数据时,我们也遇到了诸多挑战,比如实时数据开发门槛高、运维成本高以及资源浪费等。此外,实时数据处理比离线数据更复杂,需要应对多流 JOIN、维度表变化等技术难题,并确保系统的稳定性和数据的准确性。本文将分享基于的实时
5、Flink SQL管理平台flink-streaming-platform-web安装搭建
rest.bind-port可以设置成列表格式如50100,50101,也可设置成范围格式如50100-50200。这是缺少kafka-clients的jar包,只需将下载的kafka-clients jar包放在lib目录下重启flink,提交任务。rest.bind-port不设置,则Rest
大数据专家教你学Flink:用EventTime与WaterMark进行流数据处理
最简单的情况下,这也最容易理解:所有进入到Flink处理系统的流数据,都是在外部的其它系统中产生的,它们产生后具有了事件时间,经过传输后,进入到Flink处理系统,理论上(如果所有系统都具有相同系统时钟)该事件时间对应的时间戳要早于进入到Flink处理系统中进行处理的时间戳,但实际应用中会出现数据记
一图搞定Flink Oracle CDC 同步至Paimon(持续更新)
本文以Flink 1.18、FLink CDC 3.1为环境,配置Flink CDC 同步Oracle的数据至Paimon
flink1.18源码本地调试环境
01 源码本地调试环境搭建01 源码本地调试环境搭建1.从github拉取源码创建本地项⽬可以拉取github上官⽅代码2.配置编译环境ctrl+alt+shift+s (或菜单)打开项⽬结构,确保jdk版本为1.8,scala版本最好为2.12.73.源码编译跳过调试。
使用flink cdc 的union all语法同步多个源表到一个目标表
Apache Flink 是一款高性能的流处理框架,它支持CDC(Change Data Capture)功能,即变更数据捕获。CDC允许你捕获到数据库中数据的变更(包括增加、更新、删除操作),并将这些变更实时地同步到其他系统或数据仓库中。Flink CDC Connectors 是 Flink 的
Flink 1.19.1 standalone 集群模式部署及配置
config.yaml: jobmanager address 统一使用 dev001,bind-port 统一改成 0.0.0.0,taskmanager address 分别更改为dev所在host。flink 1.19起 conf/flink-conf.yaml 更改为新的 conf/conf
在 Windows 搭建 flink 运行环境并模拟流数据处理
在大数据场景中,开发者追求高效与灵活,Linux 系统以其稳定性成为众多组件的首选,但在资源有限的情况下,在本机搭建一个 Linux 虚拟机集群却显得过于笨重,启动、运行占资源,需要配置网络,无法和windows共享资源,尤其是对只有 8GB 内存的 Windows 系统用户来说,内存压力显而易见。
基于FlinkCDC-3.1.1&Flink-1.18实现MySQL DDL审计告警
当前项目属于V0.1版本,里面支持的数据源不是很全面,告警渠道也有限。如果有需要的小伙伴,可以自行下载代码,然后做二次开开发。FlinkCDC 3.0版本提供了很多新能力,为数据同步提供了更多的保障机制和可能性,后续会继续探索其他新功能和新使用场景。有需要交流的小伙伴,欢迎关注我的公众号,一起交流学
湖仓一体架构解析:数仓架构选择(第48天)
本文解析了Lambda 架构,Kappa 架构,以及在大数据场景中,如何选择架构。