Flink-DataWorks第一部分:DataWorks(第57天)
本文主要详解了DataWorks基本功能,为第一部分:由于篇幅过长,分章节进行发布。后续: 数据集成的使用 数据开发流程及操作 运维中心的使用
Flink 实时数仓(五)【DWD 层搭建(三)交易域事实表】
Flink 实时数仓DWD层搭建,加购事务事实表,订单预处理表
Flink开发语言选择:Java还是Scala?
广泛应用:Java是企业级应用开发的首选语言之一,全球拥有庞大的开发者社区。稳定性和性能:Java以其稳健的性能表现和稳定性著称,非常适合大规模、长生命周期的项目。丰富的库和框架:Java的生态系统十分庞大,几乎所有的应用场景都有现成的解决方案和库支持。
Java版Flink使用指南——定制RabbitMQ数据源的序列化器
在一文中,我们从RabbitMQ队列中读取了字符串型数据。如果我们希望读取的数据被自动化转换为一个对象,则需要定制序列化器。本文我们就将讲解数据源序列化器的定制方法。
docker-compose部署Flink及Dinky
centos7使用docker-compose部署flink及dinky
Flink之keyBy操作
在Flink中,当我们需要对海量数据进行聚合处理时,通常会先进行分区,以提高处理效率。通过keyBy操作,我们可以根据指定的键将数据流划分为不同的分区,每个分区内的数据将发送到同一个分区进行处理。这种分区的方式是通过计算键的哈希值,并通过对分区数取模运算来实现的。因此,具有相同键
大数据最新FlinkCDC全量及增量采集SqlServer数据_flink cdc sql server
TABLE_CATALOG TABLE_SCHEMA TABLE_NAME TABLE_TYPEtest dbo user_info BASE TABLEtest dbo systranschem
Flink-StarRocks详解:第六部分-即席查询大案例解析(第56天)
本文为Flink-StarRocks详解后续章节:主要详解StarRocks数仓场景:即席查询大案例
Flink学习(八)-Flink 集群搭建
装好 jdk 等必要的组件。注意,由于本身没有额外的 dns做转发。因此,需要在每台机器的 host 文件里,配置好相关 ip具体方法。
【图解大数据技术】流式计算:Spark Streaming、Flink
Flink 和 Spark Streaming 不一样,Flink 一开始设计就是为了做实时流式计算的。它可以监听消息队列获取数据流,也可以用于计算存储在 HDFS 等存储系统上的数据(Flink 把 这些静态数据当做数据流来进行处理)。然后 Flink 计算后生成的结果流,也可以发送到其他存储系统
谈谈Flink消费kafka的偏移量
Filnk checkpointing开始时就进入到pre-commit阶段,具体来说,一旦checkpoint开始,Flink的JobManager向输入流中写入一个checkpoint barrier将流中所有消息分隔成属于本次checkpoint的消息以及属于下次checkpoint的消息,b
Java版Flink使用指南——从RabbitMQ中队列中接入消息流
在一文中,我们完成了第一个小型Demo的编写。例子中的数据是代码预先指定的。而现实中,数据往往来源于外部。本文我们将尝试Flink从RabbitMQ中读取数据,然后输出到日志中。关于RabbitMQ的知识可以参阅。
Flink-StarRocks详解:第五部分查询数据湖(第55天)
本文为Flink-StarRocks详解后续章节:主要详解StarRocks查询数据湖由于篇幅过长,后续接着下面进行详解:数仓场景:即席查询大案例
Flink CDC操作数据库获取变更数据
使用FlinkCDC Connector整合SpringBoot实现对OceanBase,SQLServer数据库变更数据的获取
Flink LookupJoin攒批查询
使用Lookup Join进行维表关联时,流表数据需要实时与维表数据进行关联。使用Cache会导致数据关联不准确,不使用Cache会造成数据库服务压力。攒批查询是指攒够一定批数量的数据,相同的查询Key只查询一次,从而减少查询次数。对短时间Key重复率比较高的场景有不错的性能提升。
Flink-StarRocks详解:第四部分StarRocks分区管理,数据压缩(第54天)
本文为Flink-StarRocks详解后续章节:主要详解StarRocks分区分桶管理,数据压缩,由于篇幅过长,后续接着下面进行详解: StarRocks查询数据湖 实现即席查询案例。
Apache Flink简介
快速认识flink
flink用法详解
无界流 (Unbounded Streams): 数据流理论上没有终点,持续不断地流入系统。Flink 会连续地处理这些事件,即使在处理过程中新的数据还在不断到来。 有界流 (Bounded Streams): 数据流有一个明确的起点和终点,处理完所有数据后任务即结束。Flink 可以像处理流一样处
10分钟了解Flink Watermark水印
本文主要讲了Flink Watermark水印的概念和使用。
Flink 反压
Flink反压是一个在实时计算应用中常见的问题,特别是在流式计算场景中。