Apache Flink X Apache Doris构建极速易用的实时数仓架构
Doris针对不同的应用场景提供了不同的数据模型,分别为:明细模型,主键模型和聚合模型。明细模型:明细数据存储(日志分析、行为分析)主键模型:相同key的数据覆盖更新(订单状态、用户状态)聚合模型:相同key列value列合并(报表统计、指标计算)
快速体验 Flink Table Store 入门篇
在本地安装单机版本,能够实现快速体验 Flink Table Store 的目的,本文以 Flink 1.15.2、flink-table-store-dist-0.2.1 和 flink-shaded-hadoop-2-uber-2.8.3-10.0 为例,系统为 Centos 3.10。
大数据Flink进阶(十二):Flink本地模式开启WebUI
在导入flink-runtime-web依赖之后最好重启开发工具,重新加载对应的依赖包,否则可能执行代码之后访问本地WebUI时出现"{"errors":["Not found: /"]}"错误,访问不到WebUI情况。在工作中我们一般使用IntelliJ IDEA开发工具进行代码开发,为了能方便快
Flink自定义source(单并行度和多并行度)
flink自定义source(单并行度和多并行度)
FlinkSQL总结(1.12)
FlinkSQL使用总结
第3.4章:StarRocks数据导入--Flink Connector与CDC秒级数据同步
Flink作为当前流行的流式计算框架,在对接StarRocks时,若直接使用JDBC的方式“流式”写入数据,对StarRocks是不友好的,StarRocks作为一款MVCC的数据库,其导入的核心思想还是“攒微批+降频率”。为此,StarRocks单独开发了flink-connector-starr
Flink从入门到放弃—Stream API—常用算子(map和flatMap)
flink map和flatmap算子源码解析
flink数据类型和序列化-1.13
本博客是对 flink 1.13 官网中数据类型和序列化部分的翻译整理。
flink状态与容错-1.13
本文为 flink 1.13 官网中对于状态与容错部分的翻译整理。
Flink Table Store 典型应用场景
摘要:本文整理自ApacheFlink PMC 李劲松(之信)在 9 月 24日 Apache Flink Meetup 的分享。主要内容包括:介绍 Flink Table Store应用场景Demo后续挑战Tips:点击「阅读原文」获取演讲 ppt~01介绍 Flink Table Store
Flink高频面试题( 精简 )
作为大数据领域炙手可热的大数据组件,Flink作为大数据行业跳槽必问的组件,整理一些Flink相关的面试题供大家参考,有些题言简意赅即可,大多数的博客冗余一堆的知识点,看完要好久,我想帮大家提炼总结出核心的点,以帮助大家临阵磨枪,短时间掌握,当你把知识提炼出来,你会发现你的知识进步了,当你把简单提炼
【实战-01】flink cdc 实时数据同步利器
对很多初入门的人来说是无法理解cdc到底是什么个东西。有这样一个需求,比如在mysql数据库中存在很多数据,但是公司要把mysql中的数据同步到数据仓库(starrocks), 数据仓库你可以理解为存储了各种各样来自不同数据库中表。数据的同步目前对mysql来说比较常见是方式是使用:datax
大数据Flink进阶(十三):Flink 任务提交模式
Flink分布式计算框架可以基于多种模式部署,每种部署模式下提交任务都有相应的资源管理方式,例如:Flink可以基于Standalone部署模式、基于Yarn部署模式、基于Kubernetes部署模式运行任务,以上不同的集群部署模式下提交Flink任务会涉及申请资源、各角色交互过程,不同模式申请资源
简单总结:Flink和Kafka是如何做到精准一致性的
flink kafka保证精准一致性
Apache Flink 实时计算在美的多业务场景下的应用与实践
美的集团实时数据负责人、资深数据架构师董奇,在 Flink Forward Asia 2022 主会场的分享。
Flink Rest API接口使用
用户可以通过flink提供的Rest API管理应用。Rest API可供用户或脚本直接访问,它可以对外公开有关Flink集群和应用的信息
第三章 Flink基础理论之内存优化及常见内存报错解决方案
Flink基础理论之内存优化及常见内存报错解决方案
Flink 常见面试题
Flink 常见面试题
Flink单元测试用法讲解
本文根据flink官方提供的测试方法进行编写,重点在于展示如何实现Flink任务的单元测试。测试是每个软件开发过程中不可或缺的一部分,单元测试的好处有很多,比如:确保单个方法正常运行;如果修改了方法代码,只需确保其对应的单元测试通过;测试代码本身就可以作为示例代码;可以自动化运行所有的测试并获得分析
Apache Doris 系列: 基础篇-Flink SQL写入Doris
本文介绍 Flink SQL如何流式写入 Apache Doris