Flink实时数仓项目—项目初了解
Flink实时数仓项目—项目初了解前言一、实时数仓分层介绍1.普通的实时计算与实时数仓比较2.实时电商数仓分层规划二、实时数仓需求概览1.离线计算和实时计算的比较2.实时需求种类2.1 日常统计报表或分析图中需要包含当日部分2.2 实时数据大屏监控2.3 数据预警或提示2.4 实时推荐系统三、数仓架
【大数据】flink保证Exactly_Once的理解
满足三点，可以保证端到端的Exactly_Once1.开启checkpoint2.source支持数据重发3.sink端幂等性写入、事务性写入。我们常使用事务性写入sink 事务性写入分为两种方式1、WAL（预写日志的方式）：先将数据当作状态保存，当收到checkpoint完成通知后，一次性sink
从0到1搭建大数据平台之开篇
学大数据必须了解的知识点。硬核
Flink窗口转换算子
Flink窗口转换算子
Flink-Exactly-once一致性系列实践1
Flink-Exactly-once系列实践-KafkaToKafka文章目录Flink-Exactly-once系列实践-KafkaToKafka一、Kafka输入输出流工具类二、统计字符个数案例三、消费者消费kafka的事务数据总结与可能出现的问题一、Kafka输入输出流工具类代码如下（示例）：
Flink1.14.3流批一体体验
Flink1.14.3流批一体体验
Flink总结
Flink总结一、初步了解什么是Flink？Flink是一个实时的流式计算引擎，与sparkStreaming不同的是底层是流式引擎，并且有用事件窗口和时间窗口两种窗口，可以进行离线和实时计算，有着完美的容错机制，以及数据延迟机制，在支持高吞吐的同时保证低延迟，并提出了时间语义的概念，将数据分为有界
Flink状态一致性检查点
Flink状态一致性检查点一致性检查点：是指在某一个时刻所有算子将同一个任务都完成的情况下进行的一个快照（方便后续计算出错时，提供一个数据恢复的快照）
Flink学习中之time、watermark、state
🌿今天我们来了解一下flink中的几个重要基础概念：time、watermark、state，这是flink流处理中实现数据流执行速度快和结果正确的要点，对往期内容感兴趣的同学可以看下面👇：链接: Flink学习专辑.🌰其实在前面的章节中，我们也介绍了一些时间、状态的概念，但不够深入，本篇博客
Flink HA模式环境搭建
Flink HA安装部署
2022暑期实习字节跳动数据研发面试经历
🌟今天下午面试两家，字节跳动数据研发一面和百度三面，百度那边突然不面了，hr说下个星期再看看，是直接过了还是再来一面，需要和部门商量一下，先来总结一下字节跳动的面试吧。废话，对百度面试感兴趣的同学可以参考如下文章：链接: 2022百度大数据开发工程师实习面试经历.链接: spark学习之并行度、并
Day548.Kafka相关外部系统整合 -kafka
Kafka相关外部系统整合一、集成 FlumeFlume 是一个在大数据开发中非常常用的组件。可以用于 Kafka 的生产者，也可以用于Flume 的消费者。1、Flume 生产者启动 kafka 集群zk.sh startkf.sh start启动 kafka 消费者bin/kafka-cons
几分钟明白Flink水位线
Flink水位线1、Flink中不同的事件概念Processing time（处理时间）： 即事件被机器处理的时间，事件流向某个算子的系统时间Event Time(事件时间）： 事件时间是再某个生产设备上发生时间，指事件进入Flink之前嵌入的时间，通常可以从事件中获取一个时间戳，此时间戳可以用来得
FLINK的部署
flink集群部署
大数据Hadoop之——Flink DataStream API 和 DataSet API
文章目录一、DataStream API概述一、DataStream API概述DataStream API 得名于特殊的 DataStream 类，该类用于表示 Flink 程序中的数据集合。你可以认为 它们是可以包含重复项的不可变数据集合。这些数据可以是有界（有限）的，也可以是无界（无限）的，但
Flink查询关联Hbase输出
1、前言大家在开发Flink的时候，很多时候会把某些固定的维度信息存储在Hbase或者Redis等这些第三方库里，已方便来跟流发生关联查询输出。本文将从如何本地搭建一个Hbase环境开始讲起，到如何构建一个Hbase公共调用类，到如何构建一个异步调用Hbase的公共代码，再到最后实际调用代码后的输出
Flink RPC源码流程
Flink RPC源码流程
Flink旁路输出特性简单实例：按照股价对股票进行数据分流并写出到文本文件
关于旁路输出的官方文档：https://nightlies.apache.org/flink/flink-docs-release-1.14/zh/docs/dev/datastream/side_output/除了由 DataStream 操作产生的主要流之外，我们还可以产生任意数量的旁路输出结果
flink如何利用checkpoint保证数据状态一致性
flink如何利用checkpoint保证数据状态一致性
Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive
1.架构图2.实现实例2.1 通过flink cdc 的两张表 合并 成一张视图， 同时写入到数据湖(hudi) 中 同时写入到kafka 中2.2 实现思路1.在flinksql 中创建flink cdc 表2.创建视图(用两张表关联后需要的列的结果显示为一张速度)3.创建输出表，关联Hudi表
