flink如何利用checkpoint保证数据状态一致性
flink如何利用checkpoint保证数据状态一致性
zookeeper随堂笔记
学习目标：什么是zookeeper 应用场景 基本的操作 shell端 java端 基本原理 选举机制 数据一致性 数据的读写流程 1 zookeeper简介zookeeper是一个底层的集群协调工具，（比如：NN和DN之间的状态感应；监控 通知）！具备基本的功能有 ，记录用户的状态数据 （
入门ClickHouse和Elasticsearch
❄️大多数同学都知道数据有mysql、mongodb、oracle、nosql等等，这些是我们在学校能接触到最多的数据库,今天我们就来认识2个企业中比较常用的数据库clickhouse和elasticsearch。对大数据感兴趣的同学可以参考下面的文章👇:hadoop专题: hadoop系列文章.
聊聊RabbitMq动态监听这点事
很长时间没有分享过学习心得了，看了下发布记录，最后一篇文章的时间都在2020-12-10年了，今天抽时间整理下一个很早就想整理的技术分享。顺便说句题外话，因为我一直没时间整理，再加上开发的小伙伴对Mq的理解不够，我开掉了好几个处理这个事情的开发小伙伴，所以我希望这篇文章能对大家带来一点帮助。背景说明
技术盘点：容器技术的演进路线是什么？未来有哪些想象空间？
技术盘点：容器技术的演进路线是什么？未来有哪些想象空间？
某线下水果店销售数据分析
某线下水果店销售数据分析
七牛云图片上传
七牛云上传图片
02、Hive数据仓库——SQL员工练习题
Hive数据仓库——SQL员工练习题
公司来了个卷王之王，让人崩溃
前几天我们公司一下子也来了几个新人，这些年前人是真能熬啊，本来我们几个老油子都是每天稍微加会班就打算走了，这几个新人一直不走，搞得我们也不好走。2022年春招就要开始了，最近内卷严重，各种跳槽裁员，相信很多小伙伴也在准备今年的金三银四的面试计划。在此展示一套学习笔记 / 面试手册，年后跳槽的朋友可以
Kafka架构、高性能和高可用性分析
本文主要介绍Kafka架构、高性能、高可用以及mac本地安装kafka
linux基础第7节 ----配置与管理DNS服务器
DNS服务的相关配置
4000字全面了解小红书数据平台工程师(实时方向)社招面试内容
大家好，我是土哥。周五晚上过来卷大家了，今天为大家带来一位读者面试小红书的 数据平台工程师（实时方向）面经。面试时间：72 分钟面试方向：数据平台工程师（实时方向）面试工具：赛码网面试难度 : ⭐⭐⭐⭐原文链接：小红书数据平台工程师(实时方向)社招面经(附答案)流计算平台面试官： 不用自我介绍了，直
从李嘉图定律看程序员的收入差距
本文从大卫·李嘉图的租金定律出发，讨论当下IT从业人员的收入差距。
智能建造-钢结构数字应用（附全文PPT）
本文主要讲述智能建造的意义与内涵，总结当前政策，以及基于桥梁领域（公路装配式钢结构桥梁和超大跨径桥梁）讲述如何结合BIM技术、工厂数控设备、信息化管理平台实现钢结构智能建造
Flink 版本数据湖(hudi)实时数仓---flinkcdc hudi kafak hive
1.架构图2.实现实例2.1 通过flink cdc 的两张表 合并 成一张视图， 同时写入到数据湖(hudi) 中 同时写入到kafka 中2.2 实现思路1.在flinksql 中创建flink cdc 表2.创建视图(用两张表关联后需要的列的结果显示为一张速度)3.创建输出表，关联Hudi表
Hadoop：HDFS总结
Hadoop：HDFS总结HDFS架构NameNode(nn): 管理文件的元数据，如文件名、文件目录结构、文件属性等信息【NN运行时，元数据是存储在内存中，从而保证响应时间】元数据只保留在内存中是非常不可靠的，所以也需要持久化到磁盘。NN内部有两类文件用于持久化元数据：fsimage文件，以fsi
【2022美赛 C题 交易策略】Python实现的baseline
目录相关链接1 题目2 思路解析3 Python 实现3.1 数据分析和预处理3.2 预测3.3 动态规划相关链接完整代码和参考文献下载https://mianbaoduo.com/o/bread/YpeclJhr1 题目要求开发一个模型， 这个模型只使用到目前为止的过去的每日价格流来确定，每天应
NoSQL四大分类
我不允许你不知道的nosql知识
PySpark求解连通图问题
前文回顾：PySpark与GraphFrames的安装与使用https://xxmdmst.blog.csdn.net/article/details/123009617networkx快速解决连通图问题https://xxmdmst.blog.csdn.net/article/details/12
1、Hive数据仓库——概念及架构
文章目录Hive 1.2.1Hive 是什么Hive 1.2.1Hive 是什么 Hive是建立在Hadoop上的数据仓库基础
