flink cdc环境搭建
flink cdc环境搭建
大数据基础知识
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。灵活的可扩展性灵活的数据模型与云计算紧密融合现在已经有很多公司使用了NoSQL数据库：GoogleFacebookMozillaAdobeFoursquareLinkedInDigg百度、腾讯、阿里、新浪、华为……Spa
Flink 检查点配置
当有界数据 , 部分Task 完成 , Flink 1.14 后 , 它们依然能进行检查点。检查点存储 (CheckpointStorage) : 持久化存储位置。Rocksdb 状态后端 : 启用增量 checkpoint。
Seatunnel 2.1.3 源码打包、编译运行
记录一下：Seatunnel源码修改之后，本地编译打包执行，中间遇到的问题。
Flink 火焰图
Flink 作业动态参数里增加配置：“rest.flamegraph.enabled”: “true” 并重启作业。当前该功能没有默认开启，因为这个功能使用时对性能有少量损耗，特别是对于并行度比较大的作业。第五步 在 Flink WebUI JM/TM 的 Log List 页面中找到火焰图文件并下
Spark 图计算ONEID 进阶版
Oneid的生成
HDFS写流程源码分析（一）-客户端
环境为hadoop 3.1.3。
大数据扫盲(1): 数据仓库与ETL的关系及ETL工具推荐
在数字化时代，数据成为了企业决策的关键支持。然而，随着数据不断增长，有效地管理和利用这些数据变得至关重要。数据仓库和ETL工具作为数据管理和分析的核心，将帮助企业从庞杂的数据中提取有价值信息。
HDFS读写流程
NameNode将位置信息返回给客户端：NameNode接收到客户端的请求后，会返回该文件所在的DataNode节点的IP地址和块ID等信息。客户端向NameNode请求文件的位置：客户端想要访问一个文件时，会向NameNode发送一个请求，要求获取该文件在HDFS上的位置信息。DataNode返回
LSM(Log-Structured Merge Tree)
LSM Tree全称日志结构合并树（Log-Structured Merge Tree）。BigTable的理论模型，在面临海量数据存入是能展现出比B+ Tree更快的存储速度，其存储架构设计在机械盘时代大放异彩。
清空kafka数据
kafka 清理
大数据Flink（六十一）：Flink流处理程序流程和项目准备
下进行安装，这时候我们自动就是启动的PlaygroundEnv环境，在安装的过程中你也可以看到。我们可以手工安装PyFlink，直接在PyCharm的。有了这些信息我们就可以进行PyFlink的作业开发了。本地环境安装的Python3.8版本。先利用PyCharm创建项目，名为。创建之后，我们会看到
centos7设置elasticsearch开机自启动
如果启动失败先尝试杀死原有的elasticsearch进程。
大数据：AI大模型对数据分析领域的颠覆（文末送书）
AI大模型正在成为数据分析领域的颠覆者，改变我们对数据分析的认知和方式。通过自然语言对话，普通人可以轻松地进行数据分析，无需编写复杂的代码。这一技术的出现有望缩小技术鸿沟，让更多人能够参与到数据驱动的决策中来。
Mysql大数据批量插入方法
在处理大量数据时，如果一条一条地插入会极大地影响效率，因此批量插入是一个更好的选择，可以大大提高数据的处理速度。下面介绍几种MySQL大数据批量插入的方法。
关于kafka安装使用qqf
kafka的学习和使用，会更新使用java链接kafka这些
Hadoop知识点
第二个阶段是由 ApplicationMaster 创建应用程序，为它申请资源，并监控它的整个运行过程，直到运行完成。（1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。（3）DataNod
Git详解及使用
Git是一种分布式版本控制系统，它可以不受网络连接的限制，加上其它众多优点，目前已经成为程序开发人员做项目版本管理时的首选，非开发人员也可以用Git来做自己的文档版本管理工具。大概是大二的时候开始接触和使用Git，从一开始的零接触到现在的重度依赖，真是感叹Git的强大。Git的api很多，但其实平时
Kafka数据倾斜到某一个分区解决方案
Kafka数据倾斜到某一个分区解决方案
使用DataX实现mysql与hive数据互相导入导出
使用DataX实现mysql与hive数据互相导入导出
