Spring Boot如何实现分布式消息队列
在分布式系统中，消息队列是非常重要的一部分，可以帮助开发人员实现异步处理、解耦系统、提高系统可靠性等。本文介绍了使用 RabbitMQ 实现分布式消息队列的示例代码。在实际使用中，需要根据具体场景选择合适的工具和方案，并注意消息的传输性能和可靠性，确保系统的可靠性和性能。
spark学习之maven导入依赖的一些问题
maven版本过高会无法导入部分scala的依赖，但也不必担心我们换一个版本即可，我这里用的maven仓库版本是3.8.6差不多是最新版的了（现在最新版本的是4.0了），刚开始导入依赖会出现很多问题，maven提示下载好了，但是依赖并没有导入进来导致jar还是不可用，所以这时候我们应该改变versi
RabbitMQ ---- Hello World
本节使用 Java 编写两个程序。发送单个消息的生产者和接收消息并打印出来的消费者。
Windows 环境下 Docker 安装伪分布式 Hadoop
将时区文件链接到本地时间文件上，以便系统能够正确地显示当前时间，防止系统重启后时区改变。输入下面命令可以看到时间和咱们时间不一样，需要同步一下不然以后可能会遇到一些问题。设置 ssh 开机自启，找到并打开文件/root/.bashrc。配置容器内的 root 用户密码，该密码可用于远程登录。我这里选
Flink CDC实时同步PG数据库
Flink CDC同步PG数据库全流程
SparkUI超详细解释（2）——Stages
推测的原因是这个stage对应的是以下面的代码，上下两个shuffle的key相同又有一次union all，所以可以放在一个stage中，虽然task数量是4000，但是上面的shuffle数据是分在2000个task中，下面的是另一个2000task中，并不会两者合在一起hash到4000个ta
CDH 6.3.2下安装Flink
cdh 6.3.2下安装flink简单教程，自己在生产环境中测试成功
Flink使用 KafkaSource消费 Kafka中的数据
很多 flink相关的书籍和网上的文章讲解如何对接 kafka时都是使用的 FlinkKafkaConsume，'org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumer' is deprecated ，新版 flink应该使用 K
使用docker快速安装Kafka
快速安装kafka。
5G无线频段划分
生活中使用电磁波的地方有很多，比如雷达，Wifi，电视，广播等都采用了电磁波传输数据，只不过他们之间的频率不通，如果使用相同的频率，则会产生干扰，所以频率一旦被某方占用，另一方就没得使用了。不同用途的电磁波频率有一个使用范围，该范围称为频段（又称Band）频段的上下限差值为带宽。
手把手教你，本地RabbitMQ服务搭建（windows）
前面已经对RabbitMQ介绍了很多内容，今天主要是交大家搭建一个可用的RabbitMQ服务端，方便后续进一步实操与细节分析。
Docker安装kafka可视化管理工具 - Kafka Manager
Docker安装kafka可视化管理工具 - Kafka Manager
Docker中快速部署Zookeeper服务
最近在研究分布式ID，在使用美团的Leaf的时候基于Snowflake的实现我们需要通过Zookeeper来实现动态管理workId。所以记录下在Docker中快速安装Zookeeper的过程。
Scala 环境搭建安装配置
Scala环境搭建安装配置
hive的数据导入
insert导出，导出的目录不用自己提前创建，Hive会帮我们自动创建，但是由于是overwrite，所以导出路径一定要写具体，否则很可能会误删数据。insert不支持插入部分字段，并且后边跟select语句时，select之前不能加as，加了as会报错，一定要跟下面的as select区分开。并且
Spring Boot 整合kafka消费模式AckMode以及手动消费
Spring boot 批量消费kafka消息，内容就介绍下各个模式的区别。kafka支持的消费模式等常用代码功能。
Flink CDC 基于Oracle log archiving 实时同步Oracle表到Mysql（无主键）
现在操作的是源表和目标表都无主键数据实时同步，其实是在flink建立和sink表的关联时，指定了主键，只不过是flink实时同步程序的需要，sink目标表没有主键。// 这使得LogMiner的挖掘速度大大提高，但代价是无法跟踪DDL的变化。//online_catalog -使用数据库的当前数据字
Flink：处理大规模复杂数据集的最佳实践深入探究Flink的数据处理和性能优化技术
作者：禅与计算机程序设计艺术 随着互联网、移动互联网、物联网等新型网络技术的不断发展，企业对海量数据的处理日益依赖，而大数据分析、决策支持、风险控制等领域都需要海量的数据处理能力。如何高效、快速地处理海量数据、提升处理效率、降低成本，是当下处理大规模复杂数据集的
如何解决Flink任务的数据倾斜
如何解决flink任务的数据倾斜问题
HDFS常用命令
正则匹配OriginalFilePath目录下的文件（夹），批量上传到hdfs的targetFilePath目录下。其中-E表示告诉grep后面是一个正则表达式。查看yarn集群中正在运行的应用，可以看到各个应用的执行状态和进度（progress可能不准确，一直为10%）查看所有处于running状
