pylink消费kafka写入ES
"enable.auto.commit": "false", # 关闭kafka 自动提交，此处不能传bool 类型会报错。(\d{26}).*?).name(f"消费{TEST_KAFKA_TOPIC}主题数据")# 创建 StreamExecutionEnvironment 对象。# id表示
kafka提高消费能力
因业务约束，发送到kafka的单条消息的大小达到了125k。并且存在远程调用瓶颈，目前阶段无法解耦。在此条件下，系统上了生产第一天就遇到了消费瓶颈，并且10分钟积压消息达到了100w+，为此记录问题发现过程以及解决方案。
测试开发真的不难（8）启动Zookeeper报错ZooKeeper audit is disabled【已解决】
今天在启动Kakfa+Zookeeper时遇见了报错：ZooKeeper audit is disabled。对于3.6和3.2版本的解决方式做了下总结，直接看这篇就可以啦！
Eureka与Nacos的区别
Eureka与nacos的区别（详细）
Flink中max和maxBy的区别及使用
max和maxBy的区别
Hive SQL——explode拆分函数&多行(列)合并为一行(列)&reflect函数
Hive SQL —— explode 拆分函数
Noe4J 超级详细的安装与使用
Neo4j是基于Java的图形数据库，运行Neo4j需要启动JVM进程，因此必须安装JAVA SE的JDK。配置 JDK环境，为以后能适应Springboot，请选择最低JDK1.8的环境。
springboot kafka配置与使用
可以根据情况只配置生产着或消费者；每个groupId都可以完整消费指定topic的所有数据，要想重新消费所有数据可以更换groupid组
Openlineage数据地图
Openlineage 是一款数据血缘采集和分析的开源框架。不同的元数据管理系统都有着自己的一套元数据定义，Openlineage的设计相当于在中间架设了一层格式转换，类似于一个转接口。对于元数据的统一来说，Openlineage的出现让使用者无需关注背后的元数据系统是什么，使用的是哪个元数据插件进
处理Zookeeper故障：排除常见故障和错误
[toc] 引言Zookeeper是一款非常流行的分布式协调软件，广泛应用于许多场景，如微服务架构、负载均衡、集群管理、安全性控制等。然而，在使用Zookeeper的过程中，经常会遇到各种故障和错误。本篇文章将介绍如何处理Zookeeper故障，并提供常见的解决
RabbitMQ笔记
RabbitMQ
数据资产目录
数据资产目录
RabbitMQ如何实现延时队列
RabbitMQ实现延时队列
云计算复习
云计算复习纲要
zookeeper 安装下载与集群
my_env.sh是自己创建的环境变量文件，你也可以自己创建。配置集群信息和日志路径还有data路径。三个重新启动发现就可以看可以了。发现起不来，查看日志信息发现。记得source环境变量。在你配置的data路径下。创建myid文件，记得。
hive日期使用技巧
hive日期使用技巧
Kafka学习---4、消费者（分区消费、分区平衡策略、offset、漏消费和重复消费）
Kafka学习---4、消费者（分区消费、分区平衡策略、offset、漏消费和重复消费）
如何保证消息不被重复消费?
在消费消息时，首先从消息的properties中获取messageId属性，并使用isMessageProcessed()方法查询该消息是否已经被处理过。这是因为RabbitMQ是一个消息的投递机制，只有在消费者确认了消息已经被处理后，才会从消息队列中删除该消息。在消费下一条消息时，先查询是否已经消
云计算复习索引
云计算考试复习索引，动态更新
在mac上如何安装和搭建Hadoop集群
可以从 Hadoop 官网下载 Hadoop 安装包，或者通过 Homebrew 进行安装。Hadoop 需要依赖 Java 运行环境，因此需要先安装 Java。：设置 Hadoop 的通用参数，包括文件系统默认的 URI 和文件系统类型。：设置 MapReduce 的参数，包括 MapReduce
