数仓开发之DWD层（三）
（附：由于篇幅原因，这里就不在展示代码了，直接告诉大家思路）
kafka单条消息过大导致线上OOM，运维连夜跑路了！
消费端的fetch.message.max.bytes指定最大消息需要的内存空间，同样，分区数最大需要内存空间不能超过服务器内存。查看kafka配置，默认单条消息最大1M，当单条消息长度超过1M，就会出现发送到broker失败，从而导致消息在producer的队列一直累积，直到Pro OOM。通过性
Kafka之消费全流程
大家好我是月夜枫，我们接着继续去理解最后这条消息是如何被消费者消费掉的。其中最核心的有以下内容。
Canal安装与配置，推送数据到kafka
Canal安装与配置，并推送数据到kafka
kafka数据和日志目录迁移教程
简介Kafka在运行的过程中，存储在磁盘上的数据会逐渐扩大，甚至会撑爆系统盘，在线上环境我们通常会把kafka的数据存储目录和日志存储目录迁移到磁盘中，或者扩容kafka的存储磁盘。本文将一站式解决kafka的磁盘存储或扩容问题。
kafka开启JMX，EFAK要监控kafka服务器？
kafka开启JMX，EFAK要监控kafka服务器？
解决kafka启动成功后然后又关闭了的问题
如果不知道的自己的kafka的log.Dirs路径，可以去kafka的config目录下的servers.properties。如果不知道cluster.id值，可以去kafka的日志目录中查看报错信息，里面有cluster_id。原因：可能是meta.properties中cluster_id值有
Zookeeper-3.8.0单台、集群环境搭建
zookeeper搭建
kafka消息的序列化与反序列化
kafka使用
升到Flink版本到1.15.0
Flink升级1.15.0
EMQX集成Kafka插件emqx_plugin_kafka，安装EMQX（二）
上一章主要说明了安装kafka前期的一些步骤，包括安装jdk1.8、zookeeper等，接下来主要就是通过源码编译安装emqx了，由于emqx是由erlang语言编写的，要想通过源码来编译安装emqx，那指定少不了erlang了。
Kafka配置动态SASL_SCRAM认证
(Kafka配置动态SASL_SCRAM认证)Kafka中需要加上认证，并动态新增用户，SASL/SCRAM验证可以支持
Python Kafka客户端性能测试比较
由于工作原因使用到了 Kafka，而现有的代码并不能满足性能需求，所以需要开发高效读写 Kafka 的工具，本文是一个 Python Kafka Client 的性能测试记录，通过本次测试，可以知道选用什么第三方库的性能最高，选用什么编程模型开发出来的工具效率最高。
Kafka增加安全验证安全认证，SASL认证，并通过spring boot-Java客户端连接配置
公司Kafka一直没做安全验证，由于是诱捕程序故需要面向外网连接，需要增加Kafka连接验证，保证Kafka不被非法连接，故开始研究Kafka安全验证使用Kafka版本为2.4.0版本，主要参考官方文档。
Kafka示例（Java版）
Kafka示例（Java版）
Kafka之enable.auto.commit使用解析
kafka enable.auto.commit 参数配置及意义
深入Kafka核心设计与实践原理读书笔记第二章
深入Kafka核心设计与实践原理读书笔记第二章
Kafka-kraft模式架构及部署流程
Kafka-kraft模式架构及部署流程
【消息中间件MQ系列】Spring整合kafka并设置多套kafka配置
本次的记录内容，只是简单的demo实践，具体的使用情况，可以根据自身系统设置详细配置处理。若有疑问，欢迎留言讨论~~。最后祝大家圣诞节快乐，新年快到了，继续加油吧！！！
