Kafka基础知识
Kafka 是一个分布式流处理平台，用于收集、处理、存储和集成大规模数据。它具有高吞吐量、容错性和可伸缩性等特点，被广泛应用于数据集成、流处理、日志聚合等场景。Kafka 的核心概念包括以下内容：事件：事件是由软件或应用程序识别或记录的任何类型的操作、事件或更改。例如，支付、网站点击或温度读数等。主
【Kafka系列 06】Kafka Producer源码解析
调用 KafkaProducer.send() 发送消息，在经过拦截器处理，key/value 序列化处理后，实际是将消息保存到 消息累加器 RecordAccumulator 中，实际上就是保存到一个 Map 中 (ConcurrentMap)，这条消息会被记录到同一个记录批次 (相同主题相同分区
hadoop介绍集群安装及相关问题集锦（超详细）
用java语言实现，开源允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理。
RabbitMQ-消息队列：三台虚拟机搭建RabbitMQ集群
单台 RabbitMQ 服务器可以满足每秒 1000 条消息的吞吐量，那么如果应用需要 RabbitMQ 服务满足每秒 10 万条消息的吞 吐量呢？购买昂贵的服务器来增强单机 RabbitMQ 务的性能显得捉襟见肘，搭建一个 RabbitMQ 集群才是 解决实际问题的关键
【zookeeper】在Windows上启动zookeeper
在当今分布式系统中，ZooKeeper扮演着至关重要的角色，作为协调服务的核心组件。其高可用性和一致性保证了分布式环境中各种服务的可靠性和稳定性。在Windows平台上启动ZooKeeper可能会有些许不同，但遵循正确的步骤可以确保系统的顺利运行。通过本文提供的步骤，你应该能够在Windows上成功
面试题篇-13-Kafka相关面试题
消息队列Message Queue，简称MQ。是一种应用间的通信方式，主要由三个部分组成。生产者：Producer消息的产生者与调用端主要负责消息所承载的业务信息的实例化是一个队列的发起方代理：Broker主要的处理单元负责消息的存储、投递、及各种队列附加功能的实现是消息队列最核心的组成部分消费者：
kafka实现延迟队列
首先说一下延迟队列这个东西，实际上实现他的方法有很多，kafka实现并不是一个最好的选择，例如redis的zset可以实现，rocketmq天然的可以实现，rabbitmq也可以实现。如果切换前几种方案成本高的情况下，那么就使用kafka实现，实际上kafka实现延迟队列也是借用了rocketmq的
Kafka生产与消费详解
代码见：代码中使用到了自定义序列化。id的长度4个字节，字符串的长度描述4个字节， 字符串本身的长度nameSize个字节自定义序列化容易导致程序的脆弱性。举例，在我们上面的实现里，我们有多种类型的消费者，每个消费者对实体字段都有各自的需求，比如，有的将字段变更为long型，有的会增加字段，这样会出
CVE-2023-34040 Kafka 反序列化RCE
漏洞描述Spring Kafka 是 Spring Framework 生态系统中的一个模块，用于简化在 Spring 应用程序中集成 Apache Kafka 的过程，记录 (record) 指 Kafka 消息中的一条记录。受影响版本中默认未对记录配置ErrorHandlingDeseriali
SpringCloud-同步异步通讯比较
本文详细探讨了同步通讯和异步通讯在信息传递中的区别，以及它们分别带来的优势和不足。通过对支付流程的案例分析，突显了同步通讯可能面临的阻塞和服务依赖问题，而异步通讯通过引入事件驱动模式和消息代理（Broker）成功解决了这些挑战，实现了服务解耦、性能提升和流量削峰。然而，异步通讯也并非没有考验，对消息
ZooKeeper 实战
这篇文章简单给演示一下 ZooKeeper 常见命令的使用以及 ZooKeeper Java客户端 Curator 的基本使用。介绍到的内容都是最基本的操作，能满足日常工作的基本需要。如果文章有任何需要改善和完善的地方，欢迎在评论区指出，共同进步！
Zookeeper
Zookeeper是一个树形目录服务，是一个基于观察者模式设计的分布式、开源应用程序协调服务，可存储数据和接受注册。一旦数据发生变化，Zookeeper负责通知已注册的节点。主要功能：配置管理、分布式锁、集群管理Zookeeper：一个leader和多个follower组成集群Zookeeper集群
Spark on YARN部署模式保姆级教程
没有最好的部署模式，具体要根据实际需求进行部署，由于Spark可以和Hadoop部署在一起，相互协作，Hadoop的HDFS，HBase负责数据存储与管理，Spark负责数据的计算，所以本文将详细讲解Spark on YARN模式的部署。这两种模式的选择取决于实际需求和使用环境，例如，学习、调试阶段
消息中间件篇之RabbitMQ-延时队列
进入队列的消息会被延迟消费的队列。场景：超时订单、限时优惠、定时发布。
Kafka如何保证消息的消费顺序【全局有序、局部有序】、Kafka为什么这么快？【重点】
此时，Partition的数量仍然可以设置多个，提升Topic的整体吞吐量。没有指明 partition 值但有 key 的情况下，将 key 的 hash 值与 topic 的 partition数进行取余得到 partition 值；在不增加partition数量的情况下想提高消费速度，可以考虑
Git--分布式版本控制系统
此处不宜展示。
第3、4章 Kafka 生产者 和 消费者 ——向 Kafka 写入数据 和读取数据
点对点模型：适用于一对一的消息传递，具有高可靠性。发布/订阅模型：适用于广播消息给多个消费者，实现消息的广播。主题模型：适用于根据消息的主题进行灵活的过滤和匹配，处理复杂的消息路由需求。
开源：Taurus.DistributedLock 分布式锁框架，支持 .Net 和 .Net Core 双系列版本
在经过漫长的技术沉淀，终于又为 .Net 及 .Net Core 的微服务系列框架贡献当中的一个重要组件。Taurus.DistributedLock is a distributed lock for .net or .net core.【支持：Redis、MemCache、Database、Lo
Kafka常见生产问题详解
比如，在原有Topic下，可以调整Producer的分区策略，让Producer将后续的消息更多的发送到新增的Partition里，这样可以让各个Partition上的消息能够趋于平衡。思路是可行的，但是重试的次数，发送消息的数量等都是需要考虑的问题。PageCache缓存中的消息是断电即丢失的。因
Zookeeper的数据同步与备份
1.背景介绍1. 背景介绍Apache Zookeeper 是一个开源的分布式应用程序，它提供了一种分布式协同服务，以实现分布式应用程序的可靠性和可扩展性。Zookeeper 的核心功能是提供一种高效、可靠的数据同步和分布式协同服务。在分布式系统中，Zookeeper 被广泛应用于配置管理、集群管理
