kafka 集群企业部署最佳实践
Kafka 是一款高性能、高可靠性、可水平扩展的分布式消息队列系统
RabbitMQ详细教程以及SpringBoot集成RabbitMQ
RabbitMQ详细教程、SpringBoot集成RabbitMQ、RabbitMQ Windows、Mac、Linux搭建以及Linux搭建RabbitMQ集群模式
java操作kafka
一.本地连接kafka发送消息：生产者同步发送消息和异步发送消息。
kafka和rocketMq的区别
1、RocketMQ 和 Kafka 都使用了顺序写机制，但相比 Kafka，RocketMQ 在消息写入时追求极致的顺序写，会在同一时刻将消息全部写入一个文件，这显然无法压榨磁盘的性能。而 Kafka 是分区级别顺序写，在分区数量不多的情况下，从所有分区的视角来看是随机写，但这能重复发挥 CPU
[超详细]RabbitMQ安装延迟消息插件
下载插件版本需要注意,要跟你安装的RabbitMQ版本基本一样(我的RabbitMQ版本是3.10.1),插件我就用3.10.0,我试其他插件版本都不行,(可能是版本不兼容的原因吧),就这个3.10.0可以.然后再sbin目录下运行 rabbitmq-plugins enable rabbitmq_
hadoop namenode -format报错显示：命令未找到
这个bug很搞笑，我做分布式搭建时，slaver1和slaver2都可以hadoop name -format，就是master不可以，配置都是一样的，这个第一时间也是想到了环境配置问题。这里的/apps/hadoop是我的hadoop安装路径（根据实际情况改动）然后再执行hadoop nameno
rabbitMq虚拟主机概念
在RabbitMQ中，交换机（Exchange）用于接收生产者发送的消息，并根据特定的路由规则将消息分发到相应的队列中。而虚拟主机则是一种更高级的概念，它提供了一个逻辑上的隔离环境，使得不同的应用或不同的业务可以在同一个RabbitMQ服务器上独立操作，彼此互不干扰。通过使用不同的虚拟主机，可以将不
Hadoop PseudoDistributed Mode 伪分布式
上传本地测试文件 wcdata.txt 到 HDFS 上 /wordcount/input。浏览器访问:http://hadoop102:50090/浏览器访问:http://hadoop102:19888/在 HDFS 上创建目录 /wordcount/input。浏览器访问: http://ha
Ubuntu搭建Hadoop3.X分布式和高可用集群，一步步深入
本文介绍了在Ubuntu操作系统上搭建Hadoop 3.x分布式和高可用环境的步骤。首先解释了Hadoop 3.x的架构和核心组件。然后，详细讲解了如何配置Ubuntu网络和主机名，安装Java和SSH，并生成SSH密钥。接下来，引导用户通过安装和配置Hadoop的各个组件（如HDFS、YARN和M
RabbitMQ 之 Work Queues 工作队列
例如，假设在通道上有未确认的消息 5、6、7，8，并且通道的预取计数设置为 4，此时 RabbitMQ 将不会在该通道上再传递任何消息，除非至少有一个未应答的消息被 ack。比方说 tag=6 这个消息刚刚被确认 ACK，RabbitMQ 将会感知这个情况到并再发送一条消息。消息应答和 QoS 预取
RabbitMq防止消息丢失
消息发送方 --> MQ --> 消息消费方。
RabbitMQ传统数据持久化和Lazy queue的区别
在了解这个问题前我们需要一些前置知识：关于MQ可靠性，在默认情况下，RabbitMQ会将接收到的信息保存在内存中以降低消息收发的延迟。这样会导致两个问题：一旦MQ宕机，内存中的信息会丢失内存空间有限，当消费者故障或处理过慢时，会导致消息积压，引发MQ阻塞。
KAFKA (2.12-2.2.1)常用命令和kafka tool 工具使用
Kafka tool为kafka 较为通用的客户端连接工具之一，通过连接kafka直接明了的查看kafka数据、创建删除topic，添加kafka数据完成简单流程验证、查看topic消费情况等功能Kafka Tool 工具下载地址:Kafka 连接配置1）启动 Kafka Tool在安装目录下，双击
分布式理论基础：CAP定理
CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性）这三个基本需求，最多只能同时满足其中的2个。一致性：数据在多个副本之间能够保持一致的特性。可用性：系统提供的服务一直处于可用
MyBatis Plus整合Redis实现分布式二级缓存
MyBatis Plus整合 Redis 实现分布式二级缓存
解决RabbitMQ Management API returned status code 500 报错问题
3.输入: echo management_agent.disable_metrics_collector = false > management_agent.disable_metrics_collector.conf 命令。1.进入rabbitmq容器: docker exec -it
pytorch DistributedDataParallel 分布式训练踩坑记录
在分布式训练中，如果对同一模型进行多次调用则会触发以上报错，即nn.parallel.DistributedDataParallel方法封装的模型，forword()函数和backward()函数必须交替执行，如果执行多个（次）forward()然后执行一次backward()则会报错。注意，调用s
【Zookeeper专题】Zookeeper特性与节点数据类型详解
对于我们这些JavaCoder来说，市面上有各式各样，功能相似的中间件供我们使用。我想大家应该都清楚，要认识一个中间件，最好的方式应该是从它的创造背景开始说起。PS：Zookeeper主要用来解决分布式集群中应用系统的一致性问题什么是zookeeper？ZooKeeper，动物园管理者。动物园里有什
Spark任务优化分析
如果是sql 任务进入到 SQL 页面看到 对应的执行卡在哪里，然后分析，如下图是hash id、actor_name，可以看到是group by 数据有倾斜。group by 数据倾斜问题，可以参考hive group by 数据倾斜问题同样处理思路。首先需要掌握 Spark DAG、stage、
Kafka中的group_id：实现消息分组消费的关键
同一个消费组内的消费者会共享消息的处理负载，即每个分区的消息只会被消费组内的一个消费者处理。如果消费者在同一个消费组内，则它们将共享消费组的负载，并且每个分区只会被消费组内的一个消费者消费。Kafka会自动将分区分配给消费者组中的消费者，并确保每个分区只会被消费组内的一个消费者处理。Kafka消息分
