Springboot配置kafka用户名密码
SpringBoot配置kafka用户名密码
vue3利用spark-md5计算文件的md5值
vue3利用spark-md5计算文件的md5值
Kafka消息队列实现消息的发送和接收
消息生产者Producer产生消息数据,发送到Kafka消息队列中,一台Kafka节点只有一个Broker,消息会存储在Kafka的Topic(主题中),不同类型的消息数据会存储在不同的Topic中,可以利用Topic实现消息的分类,消息消费者Consumer会订阅消息存储的Topic,从Topic
kafka删除topic
1. 首先需要在config/server.properties中添加 delete.topic.enable=true 属性。2. 用topic list找到想要删除的topic名称。
hadoop报错:没有那个文件或目录
hadoop报错:没有那个文件或目录
Kafka三节点集群搭建
可以看到集群中zookeeper-1节点是Follower角色,zookeeper-2节点是Leader角色,zookeeper-3节点是Follower角色,正就验证了我们起那么说的那句话,当ServerID大并且投票超过半数则当选Leader节点,zookeeper-2节点启动后,ServerI
VMware 克隆失败,提示指定的虚拟磁盘需要修复【已解决】
进入VMware安装目录后进行修复
RabbitMQ高阶使用消息推送
目录1 从打车开始说起1.1 需要解决的问题1.2 消息推送2 消息推送2.1 什么是消息推送2.2 方案介绍2.2.1 ajax短轮询2.2.2 长轮询2.2.3 WebSocket2.3 WS实现消息推送2.3.1 架构介绍2.3.2 暂存数据2.3.2.1 什么是MongoDB2.3.2.2
windows下启动rabbitmq
rabbitmq的启动和管理
Kafka消息队列面临的优化问题
在防止消息丢失的方案中,如果生产者发送完消息后,因为网络的波动,没有收到Kafka返回的ACK确认收到信息,但是实际上Broker已经收到了该消息,此时生产者就会重新发送消息数据,进行重试,于是Broker就会收到多条相同的消息数据,从而造成消费者的重复消费。所谓顺序消费指的是:消息一条条被消费,例
Pytorch 分布式并行DDP 卡死 挂起
Pytorch 分布式并行DDP 卡死,设置NCCL_P2P_DISABLE=1禁用GPU之间直接通信即可解决。
RabbitMQ高可用集群部署
在上一步中,RabbitMQ集群已经搭建完成了,但是并不能保证消息队列的高可用,尽管交换机和队列都可以绑定和复制到任何一个节点中,在每个节点都会显示,但是数据时不会复制的,当我们在rabbitmq-1节点上创建的队列,产生的消息数据,在第二个节点上只能看到这个队列的状态,当第一个节点挂了之后,数据就
【大数据之路2】分布式文件系统 HDFS
HDFS 是大数据存储的基础,几乎所有的大数据分布式存储需求都会使用到。Node:地址和端口Last Contact:最近通讯时间(正常是 0/1/2 的间隔,若不正常则为最后一次的通讯时间)Admin State:管理员状态Capacity:HDFS 容量Used:已使用容量Non DFS Use
kafka单独设置topic过期时间
kafka 查看单个topic过期时间
Docker安装RabbitMQ详细教程(简单版)
RabbitMQ是由erlang语言开发,基于AMQP(Advanced Message Queue 高级消息队列协议)协议实现的消息队列,它是一种应用程序之间的通信方法,消息队列在分布式系统开发中应用非常广泛。
RabbitMq消息堆积消费慢问题处理
RabbitMq消息堆积消费慢问题处理
Kafka可视化平台EFAK搭建及使用
EFAK的前身就是Kafka-eagle,新版本的Kafka-eagle都称之为EFAK(Eagle For Apache Kafka)。EFAK是开源可视化和管理软件。它允许您查询、可视化、提醒和探索您的指标,无论它们存储在哪里。用简单的英语,它为您提供了将您的 Kafka集群数据转换为漂亮的图形
手动清理RabbitMq队列中的消息
打开RabbitMq管理页面,进入队列。打开RabbitMq管理页面,进入队列。点击按钮Purge Messages。点击 Get messages。Mesaages 设置一个值。点击Get messages。Requeue 改成No。
kafka消费者的group id从哪里获取
kafka消费者的group id从哪里获取
【Spring Boot+Kafka+Mysql+HBase】实现分布式优惠券后台应用系统(附源码)
【Spring Boot+Kafka+Mysql+HBase】实现分布式优惠券后台应用系统(附源码)