rabbitmq
RabbitMQ是由erlang语言开发,基于AMQP(Advanced Message Queue 高级消息队列协议)协议实现的消息队列,它是一种应用程序之间的通信方法,消息队列在分布式系统开发中应用非常广泛。2007年,Rabbit 技术公司基于 AMQP 标准开发的 RabbitMQ 1.0
手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI
Zookeeper 安装 全过程,以及两个可视化插件ZooInspector、ZKUI的安装与演示
SpringCloudStream整合RabbitMQ用ttl+死信实现延迟队列的实践
在公司项目中使用Spring Cloud Stream操作RabbitMQ,用TTL+死信队列实现延迟队列的实践,采用的是Stream3.1之后的函数式编程实现的。
基于Hadoop的疫情信息分析与可视化研究——包含大屏可视化及预测算法
基于Hadoop的疫情信息分析与可视化研究在国内外都有较为广泛的应用。国外研究主要集中在疫情数据的处理和分析,以及疫情预测模型的构建。而国内研究则主要集中在疫情数据的可视化和知识图谱的构建。未来,基于Hadoop的疫情信息分析与可视化研究还有很大的发展空间,可以进一步提高对疫情的监测和预警能力,为政
一文教你Go语言如何轻松使用kafka
本文档详细介绍了如何使用Go语言对Kafka进行基础操作。我们将介绍如何使用Go连接Kafka、生产消息、消费消息。
zookeeper+kafka
主要原因是由于在高并发环境下,同步请求来不及处理,请求往往会发生阻塞。比如大量的请求并发访问数据库,导致行锁表锁,最后请求线程会堆积过多,从而触发 too many connection 错误,引发雪崩效应。我们使用消息队列,通过异步处理请求,从而缓解系统的压力。消息队列常应用于异步处理,流量削峰,
消息中间件的选择:RabbitMQ是一个明智的选择
消息中间件的选择:RabbitMQ是一个明智的选择
RabbitMQ 消息丢失的场景,如何保证消息不丢失?
如果需要保证消息在整条链路中不丢失,那就需要生产端、mq自身与消费端共同去保障。对生产的消息进行状态标记,开启confirm机制,依据mq的响应来更新消息状态,使用定时任务重新投递超时的消息,多次投递失败进行报警。开启持久化,并在落盘后再进行ack。如果是镜像部署模式,需要在同步到多个副本之后再进行
Kafka与Zookeeper版本对应关系
其中2.11表示的是Scala的版本,因为Kafka服务器端代码完全由Scala语音编写。”-“后面的1.1.1表示的kafka的版本信息。遵循一个基本原则,Kafka客户端版本和服务端版本应该保持一致,否则可能会遇到一些问题。可以根据源码包或者安装包来确认对应的zookeeper版本是哪个。支持的
Kafka-消费者组消费流程
消费者向kafka集群发送消费请求,消费者客户端默认每次从kafka集群拉取50M数据,放到缓冲队列中,消费者从缓冲队列中每次拉取500条数据进行消费。
kafka(一)
kafka集群包括一个或者多个服务器,服务器的节点叫做broker。
【大数据工具】Kafka伪分布式、分布式安装和Kafka-manager工具安装与使用
管理多个 Kafka 集群便捷的检查 Kafka 集群状态(topic,broker,备份分布情况,分区分布情况)选择要运行的副本基于当前分区状况进行可以选择 topic 配置并创建 topic(0.8.1.1 和 0.8.2 的配置不同)删除 topic(只支持 0.8.2 以上的版本并且要在 b
Hyperf使用RabbitMQ消息队列
Hyperf连接使用RabbitMQ消息中间件。
kafka-2.12使用记录
kafka-ui-lite是一个开源的kafka监控项目,可以在gitee下载.提供了对kafka 、zookeeper 、redis的监控和管理功能,支持在线浏览和管理kafka的 topic主题/kafka集群/group分组支持在线发送kafka消息。
Kafka:什么是kafka? ①
kafka是一种分布式的,基于发布/订阅的消息系统。它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
kafka实现消息接受和发送
kafka实现消息接受和发送
RabbitMQ高阶使用延时任务
目录1 从打车开始说起1.1 需要解决的问题1.1.1 打车超时2 延时任务2.1 什么是延时任务2.1.1 和定时任务区别2.2 延时队列使用场景2.3 常见方案2.3.1 数据库轮询2.3.1 JDK的延迟队列2.3.3 netty时间轮算法2.3.4 使用消息队列2.4 延时队列2.4.1 T
ZooKeeper实现分布式锁
ZooKeeper实现分布式锁
kafka 安装快速入门
1、service.properties (添加)进入到config文件夹里面,找到zookeeper.properties文件,进行编辑,找到。kafka 集成了 zookeeper 的软件包,不需要安装,配置就好。直接上干货,我们公司最近要进行消息推送指定软件kafka,直接走起。完成启动就可以
分布式 - 消息队列Kafka:Kafka 消费者消息消费与参数配置
01. 创建消费者在读取消息之前,需要先创建一个KafkaConsumer对象。创建KafkaConsumer对象与创建KafkaProducer对象非常相似——把想要传给消费者的属性放在Properties对象里。为简单起见,这里只提供4个必要的属性:bootstrap.servers、key.d