Kafka的下载安装以及使用
kafka安装与使用
MQ - 闲聊MQ一二事儿 (Kafka、RocketMQ 、Pulsar )
ookeeper 是 cp 强一致架构的一种,其内部使用 zab 算法,进行信息同步和容灾,在信息量较小的情况下,性能较好,当信息交互变多,因为同步带来的性能损耗加大,性能和吞吐量降低。kafka 的整体性能收到了 topic 数量的限制,这和底层的存储有密不可分的关系,我们上面讲过,当消息来的时候
kafka复习:(17)seekToBeginning的用法
从分区的开始进行消费,因为kafka会定期清理历史数据,所以分区开始的位移不一定为0。seekToBeginning只是从目前保留的数据中最小的offset进行消费。
SpringBoot3集成Kafka
Kafka是一个开源的分布式事件流平台,常被用于高性能数据管道、流分析、数据集成和关键任务应用,基于Zookeeper协调的处理平台,也是一种消息系统,具有更好的吞吐量、内置分区、复制和容错。
吊炸天的 Kafka 图形化工具 Eagle,必须推荐给你
Kafka是当下非常流行的消息中间件,据官网透露,已有成千上万的公司在使用它。最近实践了一波Kafka,确实很好很强大。今天我们来从三个方面学习下Kafka:Kafaka在Linux下的安装,Kafka的可视化工具,Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka,掌握这
Spark on Yarn集群模式搭建及测试
Apache Spark是一个快速的、通用的大数据处理框架,它支持在各种环境中进行分布式数据处理和分析。在Yarn集群模式下搭建Spark环境可以充分利用Hadoop的资源管理和调度能力。本文将介绍如何搭建Spark on Yarn集群模式环境,步骤详细,代码量大,准备发车~
Kafka及Kafka消费者的消费问题及线程问题
kafka消费与线程池遇到的问题分析
Kafka经典三大问:数据有序丢失重复
的情况下,是有可能存在消息丢失的情况的,因为producer收到leader写入成功的通知就认为推送成功,但实际上leader副本在把消息同步到follower副本的时候失败了,这时候消息就丢失了。例如消费者已经获取到这个数据,并且提交了offset,但后续在对数据进行业务操作的时候挂掉了,导致数据
【Kafka】docker部署Kafka集群
docker部署Kafka集群
Kafka的保姆级简易安装启动、关闭注意事项、简单使用
kafka关闭是切记尽量!不要直接关闭命令行窗口,此为暴力关闭,可能会导致kafka无法对日志文件的解锁,再启动的时候无法启动成功。且就算关闭也要按照先关闭kafka再关闭zookeeper的顺序。:这个zookeeper.connect=localhost:2181和log.dirs=./logs
RabbitMq-发布确认高级(避坑指南版)
rabbitMq-消息确认(高级)避坑指南篇~参考文章可以解决“无法触发回调”的问题
kafka简介
partition中的数据是有序的,partition间的数据丢失了数据的顺序。副本不会被消费者消费,副本只用于防止数据丢失,即消费者不从为follower的partition中消费数据,而是从为leader的partition中读取数据。Kafka在保证了较高的处理速度的同时,又能保证数据处理的低
SpringBoot基于Zookeeper实现分布式锁
参考自SpringBoot集成Curator实现Zookeeper基本操作Zookeeper入门本篇的代码笔者有自己运行过,需要注意组件的版本号是否兼容,否则会有比较多的坑。
实现高效消息传递:使用RabbitMQ构建可复用的企业级消息系统
RabbitMQ是一个在 AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。由erlang开发的AMQP(Advanced Message Queue 高级消息队列协议 )的开源实现,由于erlang 语言的高并发特性,性能较好,本质是个队列,FIFO 先
kafka复习:(11)auto.offset.reset的默认值
也就是默认值为latest,它的含义是:如果没有客户端提交过offset的话,当新的客户端消费时,把最新的offset设置为当前消费的offset.在ConsumerConfig这个类中定义了这个属性的默认值,如下图。手动提交offset的示例。
如何实现延时任务(订单到期关闭)
我们介绍了11种实现订单定时关闭的方案,其中不同的方案各自都有优缺点,也各自适用于不同的场景中。那我们尝试着总结一下:实现的复杂度上(包含用到的框架的依赖及部署):Redisson > RabbitMQ插件 > RabbitMQ死信队列 > RocketMQ延迟消息 ≈ Redis的zset > R
微服务: 00-rabbitmq出现的异常以及解决方案
1. rabbitmq报您与此网站连接不是私密连接2. Don't forget to grant the user permissions to some virtual hosts! See 'rabbitmqctl help set_permissions' to learn more.3.
在idea中配置Nacos服务启动
在IDEA中配置Nacos服务的启动
RabbitMQ
MQ(message queue),从字面意思上看,本质是个队列,FIFO 先入先出,只不过队列中存放的内容是message 而已,还是一种跨进程的通信机制,用于上下游传递消息。在互联网架构中,MQ 是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务。使用了 MQ 之后,消息发送上游只需要依
利用RabbitMQ实现消息投递削峰填谷
实现系统通知模块 - 利用RabbitMQ实现消息投递削峰填谷