Kafka的ack机制

Kafka的ACK机制,指的是producer的消息发送确认机制,这直接影响到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬币的两面,两者不可兼得,只能平衡。Kafka的ACK机制是针对producer的。保证消息的吞吐量就是producer只负责发数据,不需要得知消息是否被集群接收,这

Kafka安装与配置

1.下载Kafka2.13-3.1.0最新版为kafka_2.13-3.1.0.tgz下载Zookeper最新版为zookeeper-3.8.02.单机安装zookeperKafka依赖于zookeeper,官方承诺将来会移除.解压文件:tar zxvf apache-zookeeper-3.8.0

【项目实战】Kafka 生产者写入分区的策略

生产者写入分区的策略主要有以下几种:1. **轮询分区策略**:生产者可以使用轮询策略将消息依次写入每个分区,实现负载均衡。在每次发送消息时,生产者会按照轮询的方式选择下一个可用的分区,并将消息写入该分区。这样可以确保消息均匀地分布在各个分区中。 2. **随机分区策略**:Kafka生产者随机的将

rabbitmq安装和扩展插件

rabbitmq安装和扩展操作

服务拉取不到Nacos配置?

nacos个人遇到的小坑

用好 kafka,你不得不知的那些工具

工欲善其事,必先利其器。本文主要分享一下消息中间件 kafka 安装部署的过程,以及我平时在工作中针对 kafka 用的一些客户端工具和监控工具。本文分享了平时我在工作使用 kafka 以及 zookeeper 常用的一些工具,同时分享了 kafka 集群的部署,值得一提的是 kafka 部署配置

Spark 作业执行流程

Spark 作业执行流程

消息队列选型——为什么选择RabbitMQ

MQ消息是目前分布式系统必不可少的组件,但是面对市面上众多的MQ组件,我们该用什么呢?我以实际项目的需求触发,介绍今天的主角——rabbitMQ。同时也会告知又有哪些优势和不足。事不宜迟,就开始今天的学习吧

spark12-13-14

触发一次Action,并且将附带的统计指标计算出来,可以使用Accumulator进行处理,Accumulator的本质数一个实现序列化接口class,每个Task都有自己的累加器,避免累加的数据发送冲突。在一个Executor可以同时运行多个Task,如果多个Task使用同一个共享的单例对象,如果

Kafka消息延迟处理技巧,降低错误率

在评估Kafka消息延迟处理技巧的效果时,我们需要定义合理的实验场景和测试用例。确定实验数据的发送和接收方。设定实验场景,包括动作、触发条件和结果预期等。设定测试用例,包括性能验证、负载测试和容错测试等。

【RabbitMQ】RabbitMQ如何确认消息被消费、以及保证消息的幂等

消费者消费成功后会给MQ服务器的队列发送一个确认消息,此时会有一个回调检测服务监听该接收确认消息的队列,然将消费的消息写入数据库。以上是消息成功被消费时的流程,此时如果消费者没有将消息消费,就不会给服务器发送确认消息了,生产者隔一段时间会延迟发送与之前发送的一模一样的数据到另一个给回调检测服务监听的

Kafka消息积压的原因和处理的方法

kafka消息积压

Kafka安装、配置和使用

kafka的学习之路

大数据开源框架环境搭建(七)——Spark完全分布式集群的安装部署

操作系统:Ubuntu 18.04Spark版本:2.4.0。

微服务eureka和nacos

解释说明: eureka-server自己也是个微服务,也需要服务名称,而且还需要配置eureka的地址(疑问:我自己就是eureka,为什么还要配置地址信息)刚才说了eureka-server自己就是微服务,所以eureka-server在启动的时候自己也注册到eureka上()上面default

kafka 安装 以及 Kraft 模式、安全认证配置

kafka部署、Kafka- Kraft 模式部署、安全认证开启

RabbitMQ:高效传递消息的魔法棒,一篇带你助力构建可靠的分布式系统(上篇)

MQ是消息队列()的缩写,是一种在应用程序之间传递消息的技术。通常用于分布式系统或异步通信中,其中发送者将消息放入队列,而接收者从队列中获取消息。这种异步通信模式允许发送者和接收者在不需要实时连接的情况下进行通信,从而提高了应用程序的性能和可伸缩性。消息队列可用于许多不同的应用程序场景,例如处理大量

kafka常用命令汇总(亲测自用)

kafka常用命令

Kafka中产生数据积压的原因以及解决方案

Kafka中产生数据积压的原因以及解决方案。

判断hadoop伪分布式安装模式是否成功启动

判断hadoop伪分布式安装模式是否成功启动

登录可以使用的更多功能哦! 登录
作者榜
...
资讯小助手

资讯同步

...
内容小助手

文章同步

...
Deephub

公众号:deephub-imba

...
奕凯

公众号:奕凯的技术栈