【消息队列】聊一下如何避免消息的重复消费
Kafak重复消费如何解决
分布式共识算法——Paxos算法(图解)
准备阶段:Proposer负责接收 client 请求并产生提案,必须由多数派 Acceptor 批准通过提案接受阶段:提案通过后,再将要执行的修改操作广播给 Acceptor,这次仍然多数派通过,此修改才能生效,可以返回响应给客户端。
Redis的分布式锁详解
3)为了有效解决既保证锁完全有效性 和 性能高效问题:antirez又提出了“延迟重启”的概念,redis同步到磁盘方式保持默认的每秒1次,在redis崩溃单机后(无论是一个还是所有),先不立即重启它,而是等待TTL时间后再重启,这样的话,这个节点在重启前所参与的锁都会过期,它在重启后就不会对现有的
大数据处理——Java
Java是处理大数据的首选语言之一,它可以与Apache Hadoop和Spark等大数据处理框架集成。Java提供了处理大数据所需的可扩展性和灵活性。
RabbitMQ支持消息的模式
当有多个消费者时,我们的消息会被哪个消费者消费呢,我们又该如何均衡消费者消费信息的多少呢?根据消费者的消费能力进行公平分发,处理快的处理的多,处理慢的处理的少;一个消费者一条,按均分配;
分布式RPC框架Dubbo详解
分布式,微服务,dubbo, java
Kafka消息的压缩机制
大纲Kafka支持的消息压缩类型什么是 Kafka 的消息压缩消息压缩类型何时需要压缩如何开启压缩在 Broker 端开启压缩compression.type 属性broker 和 topic 两个级别broker 级别topic 级别在 Producer 端压缩compression.type 属
【Kafka】【十九】新消费组的消费offset规则
新消费组中的消费者在启动以后,默认会从当前分区的最后⼀条消息的offset+1开始消费(消费新消息)。可以通过以下的设置,让新的消费者第⼀次从头开始消费。之后开始消费新消息(最后消费的位置的偏移量+1)
kafka使用
Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的 (replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理 大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、 Storm/Spa
erlang在window中的安装
erlang的安装与配置
kafka—消费者
1.消费者工作流程2.消费者组
Apache Kafka - 重识消费者
Kafka是一个分布式的消息队列系统,它的出现解决了传统消息队列系统的吞吐量瓶颈问题。Kafka的高吞吐量、低延迟和可扩展性使得它成为了很多公司的首选消息队列系统。在Kafka中,消息被分成了不同的主题(Topic),每个主题又被分成了不同的分区(Partition)。生产者(Producer)将消
hadoop2.6.4伪分布式搭建
1、配置hadoop环境变量。解压jdk到我需要的目录。4、配置 mapred-site.xml。测试jdk是否配置成功。2、hadoop2.6.4安装与配置。1、配置 hadoop-env.sh。2、配置core-site.xml。3、配置hdfs-site.xml。5、配置yarn-site.x
Spring Boot 整合 分布式搜索引擎 Elastic Search 实现 我附近的、酒店竞排
Spring Boot 整合 分布式搜索引擎 如何实现 Elastic Search 实现 我附近的、酒店竞排?
Hadoop完全分布式搭建
搭建完全分布式,有什么问题留言
nacos配置自动刷新
实现静态变量动态刷新的方法有很多,自己使用自己觉得OK的就行,条条大路通罗马。只是希望对于没有思路的朋友有一点提示。大家一起努力吧!!!希望早点解封,已经半个月了。。。。。
Ubuntu安装RabbitMQ server - 在外远程访问
RabbitMQ是一个在 AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。由erlang开发的AMQP(Advanced Message Queue 高级消息队列协议 )的开源实现,由于erlang 语言的高并发特性,性能较好,本质是个队列,FIFO 先
Elasticsearch-分布式搜索引擎介绍
Elaticsearch,简称为es, es是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。es也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API
Hadoop伪分布式配置教程
【代码】Hadoop伪分布式配置教程。
用三台云服务器搭建hadoop完全分布式集群
本次利用云服务器搭建Hadoop集群, 在开始之前,你需要3台云服务器,可以在同一家购买也可以在不同家购买。此次教程采用百度云产品,可以换不同账号新手免费试用几个月,具体配置如下:(三)主机映射3个虚拟机均需要修改hosts文件使其生效测试三台机器,是否ping通2.选择时区3.时间同步协议NTPm