RabbitMQ实践——超时消息的处理方法
如果队列指定TTL,消息也设置了TTL,取最接近当前时间的TTL。即用最短的那一个。
RabbitMQ是什么?
RabbitMQ是一个开源的消息代理软件(Message Broker),它实现了高级消息队列协议(AMQP,Advanced Message Queuing Protocol),并支持多种消息传递协议。它最初由英国的Rabbit Technologies开发,后来被VMware收购,并在2010年
大数据开发之Hadoop
Hadoop的发展,Hadoop的三个功能组件:一、HDFS 分布式文件系统,二、MapReduce 分布式计算,三、Yarn 分布式资源调度。提交MapReduce程序至YARN运行
Kafka
Kafka 是一个强大的分布式消息系统,具备高吞吐量、低延迟、高可靠性和扩展性。了解 Kafka 的底层架构和工作原理,有助于在实际应用中优化性能、实现数据流处理和解决复杂的消息传递需求。希望这篇博客能够帮助你更深入地理解 Kafka 的核心概念和实现细节。如果你有任何问题或想法,欢迎在评论区讨论!
RabbitMQ WEB管理端介绍
RabbitMQ web客户端详细说明介绍,最详细
RabbitMQ实现延迟队列
死信交换机、延迟队列插件① 声明死信交换机并编写监听方法② 声明延迟队列和对应的交换机,在声明队列时配置ttl属性③ 发送消息时,设置超时时间(实际上延迟队列的ttl和消息的超时时间至少有一个设置了就行)① 声明一个交换机,设置 delayed属性为true② 发送消息时,添加 x-delay头,值
hadoop2.x学习
大数据学习
zookeeper+kafka消息队列集群部署
zookeeper是一种分布式协调技术,所谓分布式协调技术主要是用来解决分布式环境当中多个进程之间的同步控制,让它们有序的去访问某个共享资源,防止造成资源竞争(脑裂)的后果。
大数据开发面试题【Hadoop篇】
吐血整理 亲身体验的面试题总结
ZooKeeper以及DolphinScheduler的用法
希望对大家有帮助,谢谢大家的支持!
HADOOP之YARN详解
第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成。其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组成。对应Hadoop版本为Hadoop 1.x, 和0.21.x, 0.22.
【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【22】【RabbitMQ】
【雷丰阳-谷粒商城 】【分布式高级篇-微服务架构篇】【22】【RabbitMQ】延时队列,可靠消息Message Queue 消息队列异步处理应用解耦流量控制消息中间件概念RabbitMQ概念MessagePublisherExchangeQueueBindingConnectionChannelC
Spark 作业的 commit 提交机制 - Spark并发更新ORC表失败的问题原因与解决方法
该问题的原因是spark不支持对同一张ORC/PARQUET非分区表或ORC/PARQUET分区表的同一个分区的并发更新,甚至也不支持以静态分区模式并发更新 ORC/PARQUET分区表的不同分区,其底层细节跟 spark作业两阶段提交机制的实现算法有关,详情见后文。
Hadoop版本演变、分布式集群搭建
在实际工作中不建议直接连接集群中的节点来操作集群,直接把集群中的节点暴露给普通开发人员是不安全的,建议在业务机器上安装Hadoop,只需要保证业务机器上的Hadoop的配置和集群中的配置保持一致即可,这样就可以在业务机器上操作Hadoop集群了,此机器就称为是Hadoop的客户端节点,Hadoop的
spark 动态资源分配dynamicAllocation
动态资源分配,主要是spark在运行中可以相对合理的分配资源。
rabbitmq生产与消费
一个生产者,多个消费者,消费者之间负载均衡生产者把消息给交换机,交换机把消息推送给与它绑定的所有队列,消费者监听自己的队列交换机与队列由routing key绑定,生产者发送消息时指定交换机和routing key,则对应的队列便会收到消息交换机与队列由routing key绑定,但routing
阿里面试官:Redis的分布式锁和Zookeeper的有啥区别?为啥要用它?
△Hollis, 一个对Coding有着独特追求的人△这是Hollis的第440篇原创分享作者 l Hollis来源 l Hollis(ID:hollischuang)在分布式锁的实现方案中,通常就是数据库、Redis 以及 Zookeeper 这三种,关于分布式锁的多种实现方式及原理我们这里不展开
EIK+Filebeat+Kafka
Kafka 是一个分布式的基于发布/订阅模式的消息队列(MQ,Message Queue),主要应用于大数据领域的实时计算以及日志收集。
01 RabbitMQ:简单介绍
01 RabbitMQ:简单介绍
Kafka 与 Zookeeper 的关系
Apache Kafka 是一个高性能、分布式的消息队列系统,广泛用于实时数据流处理。而 Apache Zookeeper 是一个开源的分布式协调服务,提供了分布式应用程序的集中式服务。Kafka 和 Zookeeper 之间有着紧密的关系,Zookeeper 为 Kafka 提供了多种关键功能,使