.NET CORE消息队列RabbitMQ
RabbitMQ是一个开源的消息代理和队列服务器,用于在分布式系统中传递消息。它支持多种消息协议,提供可靠的消息传递、灵活的路由、集群和高可用性功能。
什么!你要学spark!
hadoop是什么 mapreduce概述 spark概述
Rabbitmq---topics模型之动态路由
一条消息会被所有订阅的队列都消费,但是在某种场景下,我们希望不同的消息被不同的队列消费。这时候就要用到direct的类型的交换机。,它的核心作用就是不同的消息可以被不同消费者消费,同时我们也可以让所有的消费者去消费这一个消息,fanout广播模型,只要生产者一发送,交换机会把所有的消息发给所有的广播
深入浅出RabbitMQ:顺序消费、死信队列和延时队列
通过//关键参数,支持发送延迟消息// 声明交换机"delay.queue", // 交换机名字"fanout", // 交换机类型true, // 是否持久化false,false,false,props, // 设置属性。
【分布式技术专题】「Zookeeper中间件」Paxos协议的原理和实际运行中的应用流程分析
Paxos算法是莱斯利·兰伯特(Leslie Lamport)1990年提出的一种基于消息传递的一致性算法。一个进程或者服务节点可能同时充当多种角色,可能既是Proposer又是Acceptor又是Learner。只要Proposer发的提案被Acceptor接受(半数以上的Acceptor同意才行
Spark---Master启动及Submit任务提交
Spark集群启动之后,首先调用$SPARK_HOME/sbin/start-all.sh,start-all.sh脚本中调用了“start-master.sh”脚本和“start-slaves.sh”脚本,在start-master.sh脚本中可以看到启动Master角色的主类:“org.apac
RabbitMQ堵塞问题复盘
记一次线上RabbitMQ的堵塞问题
RabbitMQ-交换机
RabbitMQ 中的交换机(Exchange)是消息路由的关键组件,它负责将消息路由到相应的队列。不同类型的交换机在消息路由时具有不同的规则。以下是 RabbitMQ 交换机的一些常见应用场景:1.直连交换机(Direct Exchange):2.场景: 当需要将消息直接路由到与消息的路由键完全匹
RabbitMQ的安装与使用
RabbitMQ是一个在AMQP基础上完成的,可复用的企业消息系统。他遵循Mozilla Public License开源协议。开发语言为Erlang。linux系统中安装RabbitMQ比较繁琐,这里使用的是Docker安装。死信队列就是在某种情况下,导致消息无法被正常消费(异常,过期,队列已满等
Kafka的基本介绍以及扩展
Kafka的基本命令介绍、kafka扩展
RabbitMQ鉴权设计以及相关探讨
鉴权,分别由**鉴**和**权**组成- **鉴**: 表示身份认证,认证相关用户是否存在以及相关的用户名和密码是否一致- **权**: 完成身份的**鉴**后,还需要判断用户是否有相关操作的权限。因此对于某一个用户来说,通常情况下,需要完成**鉴**和**权**才能够满足一个完整的业务场景,因此通
2.Zookeeper集成springboot操作节点,事件监听,分布式锁实现
1.Springboot项目中添加zookeeper 已经对应的客户端依赖 ,pom.xml文件如下。2.application.yml 文件中配置zookeeper连接的相关配置信息。3.java配置的方式添加zookeeper相关的配置。4.Zookeeper基础操作服务和分布式锁服务编码。5.
HADOOP完全分布式搭建(饭制版)
HADOOP完全分布式搭建
zookeeper到nacos的迁移实践
nacos作为一个比较新的开源组件,使用时必然会遇到各种各样的问题,本文重点介绍了笔者在迁移zookeeper到nacos中遇到的比较重要的坑点,希望对大家有所帮助,当然还有更多的细节限于篇幅未能罗列。
【kafka日常操作命令及分区分配】
使用zookeeper命令修改分区数发现报错,是因为kafka版本过高,该命令已经无法使用,修改为kafka-topics.sh --bootstrap-server kafka.safedog.cn:9092 --alter --topic serverBaseInfo.mysql --part
kafka可视化工具-kafkamap
kafka可视化界面
Hadoop、MapReduce、Spark
优缺点优点:1.易于编程 — 底层实现了接口2.良好的扩展性 — 可增加节点3.高容错性 — 保证任务的完成4.适合PB级别以上的海量数据的离线处理 — 可实现服务器内节点并发工作缺点:1.不擅长实时计算 — 无法做到毫秒或者秒级内返回结果2.不擅长流式计算 — MR 的输入数据集是静态的,流式计算
你想月薪上万吗?你想左拥右抱吗?如果你想请开始学习--Hadoop
根据服务对象和层次分为:数据来源层、数据传输层、数据存储层、资源管理层、数据计算层、任务调度层、业务模型层。接下来对Hadoop生态圈中出现的相关组件做一个简要介绍。Spark是一种快速、通用、可扩展的大数据分析引擎,2009年诞生于加州大学伯克利分校AMPLab,2010年开源,2013年6月成为
RabbitMQ总结
RabbitMQ入门总结
Kafka消费者命令:最常用的Kafka消费者命令及其用法详解
上述命令创建了一个Kafka消费者,它从名为"my_topic"的主题的第0个分区的偏移量42开始消费消息。通过指定分区和偏移量,您可以精确控制消费者的消费位置。上述命令创建了一个基于控制台的Kafka消费者,它连接到本地主机上的Kafka集群,并从名为"my_topic"的主题开始消费消息。上述命