分布式环境下动态管理RabbitMq队列及常见问题
Rabbitmq分布式状态下管控应用
RabbitMQ保证消息被成功发送和消费
RabbitMQ保证消息被成功发送和消费
从源码分析 vllm + Ray 的分布式推理流程
随着 LLM 模型越来越大，单 GPU 已经无法加载一个模型。以 Qwen-14B-Chat 模型为例，模型权重大概 28GB，但是单个 NVIDIA A10 仅有 24GB 显存。如果想要在 A10 上部署 Qwen-14B-Chat 模型，我们需要将模型切分后部署到 2 个 A10 机器上，每个
MySQL、Redis 和 Zookeeper 实现分布式锁方法及优缺点
MySQL、Redis 和 Zookeeper 都可以用来实现分布式锁，每种技术都有其特定的实现方法以及各自的优缺点。
分布式深度学习训练中DP,DDP,FSDP这三者之间的区别和联系是什么
Data Parallelism 是最基本的并行训练方法，将数据划分为多个小批次，每个小批次在不同的计算单元（如GPU）上独立计算，然后将结果汇总。Distributed Data Parallelism 是一种改进的Data Parallelism方法，通过高效的通信机制，在多个GPU（可能跨越多
zookeeper基本使用
zookeeper允许用户在指定节点上注册一些watcher,并且在一些特定事件触发的时候,zookeeper服务端会将时间通知到感兴趣的客户端上去,该机制是zookeeper实现分布式协调服务的重要特性。在进行单机应用开发的时候,涉及到并发同步的时候,我们使用synchronized或者lock的
spark运行的基本流程
Stage的DAG通过最后执行Stage为根进行广度优先遍历， 遍历到最开始执行的Stage执行， 如果提交的Stage仍有未完成的父母Stage， 则Stage需要等待其父Stage执行完才能执行。我们都知道， spark计算模型是在分布式的环境下计算的， 这就不可能在单进程空间中容纳所有的计算数
运维团队如何借助分布式部署提升监控效率与可靠性
而分布式部署通过将采集器分散部署在不同机房或节点，可以实现数据的本地处理和汇总，减少了数据传输的延迟和带宽占用，提高了监控效率。分布式部署的核心优势在于其灵活性和可扩展性，可以根据企业的实际需求进行灵活配置和扩展，满足大规模、复杂IT环境的监控需求。在这样的背景下，分布式部署作为一种新型的监控架构，
分布式光伏并网AM5SE-IS防孤岛保护装置介绍——安科瑞 叶西平
当电网供电因故障、误操作或停电维修等原因造成中断供电，各个新能源并网发电系统仍在运行，并向周围负载供电，构成一个电力公司无法控制的自给供电孤岛。● 2路以太网接口，支持 TCP Modbus-RTU和 TCP IEC60870-5-103规约。1、电网无法控制孤岛中的电压和频率，如果电压和频率超出允
Hadoop课设蔬菜统计--超详细流程
蔬菜统计根据“蔬菜.txt”的数据，利用Hadoop平台，实现价格统计与可视化显示。要求：通过MapReduce分析列表中的蔬菜数据。（1）统计各地区每一天大白菜、土豆的价格（柱状图）（2）选取一个城市，统计各个蔬菜价格变化曲线（折线图）（3）统计每种蔬菜价格最高的地区和日期 （柱状图）（4）加载H
kafka学习记录
在local文件夹下创建data目录，然后修改local下的config目录下的zookeeper.properties文件。编写zk.cmd和kafka.cmd，然后就可以双击启动zookeeper和kafka了。修改config目录中的server.properties文件。将文件夹名改为loc
大数据面试题之Spark(1)
大数据面试题之Spark(1)
RabbitMQ 详解
MQ全称为Message Queue，即消息队列. 它也是一个队列,遵循FIFO原则。RabbitMQ则是一个开源的消息中间件，是一个具体的软件产品。RabbitMQ是由erlang语言开发，基于AMQP（Advanced Message Queue Protocol高级消息队列协议）协议实现的消息
RabbitMQ
RabbitMQ 是一个消息代理：它接受并转发消息。生产仅仅意味着发送，发送消息的程序是生产者。队列是 RabbitMQ 中邮箱的名称，尽管消息通过 RabbitMQ 和您的应用程序流动，但它们只能存储在队列中。队列仅受主机的内存和磁盘限制，它本质上是一个大型消息缓冲区。许多生产者可以发送消息到一个
Kafka篇
还有按照大小log.retention.bytes来删除的，比如设置所有日志最大为8T，此时满了，就会把最早的给删除了。压缩：log.cleanup.policy=compact。压缩方法：对于相同的key，不同的value，保留最新的value。
spark如何搭建本地模式
1、获取spark和Hadoop、scala的对应安装包，注意版本间一定要匹配，否则无法使用使用，本次学习使用的事scala2.12.11、hadoop3.0.0、spark-3.0.0-bin-hadoop3.2。3、跟着【spark本地安装辅助教程】安装，注意教程的内容不是全部适用、hadoop
RabbitMQ快速入门
RabbitMQ是一款成熟可靠的消息中间件，现在已经被全世界几亿用户使用。RabbitMQ支持了多个开放的标准协议，不同系统、语言可以按照这个协议进行消息传递和交互。RabbitMQ本身是使用Erlang语言写的，但提供了其他各种语言版本：Python、Java、Go........RabbitMQ
Spark---核心概念（Spark,RDD,Spark的核心构成组件）详解
Spark就是一个集成离线计算，实时计算，SQL查询，机器学习，图计算为一体的通用的计算框架。何为RDD？其实RDD就是一个不可变的scala的并行集合。Spark的核心概念就是RDD，指的是一个不可变、可分区、里面元素可并行计算的集合，这个数据的全部或者部分可以缓存在内存中，在多次计算间被重用。
【分布式系列】分布式锁在 Redis 主从部署中的挑战
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。非常期待和您一起在这个小小的网络世界里共同探索、学习和成长。💝💝💝 ✨✨ 欢迎订阅本专栏 ✨✨。
Kafka 3.x.x 入门到精通（04）——对标尚硅谷Kafka教程
Kafka是一个由Scala和Java语言开发的，经典高吞吐量的分布式消息发布和订阅系统，也是大数据技术领域中用作数据交换的核心组件之一。以高吞吐，低延迟，高伸缩，高可靠性，高并发，且社区活跃度高等特性，从而备受广大技术组织的喜爱。
