大数据知识总结（七）：Spark重要知识汇总
Spark Core（实现了 Spark 的基本功能，包含RDD、任务调度、内存管理、错误恢复、与存储系统交互等模块。数据结构：RDD）Spark SQL（可以使用 SQL操作数据。数据结构：Dataset/DataFrame = RDD + Schema）（用来操作数据流的 API。数据结构：DS
11.面试题——消息队列RabbitMQ
RabbitMQ是一种开源的消息队列中间件，用于在应用程序之间进行可靠的消息传递。它实现了AMQP（Advanced Message Queuing Protocol）协议，提供了强大的消息处理能力。
RabbitMQ面试整理
此外，生产者和消费者也是RabbitMQ的核心组件，生产者负责发送消息到Exchange或者 Queue，消费者负责从Queue中订阅和处理消息。这种模式，才是rabbitmq提供是真正的高可用模式，跟普通集群不一样的是，你创建的queue，无论元数据还是queue里面是消息数据都存在多个实例当中，
RabbitMQ
连接（Connection）：客户端与 RabbitMQ 服务器之间的通信通道。通道（Channel）：连接内的虚拟通道，用于并发操作和减少资源消耗。交换机（Exchange）：消息的路由器，根据规则将消息路由到队列。队列（Queue）：存储消息的容器，消费者从队列中获取并处理消息。这些概念一起工作
rabbitMQ消息的可靠性
因网络问题连接MQ失败，解决在配置文件中配置失败后的重连机制(阻塞式的，影响业务)
Kafka简单搭建及常用命令
通过如下命令格式化存储目录，注意：-t参数需要指定上一步生成的集群id，即将下面命令中的"Tc5TTyKZQfil377YgmT5uQ "替换为你自己在上一步生成的集群id，另外，-c参数后需要指定的是config中的kraft中的server.properties配置文件，而不是config中的s
GaussDB 24.1.30 分布式3节点命令行方式部署
华为自主创新研发的分布式关系型数据库。该产品具备企业级复杂事务混合负载能力，同时支持分布式事务，同城跨AZ部署，数据0丢失，支持1000+的扩展能力，PB级海量存储。同时拥有云上高可用，高可靠，高安全，弹性伸缩，一键部署，快速备份恢复，监控告警等关键能力，能为企业提供功能全面，稳定可靠，扩展性强，性
RabbitMQ的学习和模拟实现｜muduo库的介绍和使用
muduo库的介绍和使用
【RabbitMQ】高级特性
本文将介绍一些RabbitMQ的重要特性。本文是使用的Spring整合RabbitMQ环境。
zookeeper、kakfa添加用户加密
调整kafka的启动脚本 kafka-server-start.sh。在zookeeper-server-start.sh中添加配置。在zookeeper_jaas.conf中添加。在相关的kafkaConfig中增加相关配置。配置提供者认证，修改提供者启动脚本，配置消费者认证，修改提供者启动脚本
实战从零开始实现Raft｜得物技术
Raft算法是一种分布式一致性算法，由Diego Ongaro和John Ousterhout在2013年提出。它主要用于分布式系统中，保证系统中的数据在多个节点间保持一致性。长期以来，大部分开发者都是将Raft作为一个黑盒使用，只知道它能保证多分片的一致性，对其运行原理也停留在纸面。当面临Raft
消息队列RabbitMQ部分知识
1. 简单队列模式（Simple Queue）一个生产者向一个特定的队列发送消息，一个消费者从该队列中获取消息。这是最简单的一种模式，例如一个订单生成系统向队列发送订单信息，一个订单处理系统从队列获取并处理订单。2. 工作队列模式（Work Queue）也称为任务队列模式。多个消费者共同监听一个队列
Zookeeper 介绍与应用
zookeeper 分布式 云原生
计算思维：串行、并行、分布式云计算、GPU
计算效率是计算机科学中的重要主题，不同的计算模式和架构设计适用于不同的场景。串行计算适用于小规模任务，而并行计算适用于大规模任务。分布式云计算适用于海量数据处理，GPU 批处理适用于深度学习和计算密集型任务。掌控每一种计算架构与思维方式是提高计算效率和性能的关键，也是计算机工程师的必备技能。在实际应
如何在分布式环境中实现高可靠性分布式锁
通过选择合适的分布式锁实现方式，可以有效提升系统的可靠性和一致性，确保业务逻辑的正确执行。在实际应用中，需要根据具体场景选择合适的实现方式，并进行适当的优化和调整，以应对分布式环境下的复杂挑战。
kafka生产者消息发送流程
kafka生产者消息发送流程
大数据-101 Spark Streaming DStream转换 窗口操作状态 跟踪操作 附带多个案例
上节研究了SparkStreamingDStream转换函数，无状态转换与对应的几个案例的实现。本节研究DStream转换，窗口操作、跟踪操作，附带了几个案例。对于没有数据输入，则不会返回那些没有变化的Key的数据，即使数据量很大，checkpoint也不会像updateStateByKey那样，占
仿RabbitMQ实现消息队列———整体框架
在实际的后端开发中, 尤其是分布式系统⾥, 跨主机之间使⽤⽣产者消费者模型, 也是⾮常普遍的需求。因此, 我们通常会把阻塞队列封装成⼀个独⽴的服务器程序, 并且赋予其更丰富的功能。这样的服务程序我们就称为 消息队列 (Message Queue, MQ)。其中 RabbitMQ 是⼀个⾮常知名、功能
kafka（一）：生产者
生产者在消息发送的过程中，涉及到了 两个线程 ——main 线程和Sender 线程。
【五】阿伟开始学Kafka
本文阿伟结合自己的理解从几个方面梳理了Kafka，其中讲到了基本概念，市面上消息中间件的对比，以及Kafka在实际应用中会遇到一些问题点和处理思路。
