掌握Zookeeper的集群管理与监控
1.背景介绍Zookeeper是一个开源的分布式协调服务，用于构建分布式应用程序的基础设施。它提供了一种可靠的、高性能的协调服务，以实现分布式应用程序之间的数据同步和一致性。Zookeeper的核心功能包括：数据存储、配置管理、集群管理、负载均衡、分布式同步等。Zookeeper的核心概念包括：Zo
Zookeeper
kafka-topics.sh --zookeeper IP1:2181,IP2:2181,IP3:2181 --create --topic 队列名 --partitions 分区数 --replication-factor 副本数 #创建topic。第一次leader选举：比较服务器节
多云中的数据安全：如何保护敏感数据在分布式环境中的安全
1.背景介绍随着云计算技术的发展，多云已经成为企业和组织的主流选择。多云可以为企业提供更高的灵活性、可扩展性和竞争力。然而，多云环境也带来了新的挑战，尤其是在数据安全方面。在多云中，敏感数据的分布和管理变得更加复杂，数据安全的保障也更加重要。因此，保护敏感数据在分布式环境中的安全已经成为企业和组织的
滴滴二面：kafka的零拷贝原理?
零拷贝通过DMA（DirectMemoryAccess）技术把文件内容复制到内核空间中的ReadBuffer，接着把包含数据位置和长度信息的文件描述符加载到SocketBuffer中，DMA引擎直接可以把数据从内核空间中传递给网卡设备。而零拷贝，就是把这两次多于的拷贝省略掉，应用程序可以直接把磁盘中
RabbitMQ的消息批量发送与消息批量消费
1.背景介绍在分布式系统中，消息队列是一种常见的异步通信方式，可以帮助系统的不同组件之间进行通信。RabbitMQ是一种流行的消息队列系统，它支持多种消息传输模式，包括点对点(P2P)、发布/订阅(Pub/Sub)和主题(Topic)。在这篇文章中，我们将讨论RabbitMQ的消息批量发送与消息批量
如何配置Kafka账号密码
我们需要与第三方系统进行数据同步，需要搭建公网Kafka，Kafka默认是没有用户密码校验的，所以我们需要配置用户名密码校验。-Djava.security.auth.login.config=用kafka tool测试连接，下载地址：https://www.kafkatool.com/这里配置了内
RabbitMQ 的基本概念
消息进入第二站queue，消费者要接收消息，需要一直监听着queue，那么消费者在监听queue的时候需要先指定队列要和那个交换机绑定，绑定的时候也需要指定路由键，如果发消息时的路由键和接收消息时候路由键一样，那么这个消息就会进入到这个队列。使用了 MQ 之后，限制消费消息的速度为1000，这样一来
RabbitMQ之死信队列、延迟队列和懒队列
TTL+死信队列实现逻辑，创建一个普通交换机跟队列，给队列设置TTL超时时间，但是不给这个队列绑定消费者，给这个普通队列绑定死信交换机，等到消息超时就会发送到死信交换机，给死信交换机配一个消费者来消费。为了更方便、更灵活地实现延迟队列功能，可以使用RabbitMQ提供的插件rabbitmq_dela
Spark的timestamp 数据时间问题
使用Spark来处理国际业务数据，涉及到数据时区转换，在实际项目中出现时区转换问题。但在实际Cluster 去run job的时候，如果给一个eff_dt为的时间，但是往往会出现df_eff_dt为20240131的日期。
浅谈RabbitMQ消费端ACK和限流
如上图所示：如果在A系统中需要维护相关的业务功能，可能需要将A系统的服务停止，那么这个时候消息的生产者还是一直会向MQ中发送待处理的消息，消费者此时服务已经关闭，导致大量的消息都会在MQ中累积。如果当A系统成功启动后，默认情况下消息的消费者会一次性将MQ中累积的大量的消息全部拉取到自己的服务，导致服
Kafka——MirrorMaker详解
对于Kafka企业级用户而言，一个常见的痛点就是跨机房或跨数据中心(data center,DC)的数据传输。大型企业通常在多个数据中心部署Kafka集群。.这里的数据中心可能是企业拥有的自建机房，也可能是公有云厂商的不同机房。在多个机房部署Kafk集群的优势如下。实现灾备。较近的地理位置可缩短延时
利用Hadoop进行数据湖构建与管理
数据湖是一个集中式的存储和处理平台，可以存储各种类型的数据，而不需要事先进行结构化的处理。Hadoop，作为一个分布式计算平台，为数据湖的构建和管理提供了强大的支持。它可以存储各种类型的数据，包括结构化数据、非结构化数据和半结构化数据。数据湖不需要对数据进行预先的结构化处理，这使得它可以快速地存储和
Nacos的简介及安装和使用
1. Nacos简介1.1 核心特性1.2 常见的注册中心1.3 Nacos结构图2. 如何安装和配置Nacos？2.1 Nacos的安装2.2 如何使用Nacos？ Nacos是一个开源的动态服务发现、配置和服务管理平台，由阿里巴巴开发和维护。 Nacos支持多种注册中心和配置管理器，包括Sp
kafka入门
2.在resources下创建文件application.yml。生产者发送消息，多个消费者只能有一个消费者接收到消息。（1）创建kafka-demo项目，导入依赖。生产者发送消息，多个消费者都可以接收到消息。1.导入spring-kafka依赖信息。（2）生产者发送消息。（3）消费者接收消息。
Kafka入门二——SpringBoot连接Kafka示例
本文介绍了Spring Boot集成Kafka的基本示例，包括生产者发送消息和消费者接收消息的主要概念。生产者负责创建和发送消息到Kafka主题，而消费者从订阅的主题中拉取并处理这些消息。文中简要概述了这两个组件的工作流程，为深入理解Kafka与Spring Boot的集成提供了基础。
什么是RabbitMQ？
RabbitMQ支持不同类型的交换机，其中最常用的类型之一是扇出交换机（Fanout Exchange），它会将消息广播到与之绑定的所有队列，无视消息的路由键。在RabbitMQ中，消息代理指的就是RabbitMQ服务器，它是一个中间件软件，负责接收、存储和转发消息，充当了消息的中介。请求/响应模型
Spark 提交命令和参数介绍
参考：spark官网配置介绍：Configuration - Spark 3.5.0 Documentationspark-sql参数一、提交命令 参数名格式参数说明--packages包含在driver和executor的classpath下的jar包逗号分隔的”groupId:artifac
kafka-splunk数据通路实践
鉴于目前网络上没有完整的kafka数据投递至splunk教程，通过本文操作步骤，您将实现kafka数据投递至splunk日志系统。
RabbitMQ监控方法以及核心指标
探讨rabbitmq的监控数据采集方式以及需要关注的核心指标，便于日常生产进行监控和巡检。
Kafka的核心原理
Kafka核心原理介绍
