Zookeeper：常见的面试题和答案
Zookeeper：常见的面试题和答案
【scau大数据技术与原理2】综合性实验Spark集群的安装和使用——安装启动spark shell篇
Spark是一个分布式计算框架，常用于大数据处理。本次实验中，首先设计一个包含主节点和从节点的Spark集群架构，并在CentOS的Linux环境下进行搭建。通过下载并解压Spark安装包，配置环境变量和集群参数，部署Spark集群。接着言编写Spark应用程序，并将其打包通过spark-submi
【从零开始学习RabbitMQ | 第三篇】什么是延迟消息
在现代软件开发中，异步消息处理已成为构建可扩展、高可用系统的关键组成部分。RabbitMQ，作为一款广泛使用的开源消息代理，提供了强大的消息队列功能，支持多种消息模式，包括发布/订阅、请求/响应以及路由等。然而，除了这些基本功能外，RabbitMQ还提供了一项独特的特性——延迟消息，它允许开发者安排
Zookeeper复习
zookeeper=文件系统+通知机制。
常见Rabbitmq面试题及答案总结
RabbitMQ是釆用AMQP高级消息队列协议的一种消息队列技术，最大的特点就是消费并不需要 确保提供方存在,实现了服务之间的高度解耦
Zookeeper实现分布式锁（Zk分布式锁）
基于zookeeper临时有序节点可以实现的分布式锁。1、zookeeper天生设计定位就是分布式协调，强一致性。锁的模型健壮、简单易用、适合做分布式锁。2、如果获取不到锁，只需要添加一个监听器就可以了，不用一直轮询，性能消耗较小。3、如果有较多的客户端频繁的申请加锁、释放锁，对于zk集群的压力会比
ZooKeeper 搭建详细步骤之一（单机模式）
ZooKeeper 的搭建模式包括单机模式、集群模式和伪集群模式，分别适用于不同的场景和需求，从简单的单节点测试环境到复杂的多节点高可用生产环境。在实际部署时，应根据系统的可用性要求、数据量、并发负载等因素选择合适的部署模式。
只需三步，使用 KRaft 建立多节点 Kafka 集群
在本教程中，你将创建一个 Kafka 集群，使用 KRaft共识协议的 Kafka 集群。你将学习如何配置节点成为集群的一部分，并观察主题分区是如何分配给不同节点的。你还将学习如何将主题分配给集群中的特定代理。
spark安装和编程实践（Spark2.1.0）
spark安装和编程实践（Spark2.1.0）
Kafka下载安装及基本使用
Apache Kafka是一个分布式流处理平台，最初由LinkedIn开发并于2011年开源。它主要用于解决大规模数据的实时流式处理和数据管道问题。Kafka是一个分布式的发布-订阅消息系统，可以快速地处理高吞吐量的数据流，并将数据实时地分发到多个消费者中。Kafka消息系统由多个broker（服务
Flink系列二：DataStream API中的Source，Transformation，Sink详解（^_^）
举例：使用自定义source读取mysql中的数据/*实现方式：* 1、实现SourceFunction或ParallelSourceFunction接口来创建自定义的数据源。* 2、然后使用env.addSource(new CustomSourceFunction())或DataStreamSo
RabbitMQ是如何保证高可用的？
这种集群模式下，每个实例中的元数据是一样的，大家都是完整的数据。在这种模式下，我们创建的Queue，它的元数据（配置信息）会在集群中的所有实例中进行同步，但是 队列中的消息只会存在于一个RabbitMQ实例上，而不会同步到其他队列中。当我们消费消息的时候，如果消费者连接到了未保存消息的实例，那么那个
RabbitMQ 中的 VirtualHost 该如何理解
本质上，每一个 vhost 都是一个独立的小型 RabbitMQ 服务器，这个 vhost 中会有自己的消息队列、消息交换机以及相应的绑定关系等等，并且拥有自己独立的权限，不同的 vhost 中的队列和交换机不能互相绑定，这样技能保证运行安全又能避免命名冲突。我们并不需要特别的去看待 vhost，他
rabbitmq每小时自动重启
rabbitmq每小时自动重启怀疑是 rabbitmq 与 systemctl 冲突，后 mq 升级版本已修复，可参考：https://github.com/rabbitmq/rabbitmq-server/issues/1187。安装包下载地址：https://github.com/rabbitm
【亲测】Hadoop 高可用集群搭建 与 开发环境部署
核心竞争力，怎么才能提高呢？成年人想要改变生活，逆转状态？那就开始学习吧~万事开头难，但是程序员这一条路坚持几年后发展空间还是非常大的，一切重在坚持。为了帮助大家更好更高效的准备面试，特别整理了《前端工程师面试手册》电子稿文件。
kafka SSL配置随笔
讲解关于kafka的ssl配置和参考资料
大数据之Hadoop图解概述
1）NameNode（nn）：存储文件的。
【大数据】计算引擎：Spark核心概念
十分钟，一文讲明白复杂抽象的Spark核心概念。
Kafka的分区副本机制
1.自定义分区器@Override@Override// cluster.partitionCountForTopic 表示获取指定topic的分区数量@Override2.在kafka生产者配置中，自定义使用自定义分区器的类名。
spark总结
spark是基于内存计算的通用大数据并行计算框架，是一个快速、通用可扩展的大数据分析引擎。它给出了大一统的软件开发栈，适用于不同场合的分布式场景，如批处理、迭代算法、交互式查询、流处理、机器学习和图计算。
