在ubuntu+cpolar+rabbitMQ环境下，实现mq服务端远程访问
在ubuntu+cpolar+rabbitMQ环境下，实现mq服务端远程访问
分布式 - 消息队列Kafka：Kafka消费者和消费者组
在Kafka中，一个消费者组中的每个消费者会消费主题下不同分区的消息，而不同消费者组中的消费者则可以同时消费相同分区的数据。在这些情况下，单个消费者无法跟上数据生成的速度，因此可以增加更多的消费者来分担负载，让每个消费者只处理部分分区的消息，这是横向扩展消费者的主要方式。消费者组是一个逻辑上的概念，
2023-07-10：Kafka如何做到消息不丢失？
当Follower副本与Leader副本之间出现落后时，Kafka会将Follower副本从ISR（In-Sync Replicas）中移除。只有当Follower副本与Leader副本之间的差距不大时，才会将Follower副本重新加入ISR，以确保消息不丢失。如果Follower副本成功复制了消
【大数据】大数据 Hadoop 管理工具 Apache Ambari（HDP）
Apache Ambari 是 Hortonworks 贡献给Apache开源社区的顶级项目，它是一个基于web的工具，用于安装、配置、管理和监视 Hadoop 集群。 Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zooke
hadoop的安装（VMware 16 pro，Ubuntu 22.04 64位）
hadoop的安装配置
spring boot 引入hive
可以从Spring容器中自动注入。在这个例子中，使用Hive的。指定Hive的元数据服务地址。指定HDFS的地址，
大数据技术之Hadoop（源码解析）
大数据技术之Hadoop源码解析。
kafka权限控制功能
Kafka Topic 权限控制可以通过使用 Apache Kafka 的内置安全特性来实现。这主要涉及到两个方面：认证（Authentication）和授权（Authorization）。
hive启动命令
1、启动元数据管理服务（必须启动，否则无法工作）前台启动：bin/hive --service metastore后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &2、启动客户端Hive Shell方式（可以直接写
【项目实战】Kafka 分区中的AR、ISR、OSR
**AR（Assigned Replicas）** 是指为每个分区分配的副本集合。在Kafka中，每个分区可以有多个副本，其中一个副本被选举为leader，其他副本为follower。AR是指包括leader副本在内的所有副本的集合。**ISR（In-Sync Replicas）** 是指与lead
解决Zookeeper高可用性挑战：使用副本集和容错策略
作者：禅与计算机程序设计艺术 《10. 解决Zookeeper高可用性挑战：使用副本集和容错策略》引言1.1. 背景介绍Zookeeper是一个开源的分布式协调系统，可以提供可靠的协调服务，支持分布式事务、发布/订阅模式等功能。Zookeeper的高可用性对于分
Rabbitmq和kafka有什么区别？
RabbitMQ和Kafka都是流行的，它们都可以用于构建系统中的。虽然它们都可以用于相似的场景，但它们之间仍然存在一些重要的区别。
【Kafka】Zookeeper和Kafka集群的安装和配置
备注：无论是ZK，还是Kafka，都需要用到JDK，我上面给出的ZK和Kafka版本，都已经支持JDK11。到此为止，三节点的Kafka集群就已经部署完毕，可能部分参数还有待调优，这里就不做详细说明了，生产环境上的配置，以本地的配置为准。最后依次启动三台服务器上的zookeeper即可，并检查当前节
2. Elasticsearch客户端实战
Kibana是ELK家族中一个开源、免费的可视化数据搜索和分析平台。借助Kibana，用户不需要编码就可以将ES中分析的结果进行可视化呈现，如以常用的饼图、柱状图和时序图等方式呈现。除了可视化数据分析功能，Kibana还提供了Dev Tools，它是一款可以与ES进行交互式请求的工具，可以借助它进行
yarn安装(windows)
yarn是一个新的JS包管理工具，它的出现是为了弥补npm的一些缺陷。其特点是；快速、安全、可靠。yarn官网需要提前下载nodejs,并使用npm安装。多版本nodejs安装安装yarn有很多方法，官方推荐使用npm安装设置全局安装路径及缓存路径设置完成验证配置打开此电脑 => 属性 => 高级系
IDEA中集成zookeeper的插件
IDEA中集成zookeeper的插件。一、IDEA中集成插件。安装完成，重启IDEA。
Windows下安装Hive（包安装成功）
Hive 的Hive_x.x.x_bin.tar.gz 高版本在windows 环境中缺少 Hive的执行文件和运行程序。配置文件目录（%HIVE_HOME%\conf）有4个默认的配置文件模板拷贝成新的文件名。可以发现，自动连接MySQL去创建schema hive，并执行脚本。可以通过访问nam
clickhouse优化使用clickhouse-keeper替代zookeeper
ClickHouse Keeper 是 ZooKeeper 的替代品，与 ZooKeeper 不同，ClickHouse Keeper 是用 C++ 编写的，并使用 RAFT 算法实现，该算法允许对读写具有线性化能力。clikhouse-keeper目的在于替换zookeeper，使用clickho
Yarn【多队列实例、任务优先级设置】
yarn多队列配置、任务优先级设置
