【大数据】HADOOP-Yarn集群界面UI指标项详解（建议收藏哦）
HADOOP-Yarn的UI界面指标项及参数配置详解。方便进行资源配置，任务监控，资源告警，日常运维
Xshell命令
目录1.命令ls——列出文件2.命令cd——切换目录3.命令touch——创建空文件4.命令mkdir——创建目录5.命令cp——复制文件或目录6.命令mv——移动文件、更名7.命令rm——删除文件8.命令cat——显示文件内容9.命令more——分页显示文件内容10.命令head——查看文件的前几
Kafka消费者订阅指定主题(subscribe)或分区(assign)详解
Kafka订阅主题（subscribe）与分区（assign）方法详解
Kafka参数
配置@KafkaListener注解@KafkaListener(id = "11111", groupId = "demo-group",topics = Constants.TOPIC) public void listen(String msgData) { LOGGER.info
手把手教你安装RabbitMQ(基于CentOS7系统)
RabbitMQ安装教程
C#实现集成RabbitMQ队列，支持工作队列模式和发布订阅模式
本文通过C#来集成RabbitMQ，并封装成库dll文件，后期通过调用封装的dll库，来方便使用RabbitMQ的工作队列模式和发布订阅模式。
kafka 如何避免重复消费
1、kafka是通过offset来标记消费的。默认情况下，消费完成后会自动提交offset，避免重复消费。Kafka消费端的自动提交逻辑有一个默认的5秒间隔，也就是说在5秒之后的下一次向Broker拉取消息的时候提交。所以在Consumer消费的过程中，应用程序被强制kill掉或者宕机，可能会导致O
谷粒商城13——订单模块完成、分布式事务应用、RabbitMQ、Seata、电商项目订单场景的分析完善
谷粒商城13——订单模块完成、分布式事务应用、RabbitMQ、Seata、电商项目订单场景的分析完善
大数据开发工程师是做什么的？岗位要求高吗？
大数据开发工程师是做什么的？岗位要求高吗？大数据开发工程师要负责数据仓库建设、ETL开发、数据分析、数据指标统计、大数据实时计算平台及业务开发、平台建设及维护等工作内容。熟练掌握数据仓库、hadoop生态体系、计算及二次开发、大数据平台工具的开发：开发平台、调度系统、元数据平台等工具，该岗位对于技术
【Hadoop全分布式环境搭建】
Hadoop全分布式集群搭建，ntp时间同步，免密登录，hadoop一键启动
大数据Canal（四）：Canal HA原理及安装
Canal一般用于实时同步数据场景，那么对于实时场景HA显得尤为重要，Canal支持HA搭建，canal的HA分为两部分，canal server和canal client分别有对应的HA实现。将Canal安装包上传到node3，node4，并解压到“/software/canal”目录下，修改“/
【Kafka】Docker安装kafka、搭建kafka集群
docker安装kafka、搭建kafka集群进行测试
【云启实验室】《搭建Hadoop环境》-Hadoop-2.10.1伪分布式
资源创建过程需要1~3分钟。1. 点击右侧 切换至Web Terminal，执行以下命令，下载JDK1.8安装包。4. 执行以下命令，修改配置文件yarn-env.sh和hadoop-env.sh。2. 执行以下命令，解压Hadoop安装包至/opt/hadoop。3. 启动成功后，执行以下命令，查
Kafka的认证
kafka认证
分布式一致性算法——Paxos 和 Raft 算法
本文主要围绕Paxos算法和Raft算法进行了讨论。我们首先介绍了分布式一致性算法的概念和必要性，然后分别从算法基本原理、角色和状态、基本流程、选举过程、优缺点等方面详细介绍了Paxos算法和Raft算法。同时，我们也对这两种算法进行了比较和区分，并讨论了如何选择合适的算法以满足不同场景下的需求和限
Zookeeper应用场景
ZooKeeper是一个典型的发布/订阅模式的分布式数据管理与协调框架，我们可以使用它来进行分布式数据的发布与订阅。另一方面，通过对ZooKeeper中丰富的数据节点类型进行交叉使用，配合Watcher事件通知机制，可以非常方便地构建一系列分布式应用中都会涉及的核心功能，如数据发布/订阅、命名服务、
Kafka组件的消费者流程解析，图文详解
消费者：消费组：⼀个拥有四个分区的主题，包含⼀个消费者的消费组此时，消费组中的消费者消费主题中的所有分区。并且没有重复的可能。如果在消费组中添加⼀个消费者2，则每个消费者分别从两个分区接收消息如果消费组有四个消费者，则每个消费者可以分配到⼀个分区如果向消费组中添加更多的消费者，超过主题分区数量，则有
rabbitmq基础7——队列和消息过期时间设置、死信队列、延迟队列、优先级队列、回调队列、惰性队列
1. 队列、消息的过期时间设置（运维向）。2. 死信队列、延迟队列、优先级队列、回调队列、惰性队列原理和web监控运维基础使用。
Centos7搭建hadoop3.3.4分布式集群
最近在学习`hadoop`，本文记录一下，怎样在Centos7系统上搭建一个`3`个节点的`hadoop`集群。
林子雨大数据技术原理与运用期末复习
大数据预处理方法包括___数据清洗___、___数据集成_____、___数据变换___和___数据规约_____。
