Hadoop3：HDFS-通过配置黑白名单对集群进行扩缩容，并实现数据均衡（实用）

一、集群情况介绍

我的本地虚拟机，一共有三个节点，

hadoop102、hadoop103、hadoop104

二、白名单

创建白名单文件

whitelist

，通过白名单的配置，只允许集群包含

102和103

两台机器可以存储数据，

104

无法存储数据。

需求

1、创建白名单

这个位置是任意选择的，因为，hadoop配置文件都在这里，所以我就放这个下面了。
cd /opt/module/hadoop-3.1.3/etc/hadoop    
vim whitelist

2、HDFS关联白名单

在

hdfs-site.xml

配置文件中增加

dfs.hosts

配置参数

<!-- 白名单 --><property><name>dfs.hosts</name><value>/opt/module/hadoop-3.1.3/etc/hadoop/whitelist</value></property>

3、分发配置文件

xsync whitelist hdfs-site.xml

4、重启集群

第一次配置白明单，需要重启集群。

myhadoop stop
myhadoop start

5、查看页面

发现只有

102和103

节点

6、查看进程状态

发现

104

正常启动的

7、从104上传文件

cd /opt/module/hadoop-3.1.3/
hadoop fs -put NOTICE.txt /

可以正常上传

查看页面
只有

102和103

有数据块，并且副本数依然是

3个

。

8、重新配置104到白名单

分发文件

xsync whitelist

刷新节点，

无需重启

hdfs dfsadmin -refreshNodes

查看页面
节点添加成功，且104也自动增加一份副本数据。

9、结论

通过上述实验，我们证明了，

104

被排除出集群了，可以上传文件，只是

104

的客户端功能。
但是，

104

无法存储数据块了。
实现了预期效果。
且，再次修改白名单，无需重启集群。

三、动态扩容

集群运行状态下，进行服务器节点的增加扩容。
新节点的初始化配置

添加新节点到集群

1、添加新节点到白名单文件

cd /opt/module/hadoop-3.1.3/etc/hadoop
vim whitelist
xsync whitelist

2、单点启动新节点的Hadoop

hdfs --daemon start datanode
yarn--daemon start nodemanager

3、刷新集群白名单配置

hdfs dfsadmin -refreshNodes

4、新节点测试

上传一个文件到集群

hadoop fs -put wc.jar /

发现，无需重启集群，我们就给集群新增了一个节点，并能正常使用。

5、集群数据均衡

一般，我们新增一个节点之后，这个节点是没有数据的。
所以，我们需要进行一次

数据均衡

操作，这样，才能让新增的节点分担集群压力。

cd /opt/module/hadoop-3.1.3/
sbin/start-balancer.sh -threshold10
sbin/stop-balancer.sh

命令解释

sbin/start-balancer.sh -threshold 10

对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。

sbin/stop-balancer.sh

停止均衡操作
注意：由于

HDFS

需要启动单独的

Rebalance Server

来执行

Rebalance

操作
所以尽量不要在

NameNode

上执行

start-balancer.sh

，而是找一台比较空闲的机器。

四、黑名单配置实现退役服务器

1、说明

黑名单：表示在黑名单的主机

IP

地址不可以，用来存储数据。
企业中：

配置黑名单，用来退役服务器

。

通过定义可以知道，

黑名单的IP必定在白名单中

。否则，没意义。

2、配置黑名单

cd /opt/module/hadoop-3.1.3/etc/hadoop
vim blacklist

3、HDFS关联黑名单

在

hdfs-site.xml

配置文件中增加

dfs.hosts

配置参数

<!-- 白名单 --><property><name>dfs.hosts</name><value>/opt/module/hadoop-3.1.3/etc/hadoop/blacklist</value></property>

4、分发配置

xsync blacklist hdfs-site.xml

5、刷新集群配置

hdfs dfsadmin -refreshNodes

6、查看网页

正在退役105服务器
因为105有数据，所以，需要一段时间

数据同步完成后的状态

wc.jar

的副本多了一个103，说明，105的副本拷贝到103上了。

6、停止105的Hadoop服务

hdfs --daemon stop datanode
yarn--daemon stop nodemanager

需要到

10分钟30秒

后，才会从页面清除节点信息。

7、数据均衡

一般，退役一个节点，也要进行一次数据均衡

sbin/start-balancer.sh -threshold10