0
0

Hadoop完全分布式的搭建（零基础）

Hadoop完全分布式的搭建

环境准备：

（1）VMware Workstation Pro17（其他也可）

（2）Centos7

（3）FinalShell

（一）模型机配置

0****）安装模板虚拟机，IP地址192.168.10.100、主机名称node1、内存4G、硬盘40G

网络环境及基础环境准备：

1）修改VMware的网络虚拟器：将子网ip设置在统一的字段，我统一设置为10

图片1

图片2

图片3

点击确定

（2）修改电脑的VMent8：也统一在10这个字段

在搜索栏搜索查看网络连接

图片4

找到VMnet8

图片5

右击，选择属性

图片6

单击Internet协议版本4（TCP/IPv4）

图片7

修改相应的IP地址，默认网关，和刚才虚拟机中的保持统一字段，在本文中统一为10.

添加DNS服务器如图所示

图片8

修改Centos 里的ip，将动态地址改为静态

进入到centos7，用root用户登录，修改ifcfg-ens33文件，将其中BOOTPROTO的参数从动态改为静态，并添加对应的IP，依然与刚才前两步保持统一字段

图片9

  1. vim /etc/sysconfig/network-scripts/ifcfg-ens33

图片10

ping一下百度表示网络可用，若失败则需检查相应的问题。网络要通才可进行后续操作。

图片11

修改主机名称为Master01

  1. vim /etc/hostname

图片12

将文件内容改成Master01

将接下来预计要进行连接的虚拟机ip都入加入到hosts文件，根据自己需要搭建的集群数量决定，本文的Master01用于伪分布式搭建，node1，node2及node3用于完全分布式的搭建，要记录对应的ip地址，以便进行后续操作。

  1. vim /etc/hosts

图片13

（4）连接finallshell

打开准备好的远程连接软件，我们后续将都在此进行操作，因为可直接粘贴复制和传送文件（用xshell也可），此处可用root登录也可用普通用户，后续因为yarn的使用，需要用普通用户连接。根据自己的主机ip和密码连接。

图片14

连接成功

图片15

（5）更换阿里云镜像：执行以下命令
a.备份官方的原yum源的配置

  1. mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

b.下载Centos-7.repo文件

  1. wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

c.脚本配置本地源

找个目录，创建脚本文件：

本人以/root/目录为例

  1. vi /root/auto_aliyun.sh

编写如下内容：

  1. #!/bin/bash
  3. # 备份官方的原yum源的配置
  5. mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
  7. # 下载Centos-7.repo文件,或者curl -o /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo，取决于你是否有wget的命令
  9. wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
  11. # 清除yum缓存
  13. yum clean all
  15. # 缓存本地yum源
  17. yum makecache

按ESC。输入:wq保存，完成镜像阿里云源的脚本文件的编写

d.赋予脚本可执行的权限

  1. chmod +x /root/auto_aliyun.sh

e.执行脚本文件，即可

  1. /root/auto_aliyun.sh

图片16

图片17

f.安装epel-release

  1. yum install -y epel-release

图片18

（6）关闭防火墙

  1. systemctl stop firewalld
  3. systemctl disable firewalld.service

图片19

（7）将hduser用户（你自己的普通用户）赋予root权限

创建hduser用户，并修改hduser用户的密码

  1. useradd hduser（创建的用户名）
  3. passwd 123456（创建的用户密码）

配置hduser用户具有root权限，方便后期加sudo执行root权限的命令

  1. vim /etc/sudoers

找到图中位置添加：

图片20

保存并退出

在/opt目录下创建module、software文件夹

  1. mkdir /opt/module
  1. mkdir /opt/software

修改module、software文件夹的所有者和所属组均为hduser用户 

  1. chown hduser:hduser /opt/module
  1. chown hduser:hduser /opt/software

查看module、software文件夹的所有者和所属组

图片21

测试hduser已拥有root权限

图片22

(8)卸载环境自带jdk

查询jdk

  1. jdk rpm -qa | grep -i java

图片23

卸载jdk

  1. rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

注意：如果你的虚拟机是最小化安装不需要执行这一步。

  • rpm -qa：查询所安装的所有rpm软件包
  • grep -i：忽略大小写
  • xargs -n1：表示每次只传递一个参数
  • rpm -e –nodeps：强制卸载软件

查询

图片24

重启虚拟机

  1. [root@Master01 ~]# reboot

模型机配置完成

（二）完全分布式搭建

（1）三台虚拟机node1,node2,node3的准备

克隆三台虚拟node1,node2,node3（名称要与前文hosts中一致，注意是完全克隆）

图片25

分别修改三台机器的ip和主机名并重启，检查是否修改完成，并检查网络是否可用

Node1

图片26

图片27

Node2

图片28

图片29

Node3

图片30

图片31

将三台主机均按前面方法连接finalshell

图片32

图片33

图片34

（2）给node1安装jdk

将下好的jdk和hadoop利用finallshell传到node1中，在finallshell的文件中找到之前建立的software文件夹，直接拖入。

图片35

进入到software文件夹，查看tar包已经存在。

图片36

解压缩：

  1. tar -zxvf jdk-8u202-linux-x64.tar.gz -C /opt/module/

图片37

进入到module目录，已经存在jdk。

图片38

（3）配置JAVA_HOME

在/etc/profile.d/中创建my_env.sh，填写以下内容：

  1. vim /etc/profile.d/my_env.sh

图片39

保存后运行，java配置成功。

  1. source /etc/profile

执行java语句出现以下内容

图片40

（4）安装hadoop:
解压hadoop至/etc/module

  1. tar -zxvf hadoop-3.2.4.tar.gz -C /opt/module/

图片41

进入到hadoop中配置环境变量

图片42

在之前创建的my_env.sh中添加以下内容

  1. vim /etc/profile.d/my_env.sh

图片43

  1. source /etc/profile

运行

命令行输入hadoop，出现以下内容配置完成

图片44

（5）将node1中的jdk和hadoop复制到node2和node3上

图片45

图片46

集群分配脚本的编写：

创建一个脚本xsync，并将其配置在环境变量中,内容如下

注意是在hduser用户的bin目录下：

图片47

建立一个xsync文件，输入以下内容保存

  1. #!/bin/bash
  3. #1. 判断参数个数
  4. if [ $# -lt 1 ]
  5. then
  6.     echo Not Enough Arguement!
  7.     exit;
  8. fi
  10. #2. 遍历集群所有机器
  11. for host in node1 node2 node3
  12. do
  13.     echo ====================  $host  ====================
  14.     #3. 遍历所有目录，挨个发送
  16.     for file in $@
  17.     do
  18.         #4. 判断文件是否存在
  19.         if [ -e $file ]
  20.             then
  21.                 #5. 获取父目录
  22.                 pdir=$(cd -P $(dirname $file); pwd)
  24.                 #6. 获取当前文件的名称
  25.                 fname=$(basename $file)
  26.                 ssh $host "mkdir -p $pdir"
  27.                 rsync -av $pdir/$fname $host:$pdir
  28.             else
  29.                 echo $file does not exists!
  30.         fi
  31.     done
  32. done

注意以下内容修改成自己对应的主机名字

图片48

进入到相应的目录，找到相应的bin目录，查询刚才建立的xsync文件，注意是hduser下的bin目录。

图片49

  1. vim xsync

图片50

赋予xsync相应权限

  1. chomd 777 xsync

发现文件变绿

图片51

利用xsync脚本将环境变量分发到node2和node3中

  1. sudo ./bin/xsync /etc/profile.d/my_env.sh

图片52

让环境变量生效

  1. [hduser@node2 bin]$ source /etc/profile
  3. [hduser@node2 opt]$ source /etc/profile
  1. ssh免密登录设置
  1. cd .ssh/
  3. cat known_hosts

图片53

  1. [hduser@node1 .ssh]$ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）

图片54

将公钥拷贝到要免密登录的目标机器上

图片55

ssh node2后免密登录成功

图片56

第三台机器同理

图片57

（三）配置集群

（1）核心配置文件

  1. cd $HADOOP_HOME/etc/hadoop
  3. vim core-site.xml

图片58

core-site.xml文件内容如下： 

  1. <?xml version="1.0" encoding="UTF-8"?>
  3. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  5. <configuration>
  7. <!-- 指定 NameNode 的地址 -->
  9. <property>
  11. <name>fs.defaultFS</name>
  13. <value>hdfs://node1:8020</value>
  15. </property>
  17. <!-- 指定 hadoop 数据的存储目录 -->
  19. <property>
  21. <name>hadoop.tmp.dir</name>
  23. <value>/opt/module/hadoop-3.2.4/data</value>
  25. </property>
  27. <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
  29. <property>
  31. <name>hadoop.http.staticuser.user</name>
  33. <value>hduser</value>
  35. </property>
  37. </configuration>

图片59

（2）****HDFS ****配置文件

配置 hdfs-site.xml

  1. vim hdfs-site.xml

文件内容如下：

  1. <?xml version="1.0" encoding="UTF-8"?>
  3. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  5. <configuration>
  7. <!-- nn web 端访问地址-->
  9. <property>
  11. <name>dfs.namenode.http-address</name>
  13. <value>node1:9870</value>
  15. </property>
  17. <!-- 2nn web 端访问地址-->
  19. <property>
  21. <name>dfs.namenode.secondary.http-address</name>
  23. <value>node3:9868</value>
  25. </property>
  27. </configuration>

图片60

（3）****YARN ****配置文件

配置 yarn-site.xml

  1. vim yarn-site.xml

文件内容如下：

  1. <?xml version="1.0" encoding="UTF-8"?>
  3. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  5. <configuration>
  7. <!-- 指定 MR 走 shuffle -->
  9. <property>
  11. <name>yarn.nodemanager.aux-services</name>
  13. <value>mapreduce_shuffle</value>
  15. </property>
  17. <!-- 指定 ResourceManager 的地址-->
  19. <property>
  21. <name>yarn.resourcemanager.hostname</name>
  23. <value>node2</value>
  25. </property>
  27. <!-- 环境变量的继承 -->
  29. <property>
  31. <name>yarn.nodemanager.env-whitelist</name>
  33. <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
  35. NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
  37. RED_HOME</value>
  39. </property>
  41. </configuration>

图片61

（4）****MapReduce ****配置文件

配置 mapred-site.xml

  1. vim mapred-site.xml

文件内容如下：

  1. <?xml version="1.0" encoding="UTF-8"?>
  3. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
  5. <configuration>
  7. <!-- 指定 MapReduce 程序运行在 Yarn 上 -->
  9. <property>
  11. <name>mapreduce.framework.name</name>
  13. <value>yarn</value>
  15. </property>
  17. </configuration>

图片62

*5）*****在集群上分发配置好的 ********Hadoop ****配置文件

  1. xsync /opt/module/hadoop- 3.2.4/etc/hadoop/

图片63

6）去 node2** 和 node3 **上查看文件分发情况

  1. cat /opt/module/hadoop-3.2.4/etc/hadoop/core-site.xml

编辑workers文件

  1. vim /opt/module/hadoop-3.2.4/etc/hadoop/workers

在该文件中增加如下内容：

图片64

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

  1. xsync /opt/module/hadoop-3.2.4/etc

启动集群

（1）如果集群是第一次启动，需要在node1节点格式化NameNode（注意：格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化。）

  1. [hduser@node1 hadoop-3.2.4]$ hdfs namenode -format

图片65

（2）启动HDFS

  1. [hduser@node1 hadoop-3.2.4]$ sbin/start-dfs.sh

图片66

（3）在配置了ResourceManager的节点（node2）启动YARN

  1. [hduser@node1 hadoop-3.2.4]$ sbin/start-yarn.sh

Web端查看HDFS的NameNode

浏览器中输入：http://node1:9870

（4）查看HDFS上存储的数据信息

Web端查看YARN的ResourceManager

浏览器中输入：http://node2:8088

（b）查看YARN上运行的Job信息

验证HDFS是否成功启动，可以使用jps命令查看Java进程，确认NameNode和DataNode等进程是否运行。

图片67

图片68

图片69

完全分布式搭建完成。

标签： 分布式 hadoop 大数据
本文转载自: https://blog.csdn.net/fukase_mio/article/details/143310087
版权归原作者 哆啦有个AI梦 所有， 如有侵权，请联系我们删除。
登录后发布评论

“Hadoop完全分布式的搭建（零基础）”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航
没有找到文章内容分段。。。