大数据之Hadoop平台的搭建

实验环境

三台虚拟机

master

slave1

slave2
服务器集群单节点，机器最低配置：双核 CPU、8GB 内存、100G 硬盘运行环境CentOS 7.4服务和组件服务和组件根据实验需求安装

1实验过程

1.1实验任务一：配置 Linux 系统基础环境

1.1.1步骤一：查看服务器的 IP 地址

[root@localhost ~]# ip add show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:ed:e5:78 brd ff:ff:ff:ff:ff:ff
    inet 192.168.10.10/24 brd 192.168.10.255 scope global noprefixroute eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::f5b:c223:8f69:72a4/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
3: eth1: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:0c:29:ed:e5:82 brd ff:ff:ff:ff:ff:ff
    inet 192.168.20.10/24 brd 192.168.20.255 scope global noprefixroute eth1
       valid_lft forever preferred_lft forever
    inet6 fe80::6c8d:f07:f2c8:5650/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever

我们这里是使用了两张网卡，如果自己搭配的话一张网卡就够用了，使用NAT模式

1.1.2步骤二：设置服务器的主机名称

三个节点执行

#master

[root@localhost ~]# hostnamectl set-hostname master 
[root@localhost ~]# bash 
[root@master ~]# hostname 
master

#slave1

[root@localhost ~]# hostnamectl set-hostname slave1
[root@localhost ~]# bash 
[root@slave1 ~]# hostname 
slave1

#slave2

[root@localhost ~]# hostnamectl set-hostname slave2 
[root@localhost ~]# bash 
[root@slave2 ~]# hostname 
slave2

1.1.3步骤三：绑定主机名与 IP 地址

三个节点执行

#以master为例

[root@master ~]# vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

#添加下面内容
192.168.10.10 master
192.168.10.20 slave1
192.168.10.30 slave2

1.1.4步骤四：查看 SSH 服务状态

SSH 为 Secure Shell 的缩写，是专为远程登录会话和其他网络服务提供安全性 的协议。一般的用法是在本地计算机安装 SSH 客服端，在服务器端安装 SSH服 务，然后本地计算机利用 SSH 协议远程登录服务器，对服务器进行管理。这样可 以非常方便地对多台服务器进行管理。同时在 Hadoop 分布式环境下，集群中的 各个节点之间（节点可以看作是一台主机）需要使用 SSH 协议进行通信。因此 Linux 系统必须安装并启用 SSH 服务。

CentOS 7 默认安装 SSH 服务，可以使用如下命令查看 SSH 的状态

同样是三个节点都要查看，是否开启，以免影响后面操作

[root@master ~]# systemctl status sshd
● sshd.service - OpenSSH server daemon
   Loaded: loaded (/usr/lib/systemd/system/sshd.service; enabled; vendor preset: enabled)
   Active: active (running) since 五 2024-03-22 19:35:33 CST; 2h 42min ago
     Docs: man:sshd(8)
           man:sshd_config(5)
 Main PID: 65265 (sshd)
   CGroup: /system.slice/sshd.service
           └─65265 /usr/sbin/sshd -D

......

1.1.5步骤五：关闭防火墙

三个节点执行

Hadoop 可以使用 Web 页面进行管理，但需要关闭防火墙，否则打不开 Web 页面。 同时不关闭防火墙也会造成 Hadoop 后台运行脚本出现莫名其妙的错误。关闭命令如 下：

systemctl stop firewalld
systemctl disable firewalld

关闭防火墙后要查看防火墙的状态，确认一下

systemctl status firewalld

看到 inactive (dead)就表示防火墙已经关闭。不过这样设置后，Linux 系统如 果重启，防火墙仍然会重新启动。执行如下命令可以永久关闭防火墙。

1.1.6步骤六：创建 hadoop 用户

三个节点执行

#master
root@master ~]# useradd hadoop  //创建用户
[root@master ~]# echo "1" |passwd --stdin hadoop  //给用户设置密码

#slave1
root@slave1 ~]# useradd hadoop 
[root@slave1 ~]# echo "1" |passwd --stdin hadoop

#slave2
root@slave2 ~]# useradd hadoop 
[root@slave2 ~]# echo "1" |passwd --stdin hadoop

1.2安装 JAVA 环境

1.2.1步骤一：下载 JDK 安装包

JDK 安 装 包 需 要 在 Oracle 官 网 下 载 ， 下 载 地 址 为 ： 20 https://www.oracle.com/java /technologies /javase-jdk8-downloads.html，本教材采用 的 Hadoop 2.7.1 所需要的 JDK 版本为 JDK7 以上，这里采用的安装包为 jdk-8u152-linuxx64.tar.gz。

1.2.2步骤二：卸载自带 OpenJDK

#如果用户在此之前做过其他服务，可能留有安装包，
但是如果是新的虚拟机，或者是最小化安装，
则没有这些安装包，也就不需要下面的操作

[root@master ~]# rpm -qa | grep java 
javapackages-tools-3.4.1-11.el7.noarch 
java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64 
tzdata-java-2022e-1.el7.noarch 
python-javapackages-3.4.1-11.el7.noarch 
java-1.8.0-openjdk-headless-1.8.0.352.b08-2.el7_9.x86_64

#注意在这里有些虚拟机可能没有这些包，
那么则不需要执行以下操作，如果有相关安装包，
则执行下面的代码

卸载相关服务，键入命令 
[root@master ~]# rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch 
[root@master ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64 
[root@master ~]# rpm -e --nodeps tzdata-java-2022e-1.el7.noarch 
[root@master ~]# rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch 
[root@master ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.352.b08-2.el7_9.x86_64 
[root@master ~]# rpm -qa | grep java 
 
查看删除结果再次键入命令 java -version 出现以下结果表示删除功
[root@master ~]# java --version
bash: java: 未找到命令 

1.2.3步骤三：安装 JDK

Hadoop 2.7.1 要求 JDK 的版本为 1.7 以上，这里安装的是 JDK1.8 版 （即JAVA 8）。

安装命令如下，将安装包解压到/usr/local/src 目录下 ，注意/opt/software目录 下的软件包事先准备好。

[root@master ~]# tar -zxvf /opt/software/jdk-8u152-linux-x64.tar.gz -C /usr/local/src/

[root@master ~]# ls /usr/local/src/ 
jdk1.8.0_152 

#改名,方便后续操作，名字简洁，根据需要，也可不改
[root@master ~]# mv /usr/local/src/jdk1.8.0_152 /usr/local/src/jdk

1.2.4步骤四：设置 JAVA 环境变量

在 Linux 中设置环境变量的方法比较多，较常见的有两种：一是配置 /etc/profile 文件，配置结果对整个系统有效，系统所有用户都可以使用；二 21 是配置~/.bashrc 文件，配置结果仅对当前用户有效。这里使用第一种方法。

[root@master ~]# vim /etc/profile 
在文件的最后增加如下两行： 
export JAVA_HOME=/usr/local/src/jdk
export PATH=$PATH:$JAVA_HOME/bin 

执行 source 使设置生效： 
[root@master ~]# source /etc/profile 

检查 JAVA 是否可用。 
[root@master ~]# echo $JAVA_HOME 
/usr/local/src/jdk1.8.0_152 
[root@master ~]# java -version 
java version "1.8.0_152" 
Java(TM) SE Runtime Environment (build 1.8.0_152-b16) 
Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode) 
能够正常显示 Java 版本则说明 JDK 安装并配置成功。

2安装 Hadoop 软件

2.1实验任务一：获取 Hadoop 安装包

Apache Hadoop 各 个 版 本 的 下 载 网 址 ： https://archive.apache.org/dist/hadoop /common/。本教材选用的是 Hadoop 2.7.1 版本，安装包为 hadoop-2.7.1.tar.gz。需要先下载 Hadoop 安装包，再上传到 Linux 系统的/opt/software 目录。具体的方法见前一节“实验一 Linux 操作系统环境 设置”，这里就不再赘述。

2.2实验任务二：安装 Hadoop 软件

2.2.1步骤一：安装 Hadoop 软件

安装命令如下，将安装包解压到/usr/local/src/目录下

[root@master ~]# tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src/ 

#改名
[root@master ~]# mv /usr/local/src/hadoop-2.7.1 /usr/local/src/hadoop

[root@master ~]# ll /usr/local/src/
总用量 0
drwxr-xr-x. 12 10021 10021 183 3月  22 20:35 hadoop
drwxr-xr-x.  8 10 143 255 9月  14 2017 jdk

[root@master ~]# ll /usr/local/src/hadoop
总用量 28 
drwxr-xr-x. 2 10021 10021 194 3月 29 2015 bin 
drwxr-xr-x. 3 10021 10021 20 3月 29 2015 etc 
drwxr-xr-x. 2 10021 10021 106 3月 29 2015 include 
drwxr-xr-x. 3 10021 10021 20 3月 29 2015 lib 
drwxr-xr-x. 2 10021 10021 239 3月 29 2015 libexec 
-rw-r--r--. 1 10021 10021 15429 3月 29 2015 LICENSE.txt 
-rw-r--r--. 1 10021 10021 101 3月 29 2015 NOTICE.txt 
-rw-r--r--. 1 10021 10021 1366 3月 29 2015 README.txt 
drwxr-xr-x. 2 10021 10021 4096 3月 29 2015 sbin 
drwxr-xr-x. 4 10021 10021 31 3月 29 2015 share 

bin：此目录中存放 Hadoop、HDFS、YARN 和 MapReduce 运行程序和管理 软件。

etc：存放 Hadoop 配置文件。

include: 类似 C 语言的头文件

lib：本地库文件，支持对数据进行压缩和解压。

libexe：同 lib

sbin：Hadoop 集群启动、停止命令

share：说明文档、案例和依赖 jar 包。

2.2.2步骤二：配置 Hadoop 环境变量

和设置 JAVA 环境变量类似，修改/etc/profile 文件

[root@master ~]# vi /etc/profile

在文件的最后增加如下两行：

export HADOOP_HOME=/usr/local/src/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行 source 使用设置生效：
[root@master ~]# source /etc/profile

检查设置是否生效：
[root@master ~]# hadoop
Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
 CLASSNAME run the class named CLASSNAME
or
 where COMMAND is one of:
 fs run a generic filesystem user client
 version print the version
 jar <jar> run a jar file
 note: please use "yarn jar" to launch
 YARN applications, not this command.
 checknative [-a|-h] check native hadoop and compression libraries
availability
 distcp <srcurl> <desturl> copy file or directories recursively
 archive -archiveName NAME -p <parent path> <src>* <dest> create a hadoop
archive
 classpath prints the class path needed to get the
 credential interact with credential providers
 Hadoop jar and the required libraries
 daemonlog get/set the log level for each daemon
 trace view and modify Hadoop tracing settings
Most commands print help when invoked w/o parameters.

[root@master ~]#
出现上述 Hadoop 帮助信息就说明 Hadoop 已经安装好了

2.2.3步骤三：修改目录所有者和所有者组

上述安装完成的 Hadoop 软件只能让 root 用户使用，要让 hadoop 用户能够 运行 Hadoop 软件，需要将目录/usr/local/src 的所有者改为 hadoop 用户。

 [root@master ~]# chown -R hadoop:hadoop /usr/local/src/