【大数据】hadoop运行环境搭建（搭建如此简单）

目录

前言

首先准备好工具。下载好最新的VMware Workstation，CentorOS 7运行Linux，建议Linux桌面标准版，且创建好一个用户

一、 模板虚拟机Hadoop100环境准备

安装模板虚拟机。IP地址192.168.150.100（自定义）、主机名称hadoop100、内存4G、硬盘50G，嘎嘎重要，一步一步来完成

1. 改为静态IP

• vim /etc/sysconfig/network-scripts/ifcfg-ens33进入配置文件（想不起来用tab键查找）
• 更改内容示例如下(最后的IP地址等依照自身情况做更改)：

BOOTPROTO="static"

…

IPADDR=192.168.150.100

GATEWAY=192.168.150.2

DSN1=192.168.150.2

2. 建立主机名映射

• Linux系统 进入配置文件vim /etc/hosts，加上主机名及其对应IP地址 或者echo "192.168.150.100 hadoop100" >> /etc/hosts
• 再进windows系统C:\Windows\System32\drivers\etc同样修改hosts文件

如果主机名不是hadoop100可通过

echo "hadoop100" > /etc/hostname

来修改，

reboot

重启即可，如不想重启就执行

hostnamectl

并新开一个终端

3. 远程连接

ssh root@主机名

远程连接Linux系统
下载Xshell或者finalshell或者windows终端，本文使用的是windows终端

检查网络是否连接

ping www.csdn.com

4. 安装软件包

yum install -y epel-release

Extra Packages for Enterprise Linux是为“红帽系”的操作系统提供额外的软件包

5. 关闭防火墙及其开机自启

• 关闭防火墙：systemctl stop firewalld
• 关闭开机自启：systemctl disable firewalld.service

6. 添加root权限（后面选择root用户登录的话可以不修改）

• root用户vim /etc/sudoers第91行加上该用户名 ALL=(ALL) NOPASSWD: ALL，由于是只读文件，退出时wq! 或者 将用户usermod -g wheel 该用户名 添加到wheel组中，加上NOPASSWD即可

7. 在/opt 目录下创建文件夹

• 创建文件夹

mkdir /opt/module
mkdir /opt/software

• 修改所有者、所属组（后面选择root用户登录的话可以不修改）

chown ygy:ygy /opt/module
chown ygy:ygy /opt/software

• 最后 ll 查看修改情况

8. 卸载虚拟机自带的openJDK

为什么要卸载openJDK?
是因为现在很多公司都用JDK，开发项目需要统一的标准，而且对于一些一直用JDK，对openJDK不是特别了解的朋友来说，openJDK不用为好，毕竟和官网JDK稍微不太一样，难免在开发中遇到一些问题，这样会大大增加项目的不可控风险

• 先检查虚拟机是否自带了JDK：rpm -qa | grep -i java
• 一键删除操作：rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

解释：
rpm -qa 查询安装的所有rpm软件包
grep -i 忽略大小写
xargs -n1 表示每次只传递一个参数
rpm -e --nodeps 忽略依赖关系强制删除软件

9. 重启虚拟机

# 重启reboot

没有改好就再改，重启到改好为止😤

二、克隆虚拟机

利用模板机hadoop100，克隆三台虚拟机Hadoop102、103、104（选择完整克隆），注意在克隆时要使hadoop100关机

对于每一台虚拟机（按照上面的方法）

1. 修改静态IP地址
2. 修改主机名字
3. 查看/etc/hosts文件内是否写入IP地址及对应的主机名
4. reboot重启后检查主机名是否修改成功、是否ping的通（联网）
5. 挨个远程登录试试看

三、在hadoop102上安装JDK&hadoop

以下操作在root用户下，无需安装包即可下载

1. 安装JDK

• 进入software文件夹 cd /opt/software，执行

wget --no-check-certificate https://repo.huaweicloud.com/java/jdk/8u151-b12/jdk-8u151-linux-x64.tar.gz

• 下载完毕后，解压下载的JDK1.8安装包 tar -zxvf jdk-8u151-linux-x64.tar.gz -C /opt/module/
• 为了方便，重命名 mv jdk1.8.0_151/ java8
• 配置Java环境变量，vim /etc/profile.d/my_env.sh写入

#JAVA_HOMEexportJAVA_HOME=/opt/module/java8
exportPATH=$PATH:$JAVA_HOME/bin

• 刷新当前的shell环境 source /etc/profile
• 最后查看是否成功安装java -version

2. 安装hadoop3.3.6

• 回到/opt/software下载安装包，执行

wget --no-check-certificate https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

• 解压 tar -zxvf hadoop-3.3.6.tar.gz -C /opt/module
• 改名 mv hadoop-3.3.6/ hadoop
• 配置环境变量，进入配置文件vim /etc/profile.d/my_env.sh写入

#HADOOP_HOMEexportHADOOP_HOME=/opt/module/hadoop
exportPATH=$PATH:$HADOOP_HOME/bin
exportPATH=$PATH:$HADOOP_HOME/sbin

• 刷新当前的shell环境 source /etc/profile
• 最后查看是否成功安装hadoop

其中重要目录：

1. bin 目录：存放对 Hadoop 相关服务（ HDFS,YARN）进行操作的脚本
2. etc 目录： Hadoop 的配置文件目录，存放 Hadoop 的配置文件
3. lib 目录：存放 Hadoop 的本地库（对数据进行压缩解压缩功能）
4. sbin 目录：存放启动或停止 Hadoop 相关服务的脚本；share 目录：存放 Hadoop 的依赖 jar 包、 文档和官方案例

总结

模板机一定要按照步骤做好准备，避免遗漏，否则一台一台改超级麻烦。

GNU Wget(常常简称为wget）是一个网络上进行下载的简单而强大的自由软件，其本身也是GNU计划的一部分。它的名字是"World Wide Web" 和 "Get"的结合，同时也隐含了软件的主要功能。目前它支持HTTP、HTTPS，月以及FTP这三个常见的的TCP/IP协议下载。

到这里，你肯定搭建好了hadoop运行环境，磨刀不误砍柴工，终于要开始学习了，下一篇将带来Hadoop的运行模式。