一 linux 环境的搭建
由于笔者这里使用的是vmware 虚拟机 采用centos7 linux 操作系统进行搭建，所以一下示例均以centos7进行示例
1. 搭建vmware 虚拟机
（1）创建好虚拟机后采用linux ISO镜像文件启动安装centos7操作系统（其它方式也可以）
（2）完成之后设置网络模式，笔者采用桥接模式进行设置
首先需要查看本机也就是宿主机的IP 地址以及网关，运行CMD命令进入DOS命令行窗口
输入ipconfig 记下宿主机的默认网关
打开vmware 网络适配器进行如下设置
设置网卡IP地址以及DNS
vi /etc/sysconfig/network-scripts/ifcfg-ens33进行如下配置
BOOTPROTO=static
ONBOOT=yes
IPADDR=你的IP地址
NETMASK=255.255.255.0
GETWAY=宿主机的网关地址
DNS1和DNS2
设置完成保存 进行重启网络服务
重启之后可以使用IPADDR 查看配置是否生效
设置主机名
首先查看主机名
笔者这里已经设置过了，未设置 hostname 应该是localhost
设置主机名
设置完成之后进行检查查看
设置hosts ip地址与主机名映射
vi /etc/hosts
关闭防火墙
禁用防火墙服务
关闭之后可以查看防火墙状态进行检查
进行selinux 安全设置
** vi /etc/selinux/config 命令进行编辑 设置SELINUX=disabled**
设置完成之后 输入命令reboot 进行重启，那么初始设置就设置好了
二 安装JDK 运行环境
由于Hadoop 依赖于JDK运行环境，笔者这里采用的是hadoop3.3.4版本，支持JDK11，所以笔者安装的也是JDK11 版本
- 上传JDK 安装包至虚拟机后进行解压缩
进入解压缩后的JDK目录 pwd 进行复制安装目录
进行环境变量设置
在文件末尾追加如下内容 后退出保存
source /etc/profile 使环境变量设置生效
4.使用java -version java javac 命令检查JDK 是否安装成功
二 安装Hadoop
- 上传好Hdoop 安装包之后进行解压缩
- 进入hadoop 安装目录pwd 复制安装目录地址
- 设置环境变量
打开之后追加如下内容
保存关闭后使用命令 source /etc/profile 使环境变量配置生效
- 进入/usr/local mkdir 创建目录hadoop （此目录用于存储namenode secondnamenode 快照文件）后面需要使用进行配置
至此为止hadoop 安装完成
三 配置hadoop 伪分布式集群
1. 设置Hadoop 核心配置文件
进入Hadoop文件设置目录
其中有如下文件需要进行配置
- core-site.xml
(这里的属性hadoop.tmp.dir 就是你的hadoop namenode 快照存储位置)
- mapred-site.xml
- hdfs-site.xml
HDFS 会以128M为单位将上传的文件进行切分为若干个block 存储在不同的datanode中，由于为了在不可靠的机器上进行提供可靠的服务，所以采用多副本机制进行存储。 HDFS 副本数如果不进行设置则默认为3
(这里笔者关闭了hdfs的权限认证)
4.yarn-site.xml
- hadoop-env.sh （运行环境配置）
添加安装好的JDK目录 进入hadoop 运行环境配置
- 添加主机名至works 文件
2. 添加用户配置信息
- 进入hadoop sbin目录
- 编辑如下内容进入以下文件
**(1) start-all.sh (2) stop-all.sh (3)start-dfs.sh (4) stop-dfs.sh (5) start-yarn.sh (6) stop-yarn.sh **
在这里以start-all.sh 为例：
3. 初始化HDFS 文件系统
如果是第一次安装使用Hadoop那么在启动之前需要出示话HDFS文件系统
看到如下信息则初始化完成
- 设置SSH免密登录
由于Hdoop namenode 与datanode 内部通讯协议采用RPC协议，则需要进行设置SSH免密登录
这里笔者采用RSA 对称加密算法
- 创建密钥
- 添加密钥进本机
4. 启动hadoop
使用JPS 查看是否启动成功
至此为止hadoop 伪分布式集群搭建完成
由于笔者是第一次进行编写，如有什么地方写的有遗漏欢迎指出进行更新改进
谢谢！
版权归原作者 missdanlan 所有， 如有侵权，请联系我们删除。