Linux下Hadoop伪分布式安装及配置步骤

实现hadoop伪分布的配置，提供配置环境的搭建以及安装压缩包。

一、关闭防火墙

关闭防火墙（root用户）
临时：service iptables stop
查看状态：service iptables status

永久：chkconfig iptables off
查看状态：chkconfig --list | grep iptables

二、绑定主机名与ip地址

vim /etc/hosts

（注意使用root用户，自己的ip与主机名，中间空格）

三、设置ssh免密登录

ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证：ssh yourhostname

（一直回车就ok）

测试一下：

（不需要密码，设置成功）

四、安装jdk

参考：http://t.csdnimg.cn/l0dQv

五、安装配置Hadoop

这里网盘地址可下载：

链接：https://pan.baidu.com/s/1wjU-7AuqvVm5oD-4VUyU7g

提取码：gves

（1）上传到Linux后解压安装：

tar -zxvf hadoop-3.3.0.tar.gz

（2）配置hadoop

进入hadoop-3.3.0/etc/hadoop/目录下

cd hadoop-3.3.0/etc/hadoop/

*配置hadoop-env.sh文件

vim hadoop-env.sh

添加内容 （自己的jdk安装路径）

export JAVA_HOME=/home/hadoop/soft/jdk1.8

*配置core-site.xml文件

vim core-site.xml

添加内容

<property> <name>fs.defaultFS</name> <value>hdfs://主机名:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/soft/hadooptmp</value> </property>

（注意创建对应的hadooptmp文件夹：mkdir hadooptmp）

*配置hdfs-site.xml 文件

vim hdfs-site.xml

添加内容

<property> <name>dfs.replication</name> <value>1</value> </property>

*配置mapred-site.xml 文件

vim mapred-site.xml 

添加内容

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

*配置yarn-site.xml文件

vim yarn-site.xml

添加内容

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

六、配置hadoop环境变量

（1）使用root用户

vim /etc/profile

内容：

export HADOOP_HOME=/home/hadoop/soft/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（2）到hadoop安装用户下：

source /etc/profile

（3）格式化hdfs

hadoop namenode -format

（查看hadooptmp目录如下，格式化成功）

七、启动伪分布

start-all.sh 

查看节点：

八、验证hadoop9870、8088端口

192.168.43.41:9870

192.168.43.41:8088

(ip:端口)

HDFS NameNode 对用户的查询端口：9870

Yarn查看任务运行情况的端口：8088