【搭建】hadoop伪分布式平台搭建

hadoop伪分布式平台搭建

.

1. ip a查看ip

2. 拼ip: ping +ip

3. 拼百度: ping www.baidu.com

4. 查看用户名：hostname

5. 修改用户名：hostnamectl set-hostname

6. 禁用防火墙：systemctl stop firewalld.service

7. 禁用selinux：vim /etc/selinux/config

8. SELINUX=disabled

9. 连接Xshell:

10. 配置网关：vi/etc/syscnfig/network-scripts/ifcfg-ens33

更改值：BOOTPROTO=”static“

添加值：DNS1=8.8.8.8

IPADDR=192.168.10.xxx

GATEWAY=192.168.10.2

NETMASK=255.255.255.0

重启静态网关：systemctl restart network

添加hadoop的ip：vi /etc/hosts

免密登录

8．生成密钥，按三次回车：ssh-keygen

9 . 进入目录：cd .ssh

10.生成authorized_keys文件：cat id_rsa.pub >>authorized_keys

11.将hadoop0中的公钥分配给hadoop1和hadoop2

ssh-copy-id hadoop1

ssh-copy-id hadoop2

12.将hadoop1中的公钥分配给hadoop0和hadoop2

ssh-copy-id hadoop0

ssh-copy-id hadoop2

13.将hadoop2中的公钥分配给hadoop0和hadoop1

ssh-copy-idhadoop0和hadoop1.

14.检验有没有成功：ssh Hadoop

用户名变化说明成功

hadoop伪分布搭建

1. 先进入主目录：cd /opt/
2. 再创建两个文件夹：mkdir softvear mkdir module
3. 查看：ls
4. 将镜像包拖入softvear
5. 进入softvear：cd /opt/softvear
6. 解压到module：tar -zxvf 文件名 -C /opt/module/

1. 配置环境变量：vi /etc/profile

2. 

3. 环境变量生效：source /etc/profile

4. 查看jdk和hadoop的版本号

5. gdk：java -version

6. hadoop: hadoop version

7. 进入etc/hadoop目录下：（1）cd /opt/module/hadoop-3.1.3/

(2) 进入：cd etc/

1. Vi hadoop-env.sh

（4）配置hadoop-env.sh添加JAVA_HOME=/opt/hadoop/jdk1.8.0_212

配置四个参数

1. 进入core-site.xml : vi core-site.xml
2. 

配置namenode内部通讯的地址 地址8082，9820都可以

1. 进入Hdfs-site.xml : vi hdfs-site.xml
2. 

访问外部页面的端口

1. 进入yarn-site.xml : vi yarn-site.xml

1. 进入mapred-site.xml : vi mapred-site.xml
2. 

18.添加用户名：vi /opt/hadoop-3.1.3/etc/hadoop/workers

1. 格式化节点：hadoop namenode-format

20.启动hadoop：start-all.sh

21.在浏览器中打开：192.168.10.158：8088

jps查看节点