Hadoop的搭建流程

文章目录

一、配置IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=“dbcp” 修改为 BOOTPROTO=“static”

IPADDR="192.168.187.128"NETMASK="255.255.255.0"GATEWAY="192.168.187.2"DNS1="114.114.114.114"DNS2="8.8.8.8"

systemctl restart network  #重启网卡

二、配置主机名

vi /etc/hostname

三、配置主机映射

vi /etc/hosts

修改完重启一下：reboot

四、关闭防火墙

systemctl stop firewalld

五、配置免密

ssh-keygen -t rsa   #生成公钥和私钥
ssh-copy-id node01    #将公钥传递给你想免密登录的电脑,比如node01，也可以传给自己

六、安装jdk

1、第一步：

mkdir-p /opt/modules     --以后存放安装包
mkdir-p /opt/installs    --以后存放解压后的软件

2、第二步：

tar-zxvf jdk-8u321-linux-x64.tar.gz -C /opt/installs  //解压
进入文件夹 cd /opt/installs
进行重命名 mv jdk1.8.0_171 jdk

3、第三步：

vi /etc/profile
exportJAVA_HOME=/opt/installs/jdk
exportPATH=$PATH:$JAVA_HOME/bin

在文件的最后追加，不要删除别人的任何配置。

4、第四步：

source /etc/profile

5、第五步：

java-version

七、安装hadoop

1、上传

2、解压

tar-zxvf hadoop-3.3.1.tar.gz -C /opt/installs/

3、重命名

cd /opt/installs/
   mv hadoop-3.3.1 hadoop

4、开始配置环境变量

vi /etc/profile
exportJAVA_HOME=/opt/installs/jdk
exportHADOOP_HOME=/opt/installs/hadoop
exportPATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5、刷新配置文件

source /etc/profile

6、验证hadoop命令是否可以识别

   hadoop version

八、全分布搭建

环境准备⼯作：
1、安装了jdk
2、设置host映射
3、免密登录
4、第一台安装了hadoop
5、关闭了防⽕墙
systemctl status firewalld
6、修改linux的⼀个安全机制
vi /etc/selinux/config
修改⾥⾯的 SELINUX=disabled

7、修改配置文件core-site.xml

路径：/opt/installs/hadoop/etc/hadoop/core-site.xml

<configuration><!--hdfs的配置--><!-- 设置namenode节点 --><!-- 注意: hadoop1.x时代默认端⼝9000 hadoop2.x时代默认端⼝8020 hadoop3.x时 代默认端⼝ 9820 --><property><name>fs.defaultFS</name><value>hdfs://node01:9820</value></property><!-- hdfs的基础路径，被其他属性所依赖的⼀个基础路径 --><property><name>hadoop.tmp.dir</name><value>/opt/installs/hadoop/tmp</value></property></configuration>

8、修改配置文件hdfs-site.xml

路径：/opt/installs/hadoop/etc/hadoop/hdfs-site.xml

<configuration><!--hdfs的配置--><property><name>dfs.replication</name><value>3</value></property><!--secondarynamenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 --><property><name>dfs.namenode.secondary.http-address</name><value>node02:9868</value></property><!-- namenode守护进程的http地址：主机名和端⼝号。参考守护进程布局 --><property><name>dfs.namenode.http-address</name><value>node01:9870</value></property></configuration>

9、修改配置文件hadoop-env.sh

路径：/opt/installs/hadoop/etc/hadoop/hadoop-env.sh

exportJAVA_HOME=/opt/installs/jdk
<-- Hadoop3中，需要添加如下配置，设置启动集群⻆⾊的⽤户是谁-->exportHDFS_NAMENODE_USER=root
exportHDFS_DATANODE_USER=root
exportHDFS_SECONDARYNAMENODE_USER=root
exportYARN_RESOURCEMANAGER_USER=root
exportYARN_NODEMANAGER_USER=root

10、修改配置文件workers

路径：/opt/installs/hadoop/etc/hadoop/workers

node01
node02
node03

11、修改完了第一台的配置文件，开始分发到其他两台上去。

xsync.sh /opt/installs/hadoop

12、拷贝环境变量：

xsync.sh /etc/profile

刷新环境变量

source /etc/profile

13、在主节点 格式化namenode

hdfs namenode -format

14、只在第一台启动hdfs
start-dfs.sh

九、启动后的jps进程：

节点进程：
node01
NameNode，DataNode
node02
SecondaryNameNode，DataNode
node03
DataNode