提前准备:
1.sudo apt install net-tools #安装网络配置工具,为后续免密登录会使用的工具
2.sudo apt install vim #Linux中的编辑工具
3.sudo apt install openssh-server #安装配置ssh服务器的工具
5. ![](https://i-blog.csdnimg.cn/direct/90a40d801b6e40bebb42f6b8dc350fd3.png)
Sudo su #进入管理员模式(输入自己设的密码,不会显示的,输入后按回车)
修改管理员密码
一、修改主机名【分别在三台主机执行,将主机名修改为master,slave1,slave2】
hostnamectl set-hostname master
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2
查看是否修改成功
cat /etc/hostname
二、添加IP与主机名映射【分别在三台主机执行,将主机名修改为master,slave1,slave2】
查看IP地址
ip addr
框内为IP地址
vim /etc/hosts
#添加如下内容
本机ip master
客户机ip slave1
客户机ip slave2
三、配置ssh免密登录
1、修改配置文件
vim /etc/ssh/sshd_config
修改两个配置
PermitRootLogin yes
PasswordAuthentication yes
代码添加的位置哪都行
#重启服务
/etc/init.d/ssh restart
2、 配置免密
#(1)在三台主机中分别生成密钥,一直按回车,不要输入
ssh-keygen -t rsa
#(2)在三台主机中都传输密钥
ssh-copy-id master
密码是修改后的管理员密码
ssh-copy-id slave1
ssh-copy-id slave2
3、测试连接
退出连接使用:logout
ssh master
ssh slave1
ssh slave2
四、配置java环境
1、 上传、解压、重命名安装包,
tar -zxvf jdk-17_linux-x64_bin.tar.gz -C /home/master/Downloads
解压jdk安装包到/home/master/Downloads
mv jdk-17_linux-x64_bin jdk
将jdk-17_linux-x64_bin改名为jdk
2、在/etc/profile中添加环境变量,并使其生效【注意切换为自己的实际路径】
vim /etc/profile
export JAVA_HOME=/home/master/Downloads/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=$PATH:${JAVA_HOME}/bin
source /etc/profile #使配置生效
3、安装成功测试,输入以下命令,出现java版本
java -version
4、在master上分发给其余两台主机,并测试配置是否成功
scp -r jdk slave1:/home/slave1/Downloads/
要去slave1主机上修改成分发后的主机名
#在slave1主机执行
source /etc/profile
java -version
scp -r jdk slave2:/home/slave2/Downloads/
要求如上修改路径
#在slave2主机执行
source /etc/profile
java -version
五、配置zookeeper环境
1、上传安装包到/home/master/Downloads下
2、解压到当前路径
tar -zxvf apache-zookeeper-3.5.5-bin.tar.gz
3、重命名
mv apache-zookeeper-3.5.5-bin zookeeper
4、修改配置文件
打开$ZOOKEEPER_HOME,新建data文件夹,并在conf文件,复制zoo_sample.cfg为zoo.cfg文件,并修改配置参数
cd /home/user/Downloads #打开Downloads文件夹
cd zookeeper #打开zookeeper
mkdir data #创建data文件夹
cd conf
mv zoo_sample.cfg zoo.cfg 修改文件名为zoo.cfg
vim zoo.cfg
修改以下参数
dataDIr=/home/master/Downloads/zookeeper/data
在文件末尾追加以下参数配置
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
5、在data文件夹下新建myid****文件,添加值1
vim myid
1
6、添加系统环境变量配置
vim /etc/profile
export ZOOKEEPER_HOME=/home/master/Downloads/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
source /etc/profile
7、将zookeeper文件夹分发到slave1和slave2中。
scp -r zookeeper slave1:/home/user/Downloads/
scp -r zookeeper slave2:/home/user/Downloads/
同理,要修改主机名,上图红框中修改为分发后的主机名,如:
8、修改zookeeper/data文件夹下myid的值分别为2和3
在slave1主机
cd /home/slave1/Downloads/zookeeper/data
vim myid
2
在slave2主机
cd /home/slave2/Downloads/zookeeper/data
vim myid
3
9、在slave1主机,slave2主机分别使系统环境变量配置生效
分别在两主机上输入
source /etc/profile
10、启动zookeeper
分别在三台主机输入
zkServer.sh start
然后再查看状态(要在三台都启动后再输入)
zkServer.sh status
如果mode为follower或者leader,则表示部署成功。
11、部署成功验证
master显示:
slave1:
slave2:
六、配置hadoop完全分布部署
1、上传
2、解压
tar -zxvf hadoop-3.1.3.tar.gz –C /home/master/Downloads
3、重命名
mv hadoop-3.1.3 hadoop
4、配置系统环境变量
vim /etc/profile
export HADOOP_HOME=/home/master/Downloads/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
5、 修改配置文件($HADOOP_HOME为/home/master/Downloads/hadoop, $JAVA_HOME为/home/master/Downloads/jdk)
(1)在 $HADOOP_HOME/etc/hadoop配置hadoop-env.sh文件【$JAVA_HOME,$HADOOP_HOME换为具体路径】
export JAVA_HOME=$JAVA_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#添加
export HDFS_DATANODE_USER=root
export HADOOP_SECURE_DN_USER=root
export HDFS_NAMENODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
#在进入hdfs中修改hadoop生效用户,原默认为hdfs
vim $HADOOP_HOME/bin/hdfs
修改为”root”
(2)在 $HADOOP_HOME/etc/hadoop配置workers文件【添加datanode部署主机名】
#localhost
master
slave1
slave2
(3) 在 $HADOOP_HOME/etc/hadoop配置core-site.xml文件
<configuration></configuration><property> <name>hadoop.tmp.dir</name> <value>file://home/master/Downloads/hadoop/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property>
(4) 在 $HADOOP_HOME/etc/hadoop配置hdfs-site.xml文件
<configuration></configuration><property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/master/Downloads/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/home/master/Downloads/hadoop/tmp/dfs/data</value> </property>
(5)在 $HADOOP_HOME/etc/hadoop配置yarn-site.xml文件
<configuration></configuration><property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
(6)在 $HADOOP_HOME/etc/hadoop配置mapred-site.xml文件
1、改名mapred-site.xml.template 为mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
2>添加如下内容:
<configuration></configuration><property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>master:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master:19888</value> </property>
(7)在$HADOOP_HOME下创建文件夹
mkdir tmp
mkdir tmp/dfs
mkdir tmp/dfs/name
mkdir tmp/dfs/data
mkdir tmp/dfs/namesecondary
6、将hadoop文件夹,/etc/profile文件分发到slave1,slave2中,并使系统环境配置文件生效
scp -r hadoop slave1:/home/slave1/Downloads/
scp -r hadoop slave2:/home/slave2/Downloads/
scp /etc/profile slave1:/etc/
#x修改配置环境的路径
scp /etc/profile slave2:/etc/
在slave1主机,slave2主机分别使系统环境变量配置生效
source /etc/profile
7、在master主机格式化NameNode
hdfs namenode -format
#不能正常启动需要重新格式化
8、在master主机启动hadoop集群
start-all.sh
9、启动成功验证
master主机:
slave1主机:
slave2主机:
版权归原作者 weixin_58502382 所有, 如有侵权,请联系我们删除。