# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
基础集群搭建
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
1.按照左侧虚拟机名称修改对应主机名
在master环境执行
hostnamectl set-hostname master
bash
在slave1环境执行
hostnamectl set-hostname slave1
bash
在slave2环境执行
hostnamectl set-hostname slave2
bash
2.修改云主机host文件添加左侧master、slave1、slave2三个节点IP与主机名映射
(1)在master，slave1，salve2环境执行如下操作
vim /etc/hosts
(2)在hosts文件最后追加如下内容
master本地ip master
slave1本地ip slave1
slave2本地ip slave2
3. 时区更改为上海时间（CST+0800时区）
在master，slave1，salve2环境执行如下操作
timedatectl set-timezone Asia/Shanghai
关闭防火墙，在master，slave1，salve2环境执行如下操作
systemctl stop firewalld
systemctl disable firewalld
关闭三master，slave1，salve2环境的Linux安全机制，在master，slave1，salve2环境执行如下操作
vim /etc/sysconfig/selinux # 将SELINUX=enforcing 改为SELINUX=disabled
4. 环境已经安装NTP，修改master节点NTP配置，设置master为本地时间服务器，屏蔽默认server，服务器层级设为10
在master环境执行如下操作
vim /etc/ntp.conf
在文件最后追加如下内容
server 127.127.1.0
fudge 127.127.1.0 stratum 10
5.开启NTP服务
在master环境执行如下操作
/bin/systemctl restart ntpd.service
6. 添加定时任务–在早十-晚五时间段内每隔半个小时同步一次本地服务器时间（24小时制、使用用户root任务调度crontab，服务器地址使用主机名）
在slave1，slave2环境执行如下命令
ntpdate master
crontab -e
在文件最后追加如下内容
*/30 10-17 * * * usr/sbin/ntpdate master
7. master节点生成公钥文件id_rsa.pub(数字签名RSA，用户root，主机名master)
master环境下执行
ssh-keygen # 三次回车
8. 建⽴master⾃身使⽤root⽤户ssh访问localhost免密登录
master环境下执行
ssh-copy-id localhost
9. 建⽴master使⽤root⽤户到slave1/slave2的ssh免密登录访问
在master环境执行
ssh-copy-id slave1
ssh-copy-id slave2
10.将jdk安装包解压到/usr/java目录
在master，slave1，salve2环境执行如下操作
mkdir /usr/java
tar -zxvf /usr/package277/jdk-8u221-linux-x64.tar.gz -C /usr/java/
11.文件/etc/profile中配置系统环境变量JAVA_HOME
在master,slave1,slave2环境执行如下操作
vim /etc/profile
在文件最后追加如下内容
export JAVA_HOME=/usr/java/jdk1.8.0_221
export CLASSPATH=
J
A
V
A
H
O
M
E
/
l
i
b
/
e
x
p
o
r
t
P
A
T
H
=
JAVA_HOME/lib/ export PATH=
JAVAHOME/lib/exportPATH=PATH:$JAVA_HOME/bin
使环境变量生效
source /etc/profile
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
Zookeeper搭建
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
1.将zookeeper安装包解压到指定路径/usr/zookeeper
在master，slave1，salve2环境执行如下操作
mkdir /usr/zookeeper
tar -zxvf /usr/package277/zookeeper-3.4.14.tar.gz -C /usr/zookeeper/
2.文件/etc/profile中配置系统变量ZOOKEEPER_HOME
在master，slave1，salve2环境执行如下操作
vim /etc/profile
在文件最后追加如下内容
export ZOOKEEPER_HOME=/usr/zookeeper/zookeeper-3.4.14
export PATH=
P
A
T
H
:
PATH:
PATH:ZOOKEEPER_HOME/bin
使环境变量生效
source /etc/profile
3. Zookeeper的默认配置文件为Zookeeper安装路径下conf/zoo_sample.cfg
在master，slave1，salve2环境执行如下操作
cd /usr/zookeeper/zookeeper-3.4.14/conf
mv zoo_sample.cfg zoo.cfg
4. 设置数据存储路径(dataDir)为/usr/zookeeper/zookeeper-3.4.14/zkdata
5. 设置日志文件路径(dataLogDir)为/usr/zookeeper/zookeeper-3.4.14/zkdatalog
6. 设置集群列表（要求master为1号服务器，slave1为2号服务器，slave2为3号服务器）
7. 创建所需数据存储文件夹、日志存储文件夹
4,5,6,7题如下
在master，slave1，salve2环境执行如下操作
cd /usr/zookeeper/zookeeper-3.4.14/
mkdir zkdata zkdatalog
cd /usr/zookeeper/zookeeper-3.4.14/conf
vim zoo.cfg
将dataDir字段的值修改为如下
dataDir=/usr/zookeeper/zookeeper-3.4.14/zkdata
将dataLogDir字段的值修改为如下
dataLogDir=/usr/zookeeper/zookeeper-3.4.14/zkdatalog
在文件最后追加如下内容
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
8. 数据存储路径下创建myid，写入对应的标识主机服务器序号
在master环境执行如下操作
cd /usr/zookeeper/zookeeper-3.4.14/zkdata
echo 1 >> myid
在slave1环境执行如下操作
cd /usr/zookeeper/zookeeper-3.4.14/zkdata
echo 2 >> myid
在slave2环境执行如下操作
cd /usr/zookeeper/zookeeper-3.4.14/zkdata
echo 3 >> myid
9. 启动服务，查看进程QuorumPeerMain是否存在
在master，slave1，salve2环境执行如下操作
zkServer.sh start
jps
10.查看各节点服务器角色是否正常
在master，slave1，salve2环境执行如下操作
zkServer.sh status
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
hadoop集群搭建
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
1. 将Hadoop安装包解压到指定路径/usr/hadoop
在master，slave1，salve2环境执行如下操作
mkdir /usr/hadoop
tar -zxvf /usr/package277/hadoop-2.7.7.tar.gz -C /usr/hadoop/
2. 文件/etc/profile中配置环境变量HADOOP_HOME
在master，slave1，salve2环境执行如下操作
vim /etc/profile
在文件最后追加如下内容
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
export CLASSPATH=
C
L
A
S
S
P
A
T
H
:
CLASSPATH:
CLASSPATH:HADOOP_HOME/lib
export PATH=
P
A
T
H
:
PATH:
PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin
使环境变量生效
source /etc/profile
3. 配置Hadoop运行环境JAVA_HOME
在master，slave1，salve2环境执行如下操作
cd /usr/hadoop/hadoop-2.7.7/etc/hadoop
vim hadoop-env.sh
在文件最后追加如下内容
export JAVA_HOME=/usr/java/jdk1.8.0_221
4. 设置全局参数，指定HDFS上NameNode地址为master,端口默认为9000
5. 指定临时存储目录为本地/root/hadoopData/tmp
4,5题如下，在master，slave1，salve2环境执行如下操作
vim core-site.xml
在configuration标签里加入如下内容：
fs.default.name hdfs://master:9000 hadoop.tmp.dir /root/hadoopData/tmp
6. 设置HDFS参数，指定备份文本数量为2
7. 设置HDFS参数，指定NN存放元数据信息路径为本地/root/hadoopData/name
8. 设置HDFS参数，关闭hadoop集群权限校验
6，7，8题如下，在master，slave1，salve2环境执行如下操作
vim hdfs-site.xml
在configuration标签里加入如下内容：
dfs.replication 2
dfs.namenode.name.dir /root/hadoopData/name
dfs.datanode.data.dir /root/hadoopData/data
dfs.permissions false dfs.datanode.use.datanode.hostname true
9. 设置YARN运行环境JAVA_HOME参数
在master，slave1，salve2环境执行如下操作
vim yarn-env.sh
在文件最后追加如下内容
export JAVA_HOME=/usr/java/jdk1.8.0_221
10.设置YARN核心参数，指定ResourceManager进程所在主机为master，端口为18141
在master，slave1，salve2环境执行如下操作
vim yarn-site.xml
在configuration标签里加入如下内容：
yarn.resourcemanager.admin.address master:18141 yarn.nodemanager.auxservices.mapreduce.shuffle.class org.apache.hadoop.mapred.shuffleHandler yarn.nodemanager.aux-services mapreduce_shuffle
11. 设置计算框架参数，指定MR运行在yarn上
在master，slave1，salve2环境执行如下操作
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
在configuration标签里加入如下内容：
mapreduce.framework.name yarn
12. 设置节点文件，要求master为主节点； slave1、slave2为子节点
在master，slave1，salve2环境执行如下操作
cd /usr/hadoop/hadoop-2.7.7/etc/hadoop
vim master
在文件最后追加如下内容：
master
保存退出，继续执行如下操作：
vim slaves
在文件最后追加如下内容：(清空slaves文件中原有内容)
slave1
slave2
保存退出
13. 对文件系统进行格式化
在master环境执行如下操作
cd /usr/hadoop/hadoop-2.7.7
hadoop namenode -format
14. 启动Hadoop集群查看各节点服务
在master，slave1，salve2环境执行如下操作
sbin/start-all.sh # 在交互界面输入yes
15. 查看集群运行状态是否正常
在master环境执行如下操作
jps
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
Hive搭建
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
1. 环境中已经安装mysql-community-server，关闭mysql开机自启服务
在slave2环境执行如下操作
systemctl disable mysqld
2. 开启MySQL服务
在slave2环境执行如下操作
systemctl start mysqld
3. 判断mysqld.log日志下是否生成初临时密码
在slave2环境执行如下操作
grep “temporary password” /var/log/mysqld.log # 观察初始密码并复制下来
4. 设置mysql数据库本地root用户密码为123456
在slave2环境执行如下操作
mysql -uroot -p # 此处输入上个命令的输出最后的一串初始密码
继续执行如下操作：
set global validate_password_policy=0;
set global validate_password_length=4;
alter user root@localhost identified by ‘123456’;
\q退出数据库并使用新密码登陆数据库
mysql -uroot -p # 输入123456
create user ‘root’@‘%’ identified by ‘123456’;
GRANT ALL PRIVILEGES ON . TO ‘root’@‘%’ IDENTIFIED BY ‘123456’ WITH GRANT OPTION;
flush privileges;
\q退出数据库
1. 将Hive安装包解压到指定路径/usr/hive
在master，slave1执行如下操作
mkdir /usr/hive
tar -zxvf /usr/package277/apache-hive-2.3.4-bin.tar.gz -C /usr/hive/
2. 文件/etc/profile中配置环境变量HIVE_HOME
在master，slave1执行如下操作
vim /etc/profile
在文件最后追加如下内容
export HIVE_HOME=/usr/hive/apache-hive-2.3.4-bin
export PATH=
P
A
T
H
:
PATH:
PATH:HIVE_HOME/bin
使环境变量生效
source /etc/profile
3. 修改HIVE运行环境，配置Hadoop安装路径HADOOP_HOME
4. 修改HIVE运行环境，配置Hive配置文件存放路径HIVE_CONF_DIR
5. 修改HIVE运行环境，配置Hive运行资源库路径HIVE_AUX_JARS_PATH
3，4，5题在master，slave1执行如下操作
cd /usr/hive/apache-hive-2.3.4-bin/conf/
mv hive-env.sh.template hive-env.sh
vim hive-env.sh
在文件最后追加如下内容
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.7
export HIVE_CONF_DIR=/usr/hive/apache-hive-2.3.4-bin/conf
export HIVE_AUX_JARS_PATH=/usr/hive/apache-hive-2.3.4-bin/lib
6.解决jline的版本冲突
在master，slave1执行如下操作
cp /usr/hive/apache-hive-2.3.4-bin/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.7/share/hadoop/yarn/lib/
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
1. 驱动JDBC拷贝至hive安装目录对应lib下
在slave1环境下执行
cp /usr/package277/mysql-connector-java-5.1.47-bin.jar /usr/hive/apache-hive-2.3.4-bin/lib/
2. 配置元数据数据存储位置为/user/hive_remote/warehouse
3. 配置数据库连接为MySQL
4. 配置连接JDBC的URL地址主机名及默认端口号3306
5. 配置数据库连接用户
6. 配置数据库连接密码
在slave1环境下执行
vim hive-site.xml
在文件中加入如下内容
hive.metastore.warehouse.dir /user/hive_remote/warehouse
javax.jdo.option.ConnectionURL jdbc:mysql://slave2:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false JDBC connect string for a JDBC metastore
javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName root
javax.jdo.option.ConnectionPassword 123456 hive.metastore.schema.verification false datanucleus.schema.autoCreateALL true
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
1. 配置元数据存储位置为/user/hive_remote/warehouse
2. 关闭本地metastore模式（1分）
3.配置指向metastore服务的主机为slave1，端口为9083
在master环境执行如下操作
vim hive-site.xml
在文件中加入如下内容
hive.metastore.warehouse.dir /user/hive_remote/warehouse
hive.metastore.local false
hive.metastore.uris thrift://slave1:9083
# # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # #
1. 服务器端初始化数据库，启动metastore服务
在slave1环境下执行
schematool -dbType mysql -initSchema
2. 客户端开启进入hive，创建hive数据库
在slave1环境下执行
cd /usr/hive/apache-hive-2.3.4-bin
bin/hive --service metastore
在master环境执行
bin/hive
create database hive;
版权归原作者 朴拙数科 所有， 如有侵权，请联系我们删除。