记录：303
场景：在CentOS 7.9操作系统上，离线安装CM6.3.1和CDH6.3.2大数据平台。主要内容：配置集群基础环境、安装MySQL数据库、配置本地yum源、配置NTP校时、安装CM和CDH基础依赖包、安装CM和CDH。
名词：
Hadoop：是一个由Apache基金会开发的分布式系统基础架构。
CM：Cloudera Manager简称，Cloudera公司开发的一款大数据集群安装部署工具。
CDH：Cloudera’s Distribution Including Apache Hadoop简称，Cloudera 公司构建的Hadoop稳定发行版。
1.平台环境规划
使用5台CentOS 7.9操作系统机器，离线安装CM6.3.1和CDH6.3.2大数据平台。
1.1机器规划
5台机器组成集群部署大数据平台。
每台机器基础配置：内存4GB，硬盘50GB。
1.2安装包清单
1.2.1操作系统iso包
操作系统安装包：CentOS-7-x86_64-DVD-2009.iso
本地镜像yum源包：CentOS-7-x86_64-Everything-2009.iso
下载地址：https://developer.aliyun.com/mirror/
1.2.2 JDK包
JDK包：jdk-8u281-linux-x64.tar.gz
下载地址：https://www.oracle.com/java/technologies/downloads/archive/
1.2.3 MySQL包
MySQL包：mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz
MySQL驱动包：mysql-connector-java-5.1.49.jar
下载地址：https://downloads.mysql.com/archives/community/
1.2.4 CM和CDH包
CM包：
allkeys.asc
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
CDH包：
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256
manifest.json
下载地址：在本文的第一条评论。
2.配置集群基础环境(5台机器)
准备5台机器，基础配置一样。
2.1基础规划
集群由5台机器构成，每台机器，内存：4GB；磁盘：50GB；操作系统：CentOS 7.9。
机器名称：B151、B152、B153、B154、B155。
2.2配置网络信息(设置静态IP)
机器：B151、B152、B153、B154、B155，都使用静态IP,需修改并确认配置。
2.2.1查看静态IP配置信息
查看指令：cat /etc/sysconfig/network-scripts/ifcfg-ens33
2.2.2修改静态IP配置信息
修改指令：vi /etc/sysconfig/network-scripts/ifcfg-ens33
2.2.3机器对应的静态IP详细信息
B151机器静态IP信息：
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.151
GATEWAY=192.168.19.2
DNS1=192.168.19.2
B152机器静态IP信息：
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.152
GATEWAY=192.168.19.2
DNS1=192.168.19.2
B153机器静态IP信息：
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.153
GATEWAY=192.168.19.2
DNS1=192.168.19.2
B154机器静态IP信息：
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.154
GATEWAY=192.168.19.2
DNS1=192.168.19.2
B155机器静态IP信息：
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.155
GATEWAY=192.168.19.2
DNS1=192.168.19.2
2.2.4重启网络
重启指令：systemctl restart network.service
2****.****3安装JDK
2.3.1上传jdk包
安装包上传到目录：/home/apps/software
版本：jdk-8u281-linux-x64.tar.gz
JDK安装目录：/home/apps/module/jdk1.8.0_281
2.3.2安装JDK
安装指令：
tar -zxvf /home/apps/software/jdk-8u281-linux-x64.tar.gz -C /home/apps/module/
其中，-C 指定安装在某个目录。
2.3.3配置JDK环境变量
查看指令：cat /etc/profile
修改指令：vi /etc/profile
修改内容，新增如下：
export JAVA_HOME=/home/apps/module/jdk1.8.0_281
export PATH=$PATH:$JAVA_HOME/bin
2.3.4配置生效
生效指令：source /etc/profile
2.3.5配置Java安装目录软链接
配置Java安装目录软链接，CM等启动时会读取此目录。
创建目录指令：mkdir -p /usr/java
软连接指令：
ln -s /home/apps/module/jdk1.8.0_281 /usr/java/default
查看软链接指令：ll /usr/java/
2****.4设置主机名****
2.4.1查看主机名
查看指令：hostnamectl
2.4.2修改主机名
B151机器：hostnamectl set-hostname hadoop151
B152机器：hostnamectl set-hostname hadoop152
B153机器：hostnamectl set-hostname hadoop153
B154机器：hostnamectl set-hostname hadoop154
B155机器：hostnamectl set-hostname hadoop155
2.5****设置hosts文件域名
2.5.1查看配置
查看指令：cat /etc/hosts
2.5.2新增配置
修改指令：vi /etc/hosts
修改内容：
192.168.19.151 hadoop151
192.168.19.152 hadoop152
192.168.19.153 hadoop153
192.168.19.154 hadoop154
192.168.19.155 hadoop155
2.4.3验证配置
无需重启，立即生效。
验证指令：ping hadoop152
2****.6关闭SELinux****
2.6.1查看配置
查看指令：cat /etc/selinux/config
2.6.2修改配置
修改指令：vi /etc/selinux/config
修改内容：把SELINUX=enforcing改成SELINUX=disabled
2****.7关闭防火墙****
2.7.1查看防火墙状态
查看防火墙状态指令：systemctl status firewalld
2.7.2关闭防火墙
关闭防火墙指令：systemctl stop firewalld
2.7.3设置开机禁用防火墙
设置开机禁用防火墙：systemctl disable firewalld
2****.8配置SSH免密登录(root用户)****
免密要求：服务器双向免密登录。
2.8.1配置B151的免密登录
在B151主机操作。
2.8.1.1生成公钥和秘钥
公钥和秘钥生成指令：ssh-keygen -t rsa
连续3次回车。
2.8.1.2配置免密登录其它机器
需输入一次密码。
免密到B151：ssh-copy-id hadoop151
免密到B152：ssh-copy-id hadoop152
免密到B153：ssh-copy-id hadoop153
免密到B154：ssh-copy-id hadoop154
免密到B155：ssh-copy-id hadoop155
2.8.1.3公钥和秘钥信息说明
2.8.1.3.1公钥和秘钥生成目录信息
公钥和秘钥生成目录：/root/.ssh/
秘钥文件：id_rsa；
公钥文件：id_rsa.pub。
2.8.1.3.2目标机器生成authorized_keys
B151免密登录B152，则在B152生成authorized_keys文件信息。
目录：cd /root/.ssh/
文件名：authorized_keys
2.8.2配置其它机器的免密登录
按照配置B151的免密登录，配置B152、B153、B154、B155免密登录。
2.8.3验证免密登录
B151登录B152.
登录指令：ssh root@hadoop152
2****.9配置MySQL的驱动包****
CM和CDH在部署和应用时会到指定目录读取MySQL驱动包。
2.9.1上传MySQL驱动包
MySQL驱动包：mysql-connector-java-5.1.49.jar
上传目录：/home/apps/software/
2.9.2把MySQL驱动包存放到指定目录
创建目录：mkdir -p /usr/share/java/
复制指令：
cp /home/apps/software/mysql-connector-java-5.1.49.jar /usr/share/java/mysql-connector-java.jar
查看指令：ll /usr/share/java/
2.9.3配置其它节点驱动包
(1)在其它机器创建指定目录。
创建指令：mkdir -p /usr/share/java/
(2)在B151机器操作，使用scp复制MySQL驱动包到其它节点目录。
分发到B152指令：
scp /usr/share/java/mysql-connector-java.jar root@hadoop152:/usr/share/java/mysql-connector-java.jar
其它节点，按照此格式分发，只需修改目标主机的主机名。
2.10修改系统内核参数
2.10.1设置swappiness
设置swappiness，控制运行时内存的相对权重，Cloudera建议将交换空间设置为10，过多的交换空间会引起GC耗时的激增。
(1)查看swappiness
永久设置查看指令：cat /etc/sysctl.conf
(2)永久设置swappiness
永久设置指令：
echo vm.swappiness = 10 >> /etc/sysctl.conf
2.10.2关闭透明大页面transparent_hugepage
(1)查看透明大页面
查看指令1：cat /sys/kernel/mm/transparent_hugepage/enabled
查看指令2：cat /sys/kernel/mm/transparent_hugepage/defrag
(2)永久关闭透明大页面
查看指令：cat /etc/rc.d/rc.local
编辑指令：vi /etc/rc.d/rc.local
修改内容：
if test -f /sys/kernel/mm/transparent_hugepage/enabled;
then echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag;
then echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
(3)配置rc.local脚本为可执行
赋权指令：chmod +x /etc/rc.d/rc.local
(4)配置其它节点永久关闭透明大页
使用scp把rc.local脚本分发到其它节点
分发到B152指令：
scp /etc/rc.d/rc.local root@hadoop152:/etc/rc.d/rc.local
其它节点，按照此格式分发，只需修改目标主机的主机名。
2.10.3设置最大文件句柄数
(1)查看最大文件句柄数
查看最大文件句柄数指令：ulimit -n
查看最大文件句柄数指令：cat /etc/security/limits.conf
(2)修改最大文件句柄数
修改指令：vi /etc/security/limits.conf
修改内容：
* soft nofile 102400
* hard nofile 102400
其中，*代表匹配所有。
(3)使用scp把limits.conf脚本分发到其它节点
分发到B152指令：
scp /etc/security/limits.conf root@hadoop152:/etc/security/limits.conf
其它节点，按照此格式分发，只需修改目标主机的主机名。
2.11****配置离线本地镜像(本地yum源)
2.11.1直接使用iso镜像制作离线本地镜像(本地yum源)
镜像源作用范围：只能在机器B151使用。
目的：为了安装httpd服务和createrepo服务。
2.11.1.1上传iso镜像到指定目录
创建目录指令：/home/apps/software/local_iso
使用Xftp把CentOS-7-x86_64-Everything-2009.iso上传到local_iso目录。
2.11.1.2创建需要挂载镜像的目录
创建挂载目录指令：mkdir /mnt/local_iso
2.11.1.3挂载镜像到指定目录
挂载镜像指令：
mount -o loop /home/apps/software/local_iso/CentOS-7-x86_64-Everything-2009.iso /mnt/local_iso/
2.11.1.4创建本地yum源配置文件
创建本地yum源配置文件local_iso.repo。
新建指令：vi /etc/yum.repos.d/local_iso.repo
新增本地yum内容：
[local_iso]
name=CentOS7Iso
baseurl=file:///mnt/local_iso
enabled=1
gpgcheck=0
2.11.1.5刷新yum源
刷新指令：yum clean all && yum makecache
2.11.2基于httpd使用iso镜像制作离线本地镜像(本地yum源)
镜像源作用范围：集群每台机器。
目的：为了集群安装NTP校时、CM和CDH依赖的第三方安装包、以及安装过程中缺少的各类包。
2.11.2.1安装httpd和createrepo
安装指令：yum -y install httpd createrepo
2.11.2.2启动httpd服务和设置开机启动
启动指令：systemctl start httpd
开机自启动指令：systemctl enable httpd
查看httpd启动状态指令：systemctl status httpd.service
2.11.2.3安装httpd后生成服务目录
httpd服务目录：cd /var/www/html/
2.11.2.4卸载镜像
卸载/mnt/local_iso/挂载的镜像，后续使用挂载到httpd目录下的镜像。
卸载镜像指令：umount /mnt/local_iso/
2.11.2.5创建httpd挂载镜像的目录
创建目录指令：
mkdir -p /var/www/html/local_iso
2.11.2.6挂载镜像到httpd目录下
在httpd目录/var/www/html/local_iso挂载镜像
挂载镜像指令：
mount -o loop /home/apps/software/local_iso/CentOS-7-x86_64-Everything-2009.iso /var/www/html/local_iso
2.11.2.7查看httpd发布的服务
在浏览器查看httpd发布的服务，验证服务成功。
查看地址：http://192.168.19.151/local_iso/
2.11.2.8创建httpd本地的yum源配置文件
操作目录：cd /etc/yum.repos.d
新建文件名：vi /etc/yum.repos.d/httpd_local_iso.repo
添加内容：
[httpd-local-iso]
name=httpdLocalIso
baseurl=http://192.168.19.151/local_iso
enabled=1
gpgcheck=0
2.11.2.9刷新yum源
刷新指令：yum clean all && yum makecache
2.11.2.10分发yum源配置文件到其它机器
分发到B152指令：
scp /etc/yum.repos.d/httpd_local_iso.repo root@hadoop152:/etc/yum.repos.d/httpd_local_iso.repo
其它节点，按照此格式分发，只需修改目标主机的主机名。
2.11.2.11刷新yum源
刷新指令：yum clean all && yum makecache
2.11.2.12设置开机自动挂载镜像
2.11.2.12.1需设置开机自动挂载镜像原因
使用mount命令把iso镜像挂载到/var/www/html/local_iso目录，但是，开机重启后，挂载已经被清空，导致yum指令无法使用。因此，需设置开机自动挂载。
2.11.2.12.2挂载命令加入到自启动配置
把挂载命令加入到自启动配置文件：/etc/rc.d/rc.local中。
修改指令：vi /etc/rc.d/rc.local
修改内容：
mount -o loop /home/apps/software/local_iso/CentOS-7-x86_64-Everything-2009.iso /var/www/html/local_iso
2.11.2.12.3重启系统验证
重启系统，可以看到iso镜像已经挂载到/var/www/html/local_iso，那么yum命令就可以正常使用。
2.12配置NTP
集群配置NTP，以B151为服务端，集群中其它机器使用NTP同步B151时间，达到集群时间一致。
2.12.1修改时区为本地时区
修改指令：
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
2.12.2安装NTP
安装指令：yum -y install ntp
2.12.3配置NTP主节点
2.12.3.1查看配置
查看指令：cat /etc/ntp.conf
2.12.3.2修改配置
操作指令：vi /etc/ntp.conf
编辑内容包括注释掉和新增。
注释掉部分：
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
新增部分：
server 127.127.1.0
fudge 127.127.1.0 stratum 10
2.12.4配置从节点(其它节点)
从节点配置是一致的，配置一台后，建议使用scp远程拷贝完成其它机器配置。
2.12.4.1查看配置
查看指令：cat /etc/ntp.conf
2.12.4.2修改配置指令
操作指令：vi /etc/ntp.conf
编辑内容包括注释掉和新增。
注释掉部分：
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
新增部分：
server 192.168.19.151
fudge 192.168.19.151 stratum 10
2.12.5操作NTP常用指令
启动指令：service ntpd start
重启指令：service ntpd restart
停止指令：service ntpd stop
开机自启动指令：systemctl enable ntpd.service
查看服务状态指令：systemctl status ntpd.service
2.12.6查看ntp服务
(1)查看当前节点同步的时间服务器。
查看指令：ntpq -p
(2)查看节点与时间同步服务器的偏差时间
查看指令：ntpdc -c loopinfo
(3)查看ntp状态
查看指令：ntpstat
2****.13第三方依赖包****
安装第三方依赖包，为了避免安装过程出现异常。
2.13.1安装CM和CDH基础环境依赖包
安装指令：
yum -y install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt
2.13.2配置rpcbind开机启动
2.13.2.1启动指令
启动指令：systemctl start rpcbind
2.13.2.2配置开机启动
配置指令：
echo 'systemctl start rpcbind' >> /etc/rc.d/rc.local
配置可执行指令：
chmod +x /etc/rc.d/rc.local
2.13.3安装perl
本例的CentOS 7.9的Minimal版，缺少perl，需安装。
安装指令：yum -y install perl
3.安装MySQL
在B154安装MySQL，支撑CM和CDH。
3.1 MySQL安装说明
安装包：mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz
JDBC驱动包：mysql-connector-java-5.1.49.jar
安装方式：使用tar命令方式安装MySQL。
安装目录：/home/apps/module/mysql
3.2卸载自带Mariadb和已安装MySQL(root用户)
3.2.1卸载系统自带mariadb
3.2.1.1查找mariadb
查找指令rpm方式：rpm -qa|grep mariadb
查找指令yum方式：yum list installed | grep mariadb
查出结果：mariadb-libs-5.5.68-1.el7.x86_64
3.2.1.2卸载mariadb
卸载指令：rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64
3.2.1.3删除mariadb的my.cnf配置
删除指令：rm -rf /etc/my.cnf
3.2.2卸载已经安装的MySQL
3.2.2.1查找已安装MySQL
查找指令rpm方式：rpm -qa|grep mysql
查找指令yum方式：yum list installed | grep mysql
3.2.2.2使用find和whereis查找
find查看指令：find / -name mysql
whereis查看指令：whereis mysql
3.2.2.3删除相关文件
删除指令：rm -rf /etc/selinux/targeted/active/modules/100/mysql
删除指令：rm -rf /usr/lib64/mysql
3.3创建用户名和用户组
本例规划，用户组：dmysql；用户名：dmysql。
创建用户组指令：groupadd dmysql
创建用户名指令：useradd -g dmysql dmysql -d /home/dmysql
修改登录密码格式：passwd 用户名 密码
修改登录密码指令：passwd dmysql 12345678
3.4安装MySQL
3.4.1上传安装包(root用户)
安装包存放目录：/home/apps/module/
3.4.2解压安装包(root用户)
操作目录：/home/apps/module
解压指令：
tar -zxvf mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz
注意：使用.tar.gz包是免安装版本，直接配置即可。
3.4.3重命名安装目录(root用户)
重命名：mv mysql-5.7.36-linux-glibc2.12-x86_64 mysql
重命名后MySQL安装目录：/home/apps/module/mysql
3.4.4更改安装目录所有权(root用户)
更改安装目录所有权：
chown -R dmysql:dmysql /home/apps/module/mysql
权限修改：chmod -R 755 /home/apps/module/mysql
3.4.5修改MySQL配置文件(root用户)
编辑文件指令：vi /etc/my.cnf
修改内容：
[mysql]
default-character-set=utf8
[mysqld]
port=3306
basedir=/home/apps/module/mysql
datadir=/home/apps/module/mysql/data
max_connections=5000
character-set-server=utf8
default-storage-engine=INNODB
default-time_zone='+8:00'
lower_case_table_names=1
3.4.6初始化MySQL配置(dmysql用户)
操作目录：cd /home/apps/module/mysql/bin
3.4.6.1执行初始化指令
初始化指令：
./mysqld --initialize --user=dmysql --datadir=/home/apps/module/mysql/data --basedir=/home/apps/module/mysql
3.4.6.2生成初始化密码
初始化密码：bnY!fmwfF8-o
在首次登录是需要使用初始化生成的密码。
3.5启动My****SQL(dmysql用户)
3.5.1启动MySQL服务
操作目录：cd /home/apps/module/mysql/support-files
启动指令：
./mysql.server start
查看端口指令：netstat -na | grep 3306
3.5.2重启MySQL服务
重启指令：./mysql.server restart
3.5.3停止MySQL服务
停止指令：./mysql.server stop
3.5.4设置便捷操作指令
操作目录：/home/apps/module/mysql/support-files
(1)拷贝mysql.server到init.d目录
拷贝mysql.server到init.d目录后，重名为mysqld。
拷贝指令：
cp /home/apps/module/mysql/support-files/mysql.server /etc/rc.d/init.d/mysqld
(2)赋权mysqld可执行
如果mysqld为不可执行，则执行赋权指令。
赋权指令：chmod +x /etc/rc.d/init.d/mysqld
3.5.5常用便捷操作指令
在dmysql用户下，任何目录均可执行。
启动指令：service mysqld start
重启指令：service mysqld restart
停止指令：service mysqld stop
3.6登录MySQL(dmysql用户)
3.6.1创建登录指令mysql的软链接
登录指令脚本目录：/home/apps/module/mysql/bin
创建指令：
ln -s /home/apps/module/mysql/bin/mysql /usr/bin/mysql
注意：建立软链接后，任意目录可登录。
3.6.2首次登录
登录指令：mysql -u root -p
首次登录密码：bnY!fmwfF8-o
3.6.3修改密码
修改指令：
set password for root@localhost = password('12345678');
刷新指令：flush privileges;
3.6.4开放root用户远程连接
开放远程连接指令：
update user set user.Host='%' where user.User='root';
刷新指令：flush privileges;
3.6.5远程连接验证
IP/端口：192.168.19.154:3306
用户名/口令：root/12345678
4.安装CM
安装CM：使用rpm包制作的本地镜像源安装。
安装CDH：使用CM安装CDH，CM使用本地parcel包存储库方式获取安装包。
4.1配置CM的安装包(使用RPM包制作本地yum源)
在B151机器，使用CM的RPM包生制作地yum源，把yum源配置文件拷贝到其它节点，并刷新yum源。
镜像源作用范围：集群每台机器。
目的：为安装CM。
4.1.1安装httpd和createrepo
安装指令：
yum -y install httpd createrepo
4.1.2启动httpd服务和设置开机自启动
启动指令：systemctl start httpd
开机自启动指令：systemctl enable httpd
4.1.3安装httpd后生成服务目录
httpd服务目录：
cd /var/www/html/
4.1.4上传CM的RPM包
存放目录：/home/apps/software/cloudera-repos/cm
操作指令：mkdir /home/apps/software/cloudera-repos/cm
4.1.5生成RPM包元数据
操作目录目录：/home/apps/software/cloudera-repos/cm
生成指令：createrepo .
在cm目录下生成了repodata目录。
4.1.6把cloudera-repos的中内容移到html中
移动指令：
mv /home/apps/software/cloudera-repos/cm /var/www/html/
4.1.7浏览器中访问httpd发布内容
(1)访问httpd服务中/var/www/html/cm目录下内容
(2)访问结果
使用发布地址，在浏览器中可以访问到页面，则发布成功。
4.1.8创建httpd本地的yum源配置文件
操作目录：/etc/yum.repos.d
新增文件名：cloudera-manager.repo
修改指令：vi cloudera-manager.repo
添加内容：
[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://192.168.19.151/cm/
gpgcheck=0
enabled=1
4.1.9刷新yum源配置
刷新指令：yum clean all && yum makecache
4.1.10分发yum源配置文件到其它机器
分发到B152指令：
scp /etc/yum.repos.d/cloudera-manager.repo root@hadoop152:/etc/yum.repos.d/cloudera-manager.repo
其它节点，按照此格式分发，只需修改目标主机的主机名。
4.1.11刷新节点yum源配置
刷新指令：yum clean all && yum makecache
4.2配置CDH的安装包(使用parcel包制作Parcel存储库)
CM安装CDH时，使用本地parcel包存储库方式安装CDH。
parcel包存储库目录：/opt/cloudera/parcel-repo。
4.2.1创建CDH包存放目录
指定目录：/opt/cloudera/parcel-repo
创建目录指令：
mkdir -p /opt/cloudera/parcel-repo
4.2.2上传CDH的parcel包
4.2.3重命名sha1为.sha
注意：如果后缀为sha1，必须重命名，否则，安装时读取文件报错。
重命名指令：
mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
4.3配置CM和CDH相关数据库
CM和CDH以及安装组件对应的数据库。
4.3.1数据库规划
服务名：数据库名称：用户名称
Cloudera Manger：scm：scm；
Activity Monitor：amon：amon；
Reports Manager：rman：rman；
Hue：Hue：Hue；
Hive Metastore Server：metastore：hive；
Sentry Server：sentry：sentry；
Cloudera Navigator Audit Server：nav：nav；
Cloudera Navigator Metadata Server：navms：navms；
Oozie：oozie：oozie。
4.3.2创建数据库和用户
(1)Cloudera Manger服务对应的数据库和用户
执行SQL指令：
create database scm DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on scm.* to 'scm'@'%' identified by '12345678';
flush privileges;
(2)Activity Monitor服务对应的数据库和用户
执行SQL指令：
create database amon DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on amon.* to 'amon'@'%' identified by '12345678';
flush privileges;
(3)Reports Manager服务对应的数据库和用户
执行SQL指令：
create database rman DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on rman.* to 'rman'@'%' identified by '12345678';
flush privileges;
(4)Hue服务对应的数据库和用户
执行SQL指令：
create database hue DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on hue.* to 'hue'@'%' identified by '12345678';
flush privileges;
(5)Hive Metastore Server服务对应的数据库和用户
执行SQL指令：
create database metastore DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on metastore.* to 'hive'@'%' identified by '12345678';
flush privileges;
(6)Sentry Server服务对应的数据库和用户
执行SQL指令：
create database sentry DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on sentry.* to 'sentry'@'%' identified by '12345678';
flush privileges;
(7)Cloudera Navigator Audit Server服务对应的数据库和用户
执行SQL指令：
create database nav DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on nav.* to 'nav'@'%' identified by '12345678';
flush privileges;
(8)Cloudera Navigator Metadata Server服务对应的数据库和用户
执行SQL指令：
create database navms DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on navms.* to 'navms'@'%' identified by '12345678';
flush privileges;
(9)Oozie服务对应的数据库和用户
执行SQL指令：
create database oozie DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on oozie.* to 'oozie'@'%' identified by '12345678';
flush privileges;
4.4安装CM
4.4.1主节点安装CM
在B151安装daemons、agent、server。
6.4.1.1主节点安装指令
安装指令：
yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
6.4.1.2主节点安装完成
(1)CM自动创建了cloudera-scm用户
查看命令：cat /etc/group
(2)安装目录
CM安装目录：/opt/cloudera。
6.4.1.3把Parcel存储库所有权赋给cloudera-scm用户
在Parcel存储库：/opt/cloudera/parcel-repo中存放了CDH安装需要的parcel包。
必须把Parcel存储库所有权赋给cloudera-scm，否安装时无权限读取。
执行指令：
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/
6.4.1.4主节点配置CM数据库
Cloudera Manager Server包含的初始化数据库的脚本。
(1)操作目录和操作文件
操作目录：/opt/cloudera/cm/schema
文件名：scm_prepare_database.sh
(2)操作指令(方式一:MySQL和CM在同一台机器)
初始化指令：
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 12345678
(3)操作指令(方式二:MySQL和CM不在同一台机器)
初始化指令格式：/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 数据库ip --scm-host scm的ip scm scm 12345678
初始化指令：
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 192.168.19.154 --scm-host 192.168.19.151 scm scm 12345678
(4)CM的数据库配置文件已经修改
查看指令：cat /etc/cloudera-scm-server/db.properties
内容如下：
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=192.168.19.160
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=12345678
(5)在SQLyog客户端看scm数据库表清单
在SQLyog客户端看scm数据库表清单。
注意：如果在SQLyog客户端看scm数据库表清单是空的，那么在启动CM的Server节点后后会重新生成。
4.4.2从节点安装CM的
在从节点，安装daemons、agent。
4.4.2.1从节点安装指令
安装指令：
yum -y install cloudera-manager-daemons cloudera-manager-agent
6.4.1.2从节点安装完成
(1)CM自动创建了cloudera-scm用户
查看命令：cat /etc/group
(2)安装目录
CM安装目录：/opt/cloudera。
4.4.3配置agent的server_host属性
主节点和从节点都安装了cloudera-manager-agent，都需修改config.ini。指向主节点。
修改指令：vi /etc/cloudera-scm-agent/config.ini
修改内容：
# Hostname of the CM server.
server_host=hadoop151
# Port that the CM server is listening on.
server_port=7182
4.5启动CM
4.5.1启动server指令(主节点)
启动指令：systemctl start cloudera-scm-server
4.5.2启动agent指令(全部节点)
启动指令：systemctl start cloudera-scm-agent
4.6查看CM状态
查看server和agent服务状态来判断服务启用状况。
4.6.1查看server服务状态
查看指令：systemctl status cloudera-scm-server
4.6.2查看agent服务状态
查看状态：systemctl status cloudera-scm-agent
4.6.3成功状态
成功状态。
4.7查看CM日志
4.7.1查看server服务日志
日志目录：/var/log/cloudera-scm-server/cloudera-scm-server.log
(1)查看日志
查看日志：tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
(2)查看Jetty服务启动成功日志
查看Jetty服务是否启动成功：
cat /var/log/cloudera-scm-server/cloudera-scm-server.log |grep Jetty
4.7.2查看agent服务日志
日志目录：/var/log/cloudera-scm-agent/cloudera-scm-agent.log
查看日志：tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
4.8停止CM
4.8.1停止CM的server服务
停止server指令：systemctl stop cloudera-scm-server
4.8.2停止CM的agent服务
停止agent指令：systemctl stop cloudera-scm-agent
4.9设置CM开机启动
设置开机自启动后，系统重启后，会自动启动CM相关服务。
4.9.1设置server服务开机启动
设置开机启动指令：chkconfig cloudera-scm-server on
4.9.2设置agent服务开机启动
设置为开机启动：chkconfig cloudera-scm-agent on
5.安装CDH
5.1登录CM控制台
5.1.1登录信息
登录地址：http://192.168.19.151:7180
用户/口令：admin/admin
5.1.2登录页
CM登录页。
5.1.3安装导航-欢迎页
使用默认账号，登录后按照安装导航，依次欢迎页、Accept License页面、Select Edition页面。按照实际情况选择，选定后点击右下角：继续。
5.1.4安装导航-接受条款
勾选同意，选定后点击右下角：继续。
5.1.5安装导航-选择版本
在Select Edition页面，按需选择，本例免费版本。
5.2集群安装
从上一步骤，点击：继续。直接跳转到集群安装欢迎页面。
5.2.1欢迎页面(集群安装)
集群安装的欢迎页面，无需选择直接点击：继续。
5.2.2集群命名
集群命名：Hangzhou。
5.2.3选择主机(Specify Hosts)
选择，当前管理主机。能看到集群主机列表。
5.2.4选择存储库
选择择存储库。确保本地Parcel存储库配置完成。
先前配置正确，在界面中就能正常加载出CDH版本：CDH-6.3.2-1.cdh6.3.2.p0.1605554。
配置过程：把Parcel包复制到/parcel-repo目录下，并赋权给cloudera-scm用户。
5.2.5安装Parcels(Install Parcels)
安装Parcels(Install Parcels)。
安装进度条，包括已下载、已分配、已解压、已激活。
5.2.6检查集群(Inspect Cluster)
检查集群(Inspect Cluster)，包括检查网络性能检查和检查主机。
5.3集群设置
从上一步骤，点击：继续。直接跳转到集群设置选择服务(Select Services)页面。
5.3.1选择服务(Select Services)
本例选择：所有服务。
内容: HDFS、YARN（含 MapReduce 2）、ZooKeeper、Oozie、Hive、Hue、HBase、Impala、Solr、Spark 和 Key-Value Store Indexer。
5.3.2自定义角色分配
本例分配角色，按组件查看，Part01。
本例分配角色，按组件查看，Part02。
5.3.3数据库设置
数据库设置，显示密码和测试连接验证。本例MySQL数据库部署在hadoop154。
5.3.4审核更改
审核更改，使用默认设置。
审核更改，Part01。
审核更改，Part02。
审核更改，Part03。
5.3.5命令详细信息
命令详细信息，主要是首次运行时，需要执行的命令，实际就是安装选择的各个组件，耗时较长。
5.3.6汇总
安装完成，汇总。
5.4集群管理
从上一步骤，点击：完成。直接跳转到集群管理页面。
5.4.1集群管理页面
集群管理页面。
5.4.2已经安装组件
已经安装组件。
6.应用大数据平台
安装完成后，使用大数据平台可以按如下步骤。
6.1启动MySQL
(1)登录B154的dmysql用户
主机名：192.168.19.154
用户名/口令：dmysql/12345678
(2)启动MySQL服务
启动指令：service mysqld start
(3)使用命令行登录
登录指令：mysql -u root -p
用户名/口令：root/12345678
(4)使用SQLyog客户端登录
主机IP/端口：192.168.19.154:3306
用户名/口令：root/12345678
(5)重启MySQL服务
重启指令：service mysqld restart
6.2启动CM
6.2.1启动server指令(主节点)
启动指令：systemctl start cloudera-scm-server
6.2.2启动agent指令(全部节点)
启动指令：systemctl start cloudera-scm-agent
6.3****查看CM状态
查看server和agent服务状态来判断服务启用状况。
6.3.1查看server服务状态
查看指令：systemctl status cloudera-scm-server
6.3.2查看agent服务状态
查看状态：systemctl status cloudera-scm-agent
6.4****查看CM日志
6.4.1查看server服务日志
日志目录：/var/log/cloudera-scm-server/cloudera-scm-server.log
(1)查看日志
查看日志：tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log
(2)查看Jetty服务启动成功日志
查看Jetty服务是否启动成功：
cat /var/log/cloudera-scm-server/cloudera-scm-server.log |grep Jetty
6.4.2查看agent服务日志
日志目录：/var/log/cloudera-scm-agent/cloudera-scm-agent.log
查看日志：tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log
6.5登录CM
登录地址：http://192.166.19.151:7180
用户/口令：admin/admin
6.6停止CM
6.6.1停止CM的server服务
停止server指令：systemctl stop cloudera-scm-server
6.6.2停止CM的agent服务
停止agent指令：systemctl stop cloudera-scm-agent
6.7停止MySQL服务
停止指令：service mysqld stop
以上，感谢。
2022年10月31日
版权归原作者 zhangbeizhen18 所有， 如有侵权，请联系我们删除。