0


离线安装CDH 6.3.2大数据平台(基于CentOS 7.9操作系统)

记录:303

场景:在CentOS 7.9操作系统上,离线安装CM6.3.1和CDH6.3.2大数据平台。主要内容:配置集群基础环境、安装MySQL数据库、配置本地yum源、配置NTP校时、安装CM和CDH基础依赖包、安装CM和CDH。

名词:

Hadoop:是一个由Apache基金会开发的分布式系统基础架构。

CM:Cloudera Manager简称,Cloudera公司开发的一款大数据集群安装部署工具。

CDH:Cloudera’s Distribution Including Apache Hadoop简称,Cloudera 公司构建的Hadoop稳定发行版。

1.平台环境规划

使用5台CentOS 7.9操作系统机器,离线安装CM6.3.1和CDH6.3.2大数据平台。

1.1机器规划

5台机器组成集群部署大数据平台。

每台机器基础配置:内存4GB,硬盘50GB。

1.2安装包清单

1.2.1操作系统iso包

操作系统安装包:CentOS-7-x86_64-DVD-2009.iso

本地镜像yum源包:CentOS-7-x86_64-Everything-2009.iso

下载地址:https://developer.aliyun.com/mirror/

1.2.2 JDK包

JDK包:jdk-8u281-linux-x64.tar.gz

下载地址:https://www.oracle.com/java/technologies/downloads/archive/

1.2.3 MySQL包

MySQL包:mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz

MySQL驱动包:mysql-connector-java-5.1.49.jar

下载地址:https://downloads.mysql.com/archives/community/

1.2.4 CM和CDH包

CM包:

allkeys.asc
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-server-db-2-6.3.1-1466458.el7.x86_64.rpm
enterprise-debuginfo-6.3.1-1466458.el7.x86_64.rpm
oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

CDH包:

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256
manifest.json

下载地址:在本文的第一条评论。

2.配置集群基础环境(5台机器)

准备5台机器,基础配置一样。

2.1基础规划

集群由5台机器构成,每台机器,内存:4GB;磁盘:50GB;操作系统:CentOS 7.9。

机器名称:B151、B152、B153、B154、B155。

2.2配置网络信息(设置静态IP)

机器:B151、B152、B153、B154、B155,都使用静态IP,需修改并确认配置。

2.2.1查看静态IP配置信息

查看指令:cat /etc/sysconfig/network-scripts/ifcfg-ens33

2.2.2修改静态IP配置信息

修改指令:vi /etc/sysconfig/network-scripts/ifcfg-ens33

2.2.3机器对应的静态IP详细信息

B151机器静态IP信息:

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.151
GATEWAY=192.168.19.2
DNS1=192.168.19.2

B152机器静态IP信息:

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.152
GATEWAY=192.168.19.2
DNS1=192.168.19.2

B153机器静态IP信息:

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.153
GATEWAY=192.168.19.2
DNS1=192.168.19.2

B154机器静态IP信息:

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.154
GATEWAY=192.168.19.2
DNS1=192.168.19.2

B155机器静态IP信息:

ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.19.155
GATEWAY=192.168.19.2
DNS1=192.168.19.2

2.2.4重启网络

重启指令:systemctl restart network.service

2****.****3安装JDK

2.3.1上传jdk包

安装包上传到目录:/home/apps/software

版本:jdk-8u281-linux-x64.tar.gz

JDK安装目录:/home/apps/module/jdk1.8.0_281

2.3.2安装JDK

安装指令:

tar -zxvf  /home/apps/software/jdk-8u281-linux-x64.tar.gz -C /home/apps/module/

其中,-C 指定安装在某个目录。

2.3.3配置JDK环境变量

查看指令:cat /etc/profile

修改指令:vi /etc/profile

修改内容,新增如下:

export JAVA_HOME=/home/apps/module/jdk1.8.0_281
export PATH=$PATH:$JAVA_HOME/bin

2.3.4配置生效

生效指令:source /etc/profile

2.3.5配置Java安装目录软链接

配置Java安装目录软链接,CM等启动时会读取此目录。

创建目录指令:mkdir -p /usr/java

软连接指令:

ln -s /home/apps/module/jdk1.8.0_281  /usr/java/default

查看软链接指令:ll /usr/java/

2****.4设置主机名****

2.4.1查看主机名

查看指令:hostnamectl

2.4.2修改主机名

B151机器:hostnamectl set-hostname hadoop151

B152机器:hostnamectl set-hostname hadoop152

B153机器:hostnamectl set-hostname hadoop153

B154机器:hostnamectl set-hostname hadoop154

B155机器:hostnamectl set-hostname hadoop155

2.5****设置hosts文件域名

2.5.1查看配置

查看指令:cat /etc/hosts

2.5.2新增配置

修改指令:vi /etc/hosts

修改内容:

192.168.19.151  hadoop151
192.168.19.152  hadoop152
192.168.19.153  hadoop153
192.168.19.154  hadoop154
192.168.19.155  hadoop155

2.4.3验证配置

无需重启,立即生效。

验证指令:ping hadoop152

2****.6关闭SELinux****

2.6.1查看配置

查看指令:cat /etc/selinux/config

2.6.2修改配置

修改指令:vi /etc/selinux/config

修改内容:把SELINUX=enforcing改成SELINUX=disabled

2****.7关闭防火墙****

2.7.1查看防火墙状态

查看防火墙状态指令:systemctl status firewalld

2.7.2关闭防火墙

关闭防火墙指令:systemctl stop firewalld

2.7.3设置开机禁用防火墙

设置开机禁用防火墙:systemctl disable firewalld

2****.8配置SSH免密登录(root用户)****

免密要求:服务器双向免密登录。

2.8.1配置B151的免密登录

在B151主机操作。

2.8.1.1生成公钥和秘钥

公钥和秘钥生成指令:ssh-keygen -t rsa

连续3次回车。

2.8.1.2配置免密登录其它机器

需输入一次密码。

免密到B151:ssh-copy-id hadoop151

免密到B152:ssh-copy-id hadoop152

免密到B153:ssh-copy-id hadoop153

免密到B154:ssh-copy-id hadoop154

免密到B155:ssh-copy-id hadoop155

2.8.1.3公钥和秘钥信息说明

2.8.1.3.1公钥和秘钥生成目录信息

公钥和秘钥生成目录:/root/.ssh/

秘钥文件:id_rsa;

公钥文件:id_rsa.pub。

2.8.1.3.2目标机器生成authorized_keys

B151免密登录B152,则在B152生成authorized_keys文件信息。

目录:cd /root/.ssh/

文件名:authorized_keys

2.8.2配置其它机器的免密登录

按照配置B151的免密登录,配置B152、B153、B154、B155免密登录。

2.8.3验证免密登录

B151登录B152.

登录指令:ssh root@hadoop152

2****.9配置MySQL的驱动包****

CM和CDH在部署和应用时会到指定目录读取MySQL驱动包。

2.9.1上传MySQL驱动包

MySQL驱动包:mysql-connector-java-5.1.49.jar

上传目录:/home/apps/software/

2.9.2把MySQL驱动包存放到指定目录

创建目录:mkdir -p /usr/share/java/

复制指令:

cp /home/apps/software/mysql-connector-java-5.1.49.jar /usr/share/java/mysql-connector-java.jar

查看指令:ll /usr/share/java/

2.9.3配置其它节点驱动包

(1)在其它机器创建指定目录。

创建指令:mkdir -p /usr/share/java/

(2)在B151机器操作,使用scp复制MySQL驱动包到其它节点目录。

分发到B152指令:

scp /usr/share/java/mysql-connector-java.jar root@hadoop152:/usr/share/java/mysql-connector-java.jar

其它节点,按照此格式分发,只需修改目标主机的主机名。

2.10修改系统内核参数

2.10.1设置swappiness

设置swappiness,控制运行时内存的相对权重,Cloudera建议将交换空间设置为10,过多的交换空间会引起GC耗时的激增。

(1)查看swappiness

永久设置查看指令:cat /etc/sysctl.conf

(2)永久设置swappiness

永久设置指令:

echo vm.swappiness = 10 >> /etc/sysctl.conf

2.10.2关闭透明大页面transparent_hugepage

(1)查看透明大页面

查看指令1:cat /sys/kernel/mm/transparent_hugepage/enabled

查看指令2:cat /sys/kernel/mm/transparent_hugepage/defrag

(2)永久关闭透明大页面

查看指令:cat /etc/rc.d/rc.local

编辑指令:vi /etc/rc.d/rc.local

修改内容:

if test -f /sys/kernel/mm/transparent_hugepage/enabled;
then echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
if test -f /sys/kernel/mm/transparent_hugepage/defrag;
then echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi

(3)配置rc.local脚本为可执行

赋权指令:chmod +x /etc/rc.d/rc.local

(4)配置其它节点永久关闭透明大页

使用scp把rc.local脚本分发到其它节点

分发到B152指令:

scp /etc/rc.d/rc.local root@hadoop152:/etc/rc.d/rc.local

其它节点,按照此格式分发,只需修改目标主机的主机名。

2.10.3设置最大文件句柄数

(1)查看最大文件句柄数

查看最大文件句柄数指令:ulimit -n

查看最大文件句柄数指令:cat /etc/security/limits.conf

(2)修改最大文件句柄数

修改指令:vi /etc/security/limits.conf

修改内容:

* soft nofile 102400
* hard nofile 102400

其中,*代表匹配所有。

(3)使用scp把limits.conf脚本分发到其它节点

分发到B152指令:

scp /etc/security/limits.conf root@hadoop152:/etc/security/limits.conf

其它节点,按照此格式分发,只需修改目标主机的主机名。

2.11****配置离线本地镜像(本地yum源)

2.11.1直接使用iso镜像制作离线本地镜像(本地yum源)

镜像源作用范围:只能在机器B151使用。

目的:为了安装httpd服务和createrepo服务。

2.11.1.1上传iso镜像到指定目录

创建目录指令:/home/apps/software/local_iso

使用Xftp把CentOS-7-x86_64-Everything-2009.iso上传到local_iso目录。

2.11.1.2创建需要挂载镜像的目录

创建挂载目录指令:mkdir /mnt/local_iso

2.11.1.3挂载镜像到指定目录

挂载镜像指令:

mount -o loop /home/apps/software/local_iso/CentOS-7-x86_64-Everything-2009.iso /mnt/local_iso/

2.11.1.4创建本地yum源配置文件

创建本地yum源配置文件local_iso.repo。

新建指令:vi /etc/yum.repos.d/local_iso.repo

新增本地yum内容:

[local_iso]
name=CentOS7Iso
baseurl=file:///mnt/local_iso
enabled=1
gpgcheck=0

2.11.1.5刷新yum源

刷新指令:yum clean all && yum makecache

2.11.2基于httpd使用iso镜像制作离线本地镜像(本地yum源)

镜像源作用范围:集群每台机器。

目的:为了集群安装NTP校时、CM和CDH依赖的第三方安装包、以及安装过程中缺少的各类包。

2.11.2.1安装httpd和createrepo

安装指令:yum -y install httpd createrepo

2.11.2.2启动httpd服务和设置开机启动

启动指令:systemctl start httpd

开机自启动指令:systemctl enable httpd

查看httpd启动状态指令:systemctl status httpd.service

2.11.2.3安装httpd后生成服务目录

httpd服务目录:cd /var/www/html/

2.11.2.4卸载镜像

卸载/mnt/local_iso/挂载的镜像,后续使用挂载到httpd目录下的镜像。

卸载镜像指令:umount /mnt/local_iso/

2.11.2.5创建httpd挂载镜像的目录

创建目录指令:

mkdir -p /var/www/html/local_iso

2.11.2.6挂载镜像到httpd目录下

在httpd目录/var/www/html/local_iso挂载镜像

挂载镜像指令:

mount -o loop /home/apps/software/local_iso/CentOS-7-x86_64-Everything-2009.iso /var/www/html/local_iso

2.11.2.7查看httpd发布的服务

在浏览器查看httpd发布的服务,验证服务成功。

查看地址:http://192.168.19.151/local_iso/

2.11.2.8创建httpd本地的yum源配置文件

操作目录:cd /etc/yum.repos.d

新建文件名:vi /etc/yum.repos.d/httpd_local_iso.repo

添加内容:

[httpd-local-iso]
name=httpdLocalIso
baseurl=http://192.168.19.151/local_iso
enabled=1
gpgcheck=0

2.11.2.9刷新yum源

刷新指令:yum clean all && yum makecache

2.11.2.10分发yum源配置文件到其它机器

分发到B152指令:

scp /etc/yum.repos.d/httpd_local_iso.repo root@hadoop152:/etc/yum.repos.d/httpd_local_iso.repo

其它节点,按照此格式分发,只需修改目标主机的主机名。

2.11.2.11刷新yum源

刷新指令:yum clean all && yum makecache

2.11.2.12设置开机自动挂载镜像

2.11.2.12.1需设置开机自动挂载镜像原因

使用mount命令把iso镜像挂载到/var/www/html/local_iso目录,但是,开机重启后,挂载已经被清空,导致yum指令无法使用。因此,需设置开机自动挂载。

2.11.2.12.2挂载命令加入到自启动配置

把挂载命令加入到自启动配置文件:/etc/rc.d/rc.local中。

修改指令:vi /etc/rc.d/rc.local

修改内容:

mount -o loop /home/apps/software/local_iso/CentOS-7-x86_64-Everything-2009.iso /var/www/html/local_iso

2.11.2.12.3重启系统验证

重启系统,可以看到iso镜像已经挂载到/var/www/html/local_iso,那么yum命令就可以正常使用。

2.12配置NTP

集群配置NTP,以B151为服务端,集群中其它机器使用NTP同步B151时间,达到集群时间一致。

2.12.1修改时区为本地时区

修改指令:

ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

2.12.2安装NTP

安装指令:yum -y install ntp

2.12.3配置NTP主节点

2.12.3.1查看配置

查看指令:cat /etc/ntp.conf

2.12.3.2修改配置

操作指令:vi /etc/ntp.conf

编辑内容包括注释掉和新增。

注释掉部分:

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

新增部分:

server 127.127.1.0
fudge 127.127.1.0 stratum 10

2.12.4配置从节点(其它节点)

从节点配置是一致的,配置一台后,建议使用scp远程拷贝完成其它机器配置。

2.12.4.1查看配置

查看指令:cat /etc/ntp.conf

2.12.4.2修改配置指令

操作指令:vi /etc/ntp.conf

编辑内容包括注释掉和新增。

注释掉部分:

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

新增部分:

server 192.168.19.151
fudge 192.168.19.151 stratum 10

2.12.5操作NTP常用指令

启动指令:service ntpd start

重启指令:service ntpd restart

停止指令:service ntpd stop

开机自启动指令:systemctl enable ntpd.service

查看服务状态指令:systemctl status ntpd.service

2.12.6查看ntp服务

(1)查看当前节点同步的时间服务器。

查看指令:ntpq -p

(2)查看节点与时间同步服务器的偏差时间

查看指令:ntpdc -c loopinfo

(3)查看ntp状态

查看指令:ntpstat

2****.13第三方依赖包****

安装第三方依赖包,为了避免安装过程出现异常。

2.13.1安装CM和CDH基础环境依赖包

安装指令:

yum -y install bind-utils psmisc cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs /lib/lsb/init-functions httpd mod_ssl openssl-devel python-psycopg2 MySQL-python libxslt

2.13.2配置rpcbind开机启动

2.13.2.1启动指令

启动指令:systemctl start rpcbind

2.13.2.2配置开机启动

配置指令:

echo 'systemctl start rpcbind' >> /etc/rc.d/rc.local

配置可执行指令:

chmod +x /etc/rc.d/rc.local

2.13.3安装perl

本例的CentOS 7.9的Minimal版,缺少perl,需安装。

安装指令:yum -y install perl

3.安装MySQL

在B154安装MySQL,支撑CM和CDH。

3.1 MySQL安装说明

安装包:mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz

JDBC驱动包:mysql-connector-java-5.1.49.jar

安装方式:使用tar命令方式安装MySQL。

安装目录:/home/apps/module/mysql

3.2卸载自带Mariadb和已安装MySQL(root用户)

3.2.1卸载系统自带mariadb

3.2.1.1查找mariadb

查找指令rpm方式:rpm -qa|grep mariadb

查找指令yum方式:yum list installed | grep mariadb

查出结果:mariadb-libs-5.5.68-1.el7.x86_64

3.2.1.2卸载mariadb

卸载指令:rpm -e --nodeps mariadb-libs-5.5.68-1.el7.x86_64

3.2.1.3删除mariadb的my.cnf配置

删除指令:rm -rf /etc/my.cnf

3.2.2卸载已经安装的MySQL

3.2.2.1查找已安装MySQL

查找指令rpm方式:rpm -qa|grep mysql

查找指令yum方式:yum list installed | grep mysql

3.2.2.2使用find和whereis查找

find查看指令:find / -name mysql

whereis查看指令:whereis mysql

3.2.2.3删除相关文件

删除指令:rm -rf /etc/selinux/targeted/active/modules/100/mysql

删除指令:rm -rf /usr/lib64/mysql

3.3创建用户名和用户组

本例规划,用户组:dmysql;用户名:dmysql。

创建用户组指令:groupadd dmysql

创建用户名指令:useradd -g dmysql dmysql -d /home/dmysql

修改登录密码格式:passwd 用户名 密码

修改登录密码指令:passwd dmysql 12345678

3.4安装MySQL

3.4.1上传安装包(root用户)

安装包存放目录:/home/apps/module/

3.4.2解压安装包(root用户)

操作目录:/home/apps/module

解压指令:

tar -zxvf mysql-5.7.36-linux-glibc2.12-x86_64.tar.gz

注意:使用.tar.gz包是免安装版本,直接配置即可。

3.4.3重命名安装目录(root用户)

重命名:mv mysql-5.7.36-linux-glibc2.12-x86_64 mysql

重命名后MySQL安装目录:/home/apps/module/mysql

3.4.4更改安装目录所有权(root用户)

更改安装目录所有权:

chown -R dmysql:dmysql /home/apps/module/mysql

权限修改:chmod -R 755 /home/apps/module/mysql

3.4.5修改MySQL配置文件(root用户)

编辑文件指令:vi /etc/my.cnf

修改内容:

[mysql]
default-character-set=utf8
[mysqld]
port=3306
basedir=/home/apps/module/mysql
datadir=/home/apps/module/mysql/data
max_connections=5000
character-set-server=utf8
default-storage-engine=INNODB
default-time_zone='+8:00'
lower_case_table_names=1

3.4.6初始化MySQL配置(dmysql用户)

操作目录:cd /home/apps/module/mysql/bin

3.4.6.1执行初始化指令

初始化指令:

./mysqld --initialize --user=dmysql --datadir=/home/apps/module/mysql/data --basedir=/home/apps/module/mysql

3.4.6.2生成初始化密码

初始化密码:bnY!fmwfF8-o

在首次登录是需要使用初始化生成的密码。

3.5启动My****SQL(dmysql用户)

3.5.1启动MySQL服务

操作目录:cd /home/apps/module/mysql/support-files

启动指令:

./mysql.server start

查看端口指令:netstat -na | grep 3306

3.5.2重启MySQL服务

重启指令:./mysql.server restart

3.5.3停止MySQL服务

停止指令:./mysql.server stop

3.5.4设置便捷操作指令

操作目录:/home/apps/module/mysql/support-files

(1)拷贝mysql.server到init.d目录

拷贝mysql.server到init.d目录后,重名为mysqld。

拷贝指令:

cp /home/apps/module/mysql/support-files/mysql.server /etc/rc.d/init.d/mysqld

(2)赋权mysqld可执行

如果mysqld为不可执行,则执行赋权指令。

赋权指令:chmod +x /etc/rc.d/init.d/mysqld

3.5.5常用便捷操作指令

在dmysql用户下,任何目录均可执行。

启动指令:service mysqld start

重启指令:service mysqld restart

停止指令:service mysqld stop

3.6登录MySQL(dmysql用户)

3.6.1创建登录指令mysql的软链接

登录指令脚本目录:/home/apps/module/mysql/bin

创建指令:

ln -s /home/apps/module/mysql/bin/mysql /usr/bin/mysql

注意:建立软链接后,任意目录可登录。

3.6.2首次登录

登录指令:mysql -u root -p

首次登录密码:bnY!fmwfF8-o

3.6.3修改密码

修改指令:

set password for root@localhost = password('12345678');

刷新指令:flush privileges;

3.6.4开放root用户远程连接

开放远程连接指令:

update user set user.Host='%' where user.User='root';

刷新指令:flush privileges;

3.6.5远程连接验证

IP/端口:192.168.19.154:3306

用户名/口令:root/12345678

4.安装CM

安装CM:使用rpm包制作的本地镜像源安装。

安装CDH:使用CM安装CDH,CM使用本地parcel包存储库方式获取安装包。

4.1配置CM的安装包(使用RPM包制作本地yum源)

在B151机器,使用CM的RPM包生制作地yum源,把yum源配置文件拷贝到其它节点,并刷新yum源。

镜像源作用范围:集群每台机器。

目的:为安装CM。

4.1.1安装httpd和createrepo

安装指令:

yum -y install httpd createrepo

4.1.2启动httpd服务和设置开机自启动

启动指令:systemctl start httpd

开机自启动指令:systemctl enable httpd

4.1.3安装httpd后生成服务目录

httpd服务目录:

cd /var/www/html/

4.1.4上传CM的RPM包

存放目录:/home/apps/software/cloudera-repos/cm

操作指令:mkdir /home/apps/software/cloudera-repos/cm

4.1.5生成RPM包元数据

操作目录目录:/home/apps/software/cloudera-repos/cm

生成指令:createrepo .

在cm目录下生成了repodata目录。

4.1.6把cloudera-repos的中内容移到html中

移动指令:

mv /home/apps/software/cloudera-repos/cm  /var/www/html/

4.1.7浏览器中访问httpd发布内容

(1)访问httpd服务中/var/www/html/cm目录下内容

发布地址:http://192.168.19.151/cm

(2)访问结果

使用发布地址,在浏览器中可以访问到页面,则发布成功。

4.1.8创建httpd本地的yum源配置文件

操作目录:/etc/yum.repos.d

新增文件名:cloudera-manager.repo

修改指令:vi cloudera-manager.repo

添加内容:

[cloudera-manager]
name=Cloudera Manager 6.3.1
baseurl=http://192.168.19.151/cm/
gpgcheck=0
enabled=1

4.1.9刷新yum源配置

刷新指令:yum clean all && yum makecache

4.1.10分发yum源配置文件到其它机器

分发到B152指令:

scp /etc/yum.repos.d/cloudera-manager.repo root@hadoop152:/etc/yum.repos.d/cloudera-manager.repo

其它节点,按照此格式分发,只需修改目标主机的主机名。

4.1.11刷新节点yum源配置

刷新指令:yum clean all && yum makecache

4.2配置CDH的安装包(使用parcel包制作Parcel存储库)

CM安装CDH时,使用本地parcel包存储库方式安装CDH。

parcel包存储库目录:/opt/cloudera/parcel-repo。

4.2.1创建CDH包存放目录

指定目录:/opt/cloudera/parcel-repo

创建目录指令:

mkdir -p /opt/cloudera/parcel-repo

4.2.2上传CDH的parcel包

4.2.3重命名sha1为.sha

注意:如果后缀为sha1,必须重命名,否则,安装时读取文件报错。

重命名指令:

mv CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha

4.3配置CM和CDH相关数据库

CM和CDH以及安装组件对应的数据库。

4.3.1数据库规划

服务名:数据库名称:用户名称

Cloudera Manger:scm:scm;

Activity Monitor:amon:amon;

Reports Manager:rman:rman;

Hue:Hue:Hue;

Hive Metastore Server:metastore:hive;

Sentry Server:sentry:sentry;

Cloudera Navigator Audit Server:nav:nav;

Cloudera Navigator Metadata Server:navms:navms;

Oozie:oozie:oozie。

4.3.2创建数据库和用户

(1)Cloudera Manger服务对应的数据库和用户

执行SQL指令:

create database scm DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on scm.* to 'scm'@'%' identified by '12345678';
flush privileges;

(2)Activity Monitor服务对应的数据库和用户

执行SQL指令:

create database amon DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on amon.* to 'amon'@'%' identified by '12345678';
flush privileges;

(3)Reports Manager服务对应的数据库和用户

执行SQL指令:

create database rman DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on rman.* to 'rman'@'%' identified by '12345678';
flush privileges;

(4)Hue服务对应的数据库和用户

执行SQL指令:

create database hue DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on hue.* to 'hue'@'%' identified by '12345678';
flush privileges;

(5)Hive Metastore Server服务对应的数据库和用户

执行SQL指令:

create database metastore DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on metastore.* to 'hive'@'%' identified by '12345678';
flush privileges;

(6)Sentry Server服务对应的数据库和用户

执行SQL指令:

create database sentry DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on sentry.* to 'sentry'@'%' identified by '12345678';
flush privileges;

(7)Cloudera Navigator Audit Server服务对应的数据库和用户

执行SQL指令:

create database nav DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on nav.* to 'nav'@'%' identified by '12345678';
flush privileges;

(8)Cloudera Navigator Metadata Server服务对应的数据库和用户

执行SQL指令:

create database navms DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on navms.* to 'navms'@'%' identified by '12345678';
flush privileges;

(9)Oozie服务对应的数据库和用户

执行SQL指令:

create database oozie DEFAULT CHARACTER set utf8 DEFAULT collate utf8_general_ci;
grant all on oozie.* to 'oozie'@'%' identified by '12345678';
flush privileges;

4.4安装CM

4.4.1主节点安装CM

在B151安装daemons、agent、server。

6.4.1.1主节点安装指令

安装指令:

yum -y install cloudera-manager-daemons cloudera-manager-agent  cloudera-manager-server

6.4.1.2主节点安装完成

(1)CM自动创建了cloudera-scm用户

查看命令:cat /etc/group

(2)安装目录

CM安装目录:/opt/cloudera。

6.4.1.3把Parcel存储库所有权赋给cloudera-scm用户

在Parcel存储库:/opt/cloudera/parcel-repo中存放了CDH安装需要的parcel包。

必须把Parcel存储库所有权赋给cloudera-scm,否安装时无权限读取。

执行指令:

chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/

6.4.1.4主节点配置CM数据库

Cloudera Manager Server包含的初始化数据库的脚本。

(1)操作目录和操作文件

操作目录:/opt/cloudera/cm/schema

文件名:scm_prepare_database.sh

(2)操作指令(方式一:MySQL和CM在同一台机器)

初始化指令:

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 12345678

(3)操作指令(方式二:MySQL和CM不在同一台机器)

初始化指令格式:/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 数据库ip --scm-host scm的ip scm scm 12345678

初始化指令:

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql -h 192.168.19.154 --scm-host 192.168.19.151 scm scm 12345678

(4)CM的数据库配置文件已经修改

查看指令:cat /etc/cloudera-scm-server/db.properties

内容如下:

com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=192.168.19.160
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=12345678

(5)在SQLyog客户端看scm数据库表清单

在SQLyog客户端看scm数据库表清单。

注意:如果在SQLyog客户端看scm数据库表清单是空的,那么在启动CM的Server节点后后会重新生成。

4.4.2从节点安装CM的

在从节点,安装daemons、agent。

4.4.2.1从节点安装指令

安装指令:

yum -y install cloudera-manager-daemons cloudera-manager-agent

6.4.1.2从节点安装完成

(1)CM自动创建了cloudera-scm用户

查看命令:cat /etc/group

(2)安装目录

CM安装目录:/opt/cloudera。

4.4.3配置agent的server_host属性

主节点和从节点都安装了cloudera-manager-agent,都需修改config.ini。指向主节点。

修改指令:vi /etc/cloudera-scm-agent/config.ini

修改内容:

# Hostname of the CM server.
server_host=hadoop151
# Port that the CM server is listening on.
server_port=7182

4.5启动CM

4.5.1启动server指令(主节点)

启动指令:systemctl start cloudera-scm-server

4.5.2启动agent指令(全部节点)

启动指令:systemctl start cloudera-scm-agent

4.6查看CM状态

查看server和agent服务状态来判断服务启用状况。

4.6.1查看server服务状态

查看指令:systemctl status cloudera-scm-server

4.6.2查看agent服务状态

查看状态:systemctl status cloudera-scm-agent

4.6.3成功状态

成功状态。

4.7查看CM日志

4.7.1查看server服务日志

日志目录:/var/log/cloudera-scm-server/cloudera-scm-server.log

(1)查看日志

查看日志:tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

(2)查看Jetty服务启动成功日志

查看Jetty服务是否启动成功:

cat  /var/log/cloudera-scm-server/cloudera-scm-server.log |grep Jetty

4.7.2查看agent服务日志

日志目录:/var/log/cloudera-scm-agent/cloudera-scm-agent.log

查看日志:tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

4.8停止CM

4.8.1停止CM的server服务

停止server指令:systemctl stop cloudera-scm-server

4.8.2停止CM的agent服务

停止agent指令:systemctl stop cloudera-scm-agent

4.9设置CM开机启动

设置开机自启动后,系统重启后,会自动启动CM相关服务。

4.9.1设置server服务开机启动

设置开机启动指令:chkconfig cloudera-scm-server on

4.9.2设置agent服务开机启动

设置为开机启动:chkconfig cloudera-scm-agent on

5.安装CDH

5.1登录CM控制台

5.1.1登录信息

登录地址:http://192.168.19.151:7180

用户/口令:admin/admin

5.1.2登录页

CM登录页。

5.1.3安装导航-欢迎页

使用默认账号,登录后按照安装导航,依次欢迎页、Accept License页面、Select Edition页面。按照实际情况选择,选定后点击右下角:继续。

5.1.4安装导航-接受条款

勾选同意,选定后点击右下角:继续。

5.1.5安装导航-选择版本

在Select Edition页面,按需选择,本例免费版本。

5.2集群安装

从上一步骤,点击:继续。直接跳转到集群安装欢迎页面。

5.2.1欢迎页面(集群安装)

集群安装的欢迎页面,无需选择直接点击:继续。

5.2.2集群命名

集群命名:Hangzhou。

5.2.3选择主机(Specify Hosts)

选择,当前管理主机。能看到集群主机列表。

5.2.4选择存储库

选择择存储库。确保本地Parcel存储库配置完成。

先前配置正确,在界面中就能正常加载出CDH版本:CDH-6.3.2-1.cdh6.3.2.p0.1605554。

配置过程:把Parcel包复制到/parcel-repo目录下,并赋权给cloudera-scm用户。

5.2.5安装Parcels(Install Parcels)

安装Parcels(Install Parcels)。

安装进度条,包括已下载、已分配、已解压、已激活。

5.2.6检查集群(Inspect Cluster)

检查集群(Inspect Cluster),包括检查网络性能检查和检查主机。

5.3集群设置

从上一步骤,点击:继续。直接跳转到集群设置选择服务(Select Services)页面。

5.3.1选择服务(Select Services)

本例选择:所有服务。

内容: HDFS、YARN(含 MapReduce 2)、ZooKeeper、Oozie、Hive、Hue、HBase、Impala、Solr、Spark 和 Key-Value Store Indexer。

5.3.2自定义角色分配

本例分配角色,按组件查看,Part01。

本例分配角色,按组件查看,Part02。

5.3.3数据库设置

数据库设置,显示密码和测试连接验证。本例MySQL数据库部署在hadoop154。

5.3.4审核更改

审核更改,使用默认设置。

审核更改,Part01。

审核更改,Part02。

审核更改,Part03。

5.3.5命令详细信息

命令详细信息,主要是首次运行时,需要执行的命令,实际就是安装选择的各个组件,耗时较长。

5.3.6汇总

安装完成,汇总。

5.4集群管理

从上一步骤,点击:完成。直接跳转到集群管理页面。

5.4.1集群管理页面

集群管理页面。

5.4.2已经安装组件

已经安装组件。

6.应用大数据平台

安装完成后,使用大数据平台可以按如下步骤。

6.1启动MySQL

(1)登录B154的dmysql用户

主机名:192.168.19.154

用户名/口令:dmysql/12345678

(2)启动MySQL服务

启动指令:service mysqld start

(3)使用命令行登录

登录指令:mysql -u root -p

用户名/口令:root/12345678

(4)使用SQLyog客户端登录

主机IP/端口:192.168.19.154:3306

用户名/口令:root/12345678

(5)重启MySQL服务

重启指令:service mysqld restart

6.2启动CM

6.2.1启动server指令(主节点)

启动指令:systemctl start cloudera-scm-server

6.2.2启动agent指令(全部节点)

启动指令:systemctl start cloudera-scm-agent

6.3****查看CM状态

查看server和agent服务状态来判断服务启用状况。

6.3.1查看server服务状态

查看指令:systemctl status cloudera-scm-server

6.3.2查看agent服务状态

查看状态:systemctl status cloudera-scm-agent

6.4****查看CM日志

6.4.1查看server服务日志

日志目录:/var/log/cloudera-scm-server/cloudera-scm-server.log

(1)查看日志

查看日志:tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

(2)查看Jetty服务启动成功日志

查看Jetty服务是否启动成功:

cat  /var/log/cloudera-scm-server/cloudera-scm-server.log |grep Jetty

6.4.2查看agent服务日志

日志目录:/var/log/cloudera-scm-agent/cloudera-scm-agent.log

查看日志:tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

6.5登录CM

登录地址:http://192.166.19.151:7180

用户/口令:admin/admin

6.6停止CM

6.6.1停止CM的server服务

停止server指令:systemctl stop cloudera-scm-server

6.6.2停止CM的agent服务

停止agent指令:systemctl stop cloudera-scm-agent

6.7停止MySQL服务

停止指令:service mysqld stop

以上,感谢。

2022年10月31日

标签: CDH 大数据 运维

本文转载自: https://blog.csdn.net/zhangbeizhen18/article/details/127622738
版权归原作者 zhangbeizhen18 所有, 如有侵权,请联系我们删除。

“离线安装CDH 6.3.2大数据平台(基于CentOS 7.9操作系统)”的评论:

还没有评论