0
0

大数据平台环境搭建---- Hive&MySql数据库组件配置

前置环境

Hadoop集群必须部署完成，如果还没有搭建请先前往>>Hadoop全分布搭建笔记

程序版本

hive 1.1.0 mysql 5.7.25 mysql-connector-java-5.1.39-bin.jar

资源下载

官网下载：

mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar：https://downloads.mysql.com/archives/community/

链接：https://pan.xunlei.com/s/VNoQg4wdxda5by6L8Lvug9erA1?pwd=y9tf#

提取码：y9tf

组件介绍

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

操作流程

部署Hive前建议先更换系统自带的数据库，以免对后续的部署造成影响

部署Hive时需要更改Hadoop中的驱动文件，最好先停止Hadoop集群，避免出现异常

上传程序文件

使用FTP工具（xftp）上传Hive的程序包到master

[root@master ~]# ls

apache-hive-1.1.0-bin.tar.gz mysql-connector-java-5.1.39-bin.jar

mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar

更换数据库

查询出旧版数据库的名称以及版本并删除数据库

查询旧版数据库

[root@master ~]# rpm -qa | grep mariadb

mariadb-libs-5.5.68-1.el7.x86_64

yum remove 删除旧版数据库

[root@master ~]# yum -y remove mariadb-libs-5.5.68-1.el7.x86_64

已加载插件：fastestmirror

......

完毕！

解压MySql数据库

创建解压目录

[root@master ~]# mkdir /opt/data

解压MySql

解压方式：xf （不显示解压过程） -xvf（显示解压过程）

[root@master ~]# tar xf mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar -C /opt/data/

进入解压后的目录

[root@master ~]# cd /opt/data/

查看解压出来的文件是否正确

[root@master data]# ls

mysql-community-client-5.7.25-1.el7.x86_64.rpm

mysql-community-common-5.7.25-1.el7.x86_64.rpm

mysql-community-devel-5.7.25-1.el7.x86_64.rpm

mysql-community-embedded-5.7.25-1.el7.x86_64.rpm

mysql-community-embedded-compat-5.7.25-1.el7.x86_64.rpm

mysql-community-embedded-devel-5.7.25-1.el7.x86_64.rpm

mysql-community-libs-5.7.25-1.el7.x86_64.rpm

mysql-community-libs-compat-5.7.25-1.el7.x86_64.rpm

mysql-community-server-5.7.25-1.el7.x86_64.rpm

mysql-community-test-5.7.25-1.el7.x86_64.rpm

安装MySql数据库，最好按照下面的顺序进行安装MySql数据库

[root@master data]# rpm -i mysql-community-common-5.7.25-1.el7.x86_64.rpm

警告：mysql-community-common-5.7.25-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY

[root@master data]# rpm -i mysql-community-libs-5.7.25-1.el7.x86_64.rpm

警告：mysql-community-libs-5.7.25-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY

[root@master data]# rpm -i mysql-community-client-5.7.25-1.el7.x86_64.rpm

警告：mysql-community-client-5.7.25-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY

[root@master data]# rpm -i mysql-community-server-5.7.25-1.el7.x86_64.rpm --force --nodeps

警告：mysql-community-server-5.7.25-1.el7.x86_64.rpm: 头V3 DSA/SHA1 Signature, 密钥 ID 5072e1f5: NOKEY

MySql服务初始化配置

查看MySql服务运行状态，如果在运行，请先停止该服务

[root@master data]# systemctl status mysqld

停止MySql服务

[root@master data]# systemctl stop mysqld

初始化MySql服务

[root@master data]# mysqld --initialize --console

查看MySql生成的登录密码

[root@master data]# cat /var/log/mysqld.log

......

2021-03-18T09:59:50.605512Z 1 [Note] A temporary password is generated for root@localhost: L)hjW7aQqhYl

我这里的密码为：L)hjW7aQqhYl

更改目录所有权：chown -R mysql:mysql /var/lib/mysql

[root@master data]# chown -R mysql:mysql /var/lib/mysql

启动MySql服务：systemctl start mysqld

[root@master data]# systemctl start mysqld

​​​​​​​

使用初始密码登录MySql

[root@master data]# mysql -uroot -p

Enter password: L)hjW7aQqhYl

Welcome to the MySQL monitor. Commands end with ; or \g.

......

mysql>

进行一些必要的设置

修改MySql密码为：123456

mysql> alter user 'root'@'localhost' identified by '123456';

Query OK, 0 rows affected (0.00 sec)

设置访问权限，否则Hive将无法连接到MySql

mysql> grant all privileges on . to 'root'@'%' identified by '123456';

Query OK, 0 rows affected, 1 warning (0.00 sec)

配置完成，退出Mysql

mysql> exit;

Bye

至此——MySql数据库配置完成

解压Hive

[root@master ~]# tar xf apache-hive-1.1.0-bin.tar.gz -C /usr/local/src/

解压后，cd进入Hive解压目录

[root@master ~]# cd /usr/local/src/

[root@master src]# ls

apache-hive-1.1.0-bin hadoop jdk

修改Hive文件夹名称

[root@master src]# mv apache-hive-1.1.0-bin/ hive

[root@master src]# ls

hadoop hive jdk

配置环境变量

使环境变量仅对root用户生效，编辑root用户的环境变量

[root@master src]# vi /root/.bash_profile

修改后的文件状态

# .bash_profile

# Get the aliases and functions

if [ -f ~/.bashrc ]; then

        . ~/.bashrc

fi

# User specific environment and startup programs

JAVA_HOME=/usr/local/src/jdk

HADOOP_HOME=/usr/local/src/hadoop

HIVE_HOME=/usr/local/src/hive

PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin

export PATH

生效环境变量

[root@master src]# source /root/.bash_profile

配置Hive

进入Hive配置目录：cd /usr/local/src/hive/conf/

新建Hive配置文件：touch hive-site.xml

编辑Hive配置文件：vi hive-site.xml

<configuration>

        <property>

                <name>javax.jdo.option.ConnectionURL</name>

                <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&useSSL=false</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionDriverName</name>

                <value>com.mysql.jdbc.Driver</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionUserName</name>

                <value>root</value>

        </property>

        <property>

                <name>javax.jdo.option.ConnectionPassword</name>

                <value>123456</value>

        </property>

</configuration>

复制MySql驱动包到Hive驱动目录下：

cp /root/mysql-connector-java-5.1.39-bin.jar /usr/local/src/hive/lib/

删除Hadoop Yarn驱动目录下的旧版jline.jar：

rm -f /usr/local/src/hadoop/share/hadoop/yarn/lib/jline-0.9.94.jar

将Hive驱动目录下的jline.jar复制到Yarn驱动目录下：

cp /usr/local/src/hive/lib/jline-2.12.jar /usr/local/src/hadoop/share/hadoop/yarn/lib/

启动Hive

启动Hadoop集群后才能启动Hive；如果Hadoop已经启动，请重启Hadoop后再启动Hive

[root@master conf]# start-all.sh

......

slave2: starting nodemanager, logging to /usr/local/src/hadoop/logs/yarn-root-nodemanager-slave2.out

slave1: starting nodemanager, logging to /usr/local/src/hadoop/logs/yarn-root-nodemanager-slave1.out

master: starting nodemanager, logging to /usr/local/src/hadoop/logs/yarn-root-nodemanager-master.out

启动Hive

[root@master conf]# hive

Logging initialized using configuration in jar:file:/usr/local/src/hive/lib/hive-common-1.1.0.jar!/hive-log4j.properties

SLF4J: Class path contains multiple SLF4J bindings.

SLF4J: Found binding in [jar:file:/usr/local/src/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: Found binding in [jar:file:/usr/local/src/hive/lib/hive-jdbc-1.1.0-standalone.jar!/org/slf4j/impl/StaticLoggerBinder.class]

SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.

SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]

hive>

至此——Hive数据仓库部署完成

标签： 大数据 数据库 hive
本文转载自: https://blog.csdn.net/qq_74400992/article/details/135671355
版权归原作者 Grey_hat_cmd 所有， 如有侵权，请联系我们删除。
登录后发布评论

“大数据平台环境搭建---- Hive&MySql数据库组件配置”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

网络安全法-网络运行安全

使用selenium/drissionpage时如何阻止chrome自动跳转http到https

docker desktop 里部署的Open WebUI 管理员密码忘记了的处理方法

在ubuntu20.04中搭建onsite比赛运行环境

利用开源的低代码表单设计器FcDesigner高效管理和渲染复杂表单结构

Kafka学习笔记

【前端】浏览器输入url到页面呈现发生了什么？

文章导航