centos7上安装MySQL并配置Hive

一.下载安装MySQL

1.在MySQL官网上下载。

            1.搜索MySQL的官网，也可以点击https://www.mysql.com/进入MySQL的官网页面。   

           2. 进入页面后点击 downloads，进入下载页面

            3.进入到 downloads界面后往下拉页面，选择MySQL Community Downloads

             4.进入MySQL的社区下载，下载MySQL和jar包，需要注意的是hive的配置MySQL

               的jar包，这里一并下载。

               下载MySQL

                    点击 MySQL Community Server

                    进入页面后显示的是MySQL的最新版本，最新版本往往在自己的项目中会导致一些

            问题，比如：jar包不全，版本冲突等。这里我们选择下载的是MySQL的8.0.26。这个与

            我们所要搭配的Hive-3.1.3的版本是兼容的。

                    点击Archives，这里可以选择MySQL的旧版本。

                    进入到Archives界面后选择响应的版本系统，选择8.0.26版本，系统选择红帽

                    选择好版本后我们点击下载我们的MySQL版本

                    注：这里面下载文件最大的那一个版本，这里面包含了下面的文件，是这一版本

            MySQL软件包的总和。

                    点击download下载，这里需要注意的是有的浏览器下载的时候会弹出是否需要帮助

            的页面，只需要点击左下角不需要帮助就行了。

            下载jar包(如果只是安装MySQL的不用下载jar包)

                    回到之前的MySQL社区下载的界面选择MySQL的jar

                    进入jar的界面选择 Archives，进到Archives界面后这次选择

2.上传MySQL到centos虚拟机上

            点击Xftp 7连接我们的虚拟机

            这里的Xftp 7我们可以在Xftp 7可以在官网上自行下载，这里就不阐述具体的下载了

3.解压并安装MySQL

            1. 进入到我们的centos虚拟机，找到我们上传到文件目录下，这里的目录可以随意选择

    在上传的过程中，我们默认放在/opt目录下用来管理安装的包

            2.使用命令解压我们的MySQL安装包

                    解压命令为：

                    tar -xvf mysql-8.0.26-1.el7.x86_64.rpm-bundle.tar

                    这里如果想要将其解压到别的文件夹下可以使用

                    tar -xvf mysql-8.0.26-1.el7.x86_64.rpm-bundle.tar -C [所要存放的目录] 

                    这里就解压到我们当前的目录下，需要注意的是解压出来是多个文件，所以放在一

            个空文件夹下更好。解压出来是蓝色框中的几个数据。

            3.卸载centos7自带的mariadb库，这与MySQL数据库会产生冲突。

                    使用rpm命令来查看自己的虚拟机上是否有mariadb

                     rpm -qa |grep mariadb

                    使用rpm命令删除 mariadb

                    rpm -e --nodeps mariadb-libs

                    **这里需要注意的是如果出现提示权限不足时，需要提权，使用sudo su或者su** 

            4.安装MySQL，需要注意的是在安装MySQL时它是需要有先后顺序的，这是因为在

            rpm包中是有依赖关系的，安装顺序错误会报出缺少模块的错误，这里按照这样的顺序

            安装。

                    rpm -ivh mysql-community-common-8.0.26-1.el7.x86_64.rpm

                    rpm -ivh mysql-community-client-plugins-8.0.26-1.el7.x86_64.rpm 

                    rpm -ivh mysql-community-libs-8.0.26-1.el7.x86_64.rpm

                    rpm -ivh mysql-community-client-8.0.26-1.el7.x86_64.rpm

                    rpm -ivh mysql-community-libs-compat-8.0.26-1.el7.x86_64.rpm

                    rpm -ivh mysql-community-server-8.0.26-1.el7.x86_64.rpm

            5.执行上述命令安装好后，对MySQL进行初始化

                     mysqld --initialize --console

            6.修改MySQL文件使其MySQL的用户有权限直接使用

                    chown -R mysql:mysql /var/lib/mysql/

            7.启动MySQL的服务

                     systemctl start mysqld

            8.启动MySQL，并修改MySQL密码

                    （1）先查看MySQL给我们设置的初始密码

                            cat /var/log/mysqld.log |grep localhost

                   （2） 进入MySQL，并输入我们刚才所查找到的初始密码

                            mysql -u root -p 

                    （3）修改密码，这里是必要要修改密码的，如果不修改密码会导致报

                    You must reset your password using ALTER USER statement before executing 

                    this statement.错误

                    （4）通过alter命令来修改MySQL的密码

                    alter user 'root'@'localhost' identified by '你的密码';

                     这里root是你的用户，localhost是你的主机，这里的密码需要设复杂一点要大于8 

            位由大写，小写字母，数字和下划线组成。当然如果你不想设置复杂的密码可以修改

            MySQL的密码策略。

                    （5）退出MySQL，这里使用exit;退出，使用mysql -u root -p来重新启动MySQL

            输入你刚才设置的MySQL密码。

二.安装配置Hive

1.下载hive

            1.搜索清华源

            这里由于hive的官网在外国，下载起来比较缓慢，这里我们采用国内的镜像源，如：清华源，阿里源等。这里我们就使用清华源进行下载hive。

在百度中搜索清华源，一般第一个就是。

            2.搜索Apache

            进入清华源后点击搜索，输入Apache，hive属于Apache旗下

             3.进入Apache后向下翻，找到hive，并点击进入hive

            4. 进入到hive后根据自己的版本选择所要下载的hive版本，这里我们要下载的是hive-3.1.3版本

            5.进入到hive-3.1.3中后选择bin的文件进行下载。

2.上传hive到虚拟机中

            1.是用Xftp 7上传hive到虚拟机中

3.解压Apache-hive配置环境变量

1.解压Apache-hive

             1.使用cd命令移动到hive所上传的目录下

            先在/opt目录下创建一个hadoop目录

            mkdir /opt/hadoop

            在hive所在的目录下使用解压

            tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/hadoop/

2.配置环境变量

            1.使用cd 命令移动到/opt/hadoop目录下

                    cd  /opt/hadoop/

            2.使用mv命令移动修改目录方便接下来的配置

                    mv apache-hive-3.1.3-bin/ hive-3.1.3/ 

            3.配置系统变量

                    这里可以配置系统变量或者用户变量，这里我们直接配置系统变量就行。

                    使用vim /etc/profile进入到系统变量当中，这里也可以在/etc/profile.d/目录下创建一个文件，这里在/etc/profile.d/创建一个my_env.sh。

                    cd /etc/profile.d/

                    touch my_env.sh

                    chmod 777 my_env.sh

                    vim /etc/profile.d/my_env.sh

                    进入到my_env.sh文件中，添加hive的目录位置,这里填具体的位置

                    #HIVE_HOME
                     export HIVE_HOME=/opt/hadoop/hive-3.1.3
                     export PATH=$PATH:$HIVE_HOME/bin

                    使用source对文件进行文件进行刷新

                    source /etc/profile

4.配置hive的配置文件

1.配置hive-env.sh文件

            1.cd到hive的conf目录下

                    cd /opt/hadoop/hive-3.1.3/conf/

            2.移动配置文件并配置其中的内容

                   mv hive-env.sh.template hive-env.sh

                    vim  hive-env.sh

                    进入到hive-env.sh文件中到文件最后添加如下的配置(这里的路径选择自己的hadoop目录和hive的conf目录)

                    点击键盘的i键

                    HADOOP_HOME=/opt/hadoop/hadoop-3.1.3/

                    export HIVE_CONF_DIR=/opt/hadoop/hive-3.1.3/conf

            3.退出hive-env.sh

                    点击键盘Esc键，输入冒号(:)，输入小写wq回车，就退出了。

2.配置hive-site.xml文件

            1.创建hive-site.xml

                    vim hive-site.xml

            2.配置hive-site.xml环境

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>hive.metastore.local</name>
    <value>true</value>
  </property>
<!--这里的hadoop101为mysql所存放的主机名称，如果是伪分布式的可以写localhost-->
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://hadoop101:3306/hive?createDatabaseIfNotExist=true</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
<!--这里的root为mysql的用户名-->
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
<!--这里的A1b2_c3d4e5为mysql数据库的密码-->
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>A1b2_c3d4e5</value>
  </property>

</configuration>

            3.退出hive-site.xml文件

5.解压mysql的jar包驱动

1.解压jar包

                    1.这里的jar包已经在前面下载MySQL的时候已经下载了，这里就移动到下载jar包的目录下进行jar包的解压。

                             tar -zxvf mysql-connector-java-8.0.26.tar.gz

2.移动jar包到hive的目录下

                    1.移动到解压后的jar包目录下

                            cd mysql-connector-java-8.0.26/

                    2.使用cp命令对jar包进行复制

                            cp mysql-connector-java-8.0.26.jar /opt/hadoop/hive-3.1.3/lib/

6.格式化hive

             使用格式化命令

                    schematool -dbType mysql -initSchema

7.启动hive

            1.启动Hadoop的进行，hive是基于Hadoop的来进行搭建的，他的数据时存储在hdfs中的，元数据存储在MySQL中。

                    start-dfs.sh

                    start-yarn.sh

            2.启动hive

                    hive

            3.常见报错，在使用hive命令是报java.net.ConnectException: 拒绝连接; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused这是因为Hadoop的集群没有启动