0


第1关:Hive的安装与配置

为了完成本关任务,你需要掌握: 1.

Hive

的基本安装; 2.

Mysql

的安装与设置; 3.Hive 的配置。

注意:本关实训

Hive

的安装与配置建立在

Hadoop

已安装配置好的情况下。

Hive 的基本安装

从 官网 下载

Hive

二进制包,不过这里你无须再从网上下载,我已经帮你下载好了放在

/opt

目录下。

mysql安装包链地: MySQL :: Begin Your Download

hive安装包链地: https://pan.baidu.com/s/1YRkPO6wpodqS9nPNAQnsJA 提取码:gck1

  • 进入/opt目录,解压apache-hive-3.1.0-bin.tar.gz到该目录下,并将解压的文件重命名为hive
cd /opt

tar -zxvf apache-hive-3.1.0-bin.tar.gz

mv apache-hive-3.1.0-bin hive
  • 设置环境变量,编辑vi /etc/profile,在末尾添加以下两行代码;
export HIVE_HOME=/opt/hive
export PATH=$HIVE_HOME/bin:$PATH
  • source /etc/profile使环境生效;

  • 查看hive是否安装成功: hive --version。

出现

hive

版本就说明安装成功,但是可以看到其中有一些警告信息,是由于包的冲突引起的。我们只需删除掉引起冲突的包即可:

rm /opt/hive/lib/log4j-slf4j-impl-2.10.0.jar。

Mysql 的安装与设置

平台已安装

MySQL

数据库,同学们在本地没有安装可以采用以下命令进行安装:

apt-get install mysql-server #安装mysql服务

apt-get install mysql-client #安装mysql客户端

apt-get install libmysqlclient-dev #安装相关依赖环境

注意:安装过程中会提示设置密码什么的,不要忘了设置。

安装完成之后可以使用如下命令来检查是否安装成功。

netstat -tap | grep mysql

通过上述命令检查之后,如果看到有

MySQL

socket

处于

listen

状态则表示安装成功。

Hive

需要数据库来存储

metastore

的内容,因此我们需要配置一下

MySQL

数据库。

  • 下载mysql驱动;我已经帮你下载好放在/opt目录下,进入该目录并进行以下操作:
tar -zxvf mysql-connector-java-5.1.45.tar.gz

cd mysql-connector-java-5.1.45

cp mysql-connector-java-5.1.45-bin.jar /opt/hive/lib/

接下来介绍

MySQL

Hive

做的设置。

  • 使用root用户登录MySQL数据库;
mysql -uroot -p123123 -h127.0.0.1
  • 创建数据库实例hiveDB
create database hiveDB;
  • 创建用户bee,密码为123123
create user 'bee'@'%' identified by '123123';
  • 授权用户bee拥有数据库实例hiveDB的所有权限;
grant all privileges on hiveDB.* to 'bee'@'%' identified by '123123';
  • 刷新系统权限表。
flush privileges;

Hive 的配置

/opt/hive/conf

目录下,修改

hive-site.xml

hive-env.sh

两个文件。

hive-site.xml

hive-site.xml

保存

Hive

运行时所需要的相关配置信息。

  • 如果目录下没有该文件,我们直接创建一个:vi hive-site.xml,将以下内容复制到其中(按i进入编辑模式后再进行粘贴)。
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- WARNING!!! This file is auto generated for documentation purposes ONLY! -->
<!-- WARNING!!! Any changes you make to this file will be ignored by Hive. -->
<!-- WARNING!!! You must make your changes in hive-site.xml instead. -->
<!-- Hive Execution Parameters -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/opt/hive/warehouse</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/opt/hive/tmp</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/opt/hive/logs</value>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>localhost</value>
</property>
<property>
<name>hive.server2.enable.doAs</name>
<value>true</value>
</property>

<property>
<name>hive.session.id</name>
<value>false</value>
</property>
<property>
<name>hive.session.silent</name>
<value>false</value>
</property>

<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hiveDB?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>bee</value>
<!-- 这里是之前设置的数据库 -->
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<!-- 这里是数据库密码 -->
<value>123123</value>
</property>
</configuration>

完成后,在命令行模式(按

Esc

),输入

:wq

保存退出。

hive-env.sh

由于

Hive

是一个基于

Hadoop

分布式文件系统的数据仓库架构,主要运行在

Hadoop

分布式环境下,因此,需要在文件

hive-env.sh

中指定

Hadoop

相关配置文件的路径,用于

Hive

访问

HDFS

(读取

fs.defaultFS

属性值)和

MapReduce

(读取

mapreduce.jobhistory.address

属性值)等

Hadoop 

相关组件。

  • 如果目录下没有该文件,我们就以模板复制一个
cp hive-env.sh.template hive-env.sh
vi hive-env.sh
  • 打开文件,在文件末尾添加变量指向 Hadoop 的安装路径:
HADOOP_HOME=/usr/local/hadoop 
 #在本地环境安装,要根据自己hadoop的路径来确定

至此

Hive

配置完成。

第一次启动

Hive

前还需要执行初始化命令:

schematool -dbType mysql -initSchema。

编程要求

  • 根据上述步骤完成Hive的安装与配置
  • 然后在命令行start-dfs.sh启动 Hadoop
  • 点击测评,验证hive是否成功安装配置。

标签: hive mysql 大数据

本文转载自: https://blog.csdn.net/qq_61604164/article/details/128013098
版权归原作者 是草莓熊吖 所有, 如有侵权,请联系我们删除。

“第1关:Hive的安装与配置”的评论:

还没有评论