Hadoop安装Hive

Hadoop 安装 Hive

在 Hadoop 集群上安装 Hive 需要完成以下几个步骤：

1. 安装 Hadoop：确保 Hadoop 集群已经安装并运行。
2. 下载并安装 Hive：获取 Hive 安装包并进行配置。
3. 配置 Hive：设置 Hive 配置文件和环境变量。
4. 启动 Hive：验证 Hive 是否安装成功并开始使用。

1. 安装 Hadoop

如果还没有安装 Hadoop，可以参考以下简要步骤安装 Hadoop。

安装前提条件

确保你的系统已经安装了 Java JDK（推荐使用 JDK 1.8 版本）。

下载并解压 Hadoop

1. 下载 Hadoop：> > wget https://downloads.apache.org/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz>
2. 解压 Hadoop：> > tar -xzf hadoop-3.3.6.tar.gz>
3. 将 Hadoop 目录移动到合适的位置（例如 /usr/local/hadoop）：> > sudo mv hadoop-3.3.6 /usr/local/hadoop >

配置 Hadoop

编辑 Hadoop 的配置文件（

core-site.xml

,

hdfs-site.xml

,

mapred-site.xml

,

yarn-site.xml

），例如：

core-site.xml

<configuration> 
<property> 
<name>fs.defaultFS</name> 
<value>hdfs://localhost:9000</value> 
</property> 
</configuration>

hdfs-site.xml

<configuration> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 
<property> 
<name>dfs.name.dir</name> 
<value>file:///usr/local/hadoop/hadoopdata/hdfs/namenode</value> 
</property> 
<property> 
<name>dfs.data.dir</name> 
<value>file:///usr/local/hadoop/hadoopdata/hdfs/datanode</value> 
</property> 
</configuration>

mapred-site.xml

<configuration> 
<property> 
<name>mapreduce.framework.name</name> 
<value>yarn</value> 
</property> 
</configuration>

yarn-site.xml

<configuration> 
<property> 
<name>yarn.nodemanager.aux-services</name> 
<value>mapreduce_shuffle</value> 
</property> 
</configuration>

格式化 HDFS 并启动 Hadoop

格式化 HDFS：

/usr/local/hadoop/bin/hdfs namenode -format 

启动 HDFS 和 YARN：

/usr/local/hadoop/sbin/start-dfs.sh /usr/local/hadoop/sbin/start-yarn.sh 

验证 Hadoop 是否正常运行：

jps 

2. 下载并安装 Hive

下载 Hive

1. 下载 Hive：> > wget https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz >
2. 解压 Hive：> > tar -xzf apache-hive-3.1.3-bin.tar.gz >
3. 将 Hive 目录移动到合适的位置（例如 /usr/local/hive）：> > sudo mv apache-hive-3.1.3-bin /usr/local/hive >

3. 配置 Hive

设置环境变量

编辑

.bashrc

或

.bash_profile

文件，添加以下内容：

export HADOOP_HOME=/usr/local/hadoop export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin 

使环境变量生效：

source ~/.bashrc 

配置 Hive

编辑

hive-site.xml

文件（可以从模板

hive-default.xml.template

复制一份）：

<configuration> 
<property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:derby:;databaseName=metastore_db;create=true</value> 
<description>JDBC connect string for a JDBC metastore</description> 
</property> 
<property> 
<name>javax.jdo.option.ConnectionDriverName</name> <value>org.apache.derby.jdbc.EmbeddedDriver</value> 
<description>Driver class name for a JDBC metastore</description> 
</property> 
<property> 
<name>javax.jdo.option.ConnectionUserName</name> 
<value>APP</value> 
<description>username to use against metastore database</description> 
</property> 
<property> 
<name>javax.jdo.option.ConnectionPassword</name> 
<value>mine</value> 
<description>password to use against metastore database</description> 
</property> 
<property> 
<name>datanucleus.schema.autoCreateAll</name> 
<value>true</value> 
<description>create necessary schema on a clean database</description> 
</property> <property> 
<name>hive.metastore.warehouse.dir</name> 
<value>/user/hive/warehouse</value> <description>location of default database for the warehouse</description> 
</property> <property> 
<name>hive.exec.scratchdir</name> 
<value>/tmp/hive</value> 
<description>scratch space for Hive jobs</description> 
</property> 
</configuration>

4. 启动 Hive

启动 Hive 命令行接口（CLI）：

hive 

验证 Hive 安装

在 Hive CLI 中运行以下命令验证 Hive 是否正常工作：

1. 创建数据库：> > CREATE DATABASE test_db; >
2. 使用数据库：> > USE test_db; >
3. 创建表：> > CREATE TABLE test_table (id INT, name STRING); >
4. 插入数据：> > INSERT INTO TABLE test_table VALUES (1, 'Alice'), (2, 'Bob'); >
5. 查询数据：> > SELECT * FROM test_table; >

如果以上步骤都能成功运行，说明 Hive 安装和配置完成，可以开始使用 Hive 进行大数据分析了。