【头歌】Sqoop的安装与配置 - 详解

【提示】点击每一关参考答案可以快速复制。

第1关：Sqoop的安装与配置

任务描述

本关任务：安装并配置 Sqoop ，用 Sqoop 查看 Mysql 中的数据库。

相关知识

为了完成本关任务，你需要掌握： 1、

Sqoop

基本安装。 2、

Sqoop

配置。

注意：本关实训

Sqoop

的安装与配置建立在

Hadoop

、

Hive

、

MySQL

已安装配置好的情况下。 可以参考Hive、MySQL安装。

Sqoop基本安装

你可以在此网址下载最新的 Sqoop ——Sqoop下载,这里已经帮你下载好了，放在

/opt

目录下。

• 接下来我们进入/opt目录内，解压sqoop的安装包到/app目录下，并将解压好的安装包重命名为sqoop。 依次输入以下命令：

mkdir /app
cd /opt
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /app
cd /app
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

• 设置环境变量，输入vi /etc/profile，在末尾添加以下两行代码；

export SQOOP_HOME=/app/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

• 最后输入source /etc/profile使环境生效。

Sqoop配置

将

/app/sqoop/conf

下面的

sqoop-env-template.sh

文件改名为

sqoop-env.sh

。

cd /app/sqoop/conf

mv sqoop-env-template.sh sqoop-env.sh

vi sqoop-env.sh

配置

hadoop

、

hive

、

hbase

环境变量。

export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/hive-2.3.2

查看

sqoop

版本号——

sqoop version

。

图片那么多的 Warning 信息是配置

Hbase

，

Accumulo

的环境变量。对操作没有太多的影响。 查看

sqoop

帮助——

sqoop help

。

Sqoop 需要对接 MySQL 数据库，所以需要添加对应的JDBC驱动包（mysql-connector-java-5.1.45.tar.gz），用于数据库连接，这里的驱动包已经放在了

/opt

中。

cd /opt

tar -zxvf mysql-connector-java-5.1.45.tar.gz

cp mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /app/sqoop/lib/

至此

Sqoop

配置完成。 最后我们用安装好的 Sqoop 查看 MySQL 内的数据库。**(这里和编程要求同，详见参考答案)**

sqoop list-databases -connect jdbc:mysql://localhost:3306/ --username root --password 123123

编程要求

根据上述步骤安装配置好

Sqoop

，并连接数据库成功，成功后将信息**存入

/app/log.txt

中**。

注意：我们存入信息使用

>

，表示每次都会新生成一个

>

后面的文件，将之前生成的文件替换掉（文件创建时间也会跟着改变）。

测试说明

若安装配置成功，则程序会输出：

sqoop-env.sh解压路径正确！
information_schema
mysql
performance_schema

参考答案

#命令行

#解压sqoop的安装包到/app目录下
mkdir /app
cd /opt
tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /app
cd /app
mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

#进入vi编辑器
vi /etc/profile

#以下为在vi编辑器中需要输入的内容。
#使用提示：【i】键进入插入模式，鼠标滚轮可以快速上下滑动光标，执行对应插入操作，最后【Esc】键退出vi插入模式，输入“:wq”保存并退出vi编辑器。
#使用提示：PageUp（PgUp）、PageDown（PgDn）键快速定位光标到文件开始位置和结束位置，Home、End键快速定位光标到当前行的行首和行末。

#粘贴以下内容到末尾
export SQOOP_HOME=/app/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

#命令行

#使环境生效
source /etc/profile

#将/app/sqoop/conf 下面的sqoop-env-template.sh文件改名为sqoop-env.sh
cd /app/sqoop/conf
mv sqoop-env-template.sh sqoop-env.sh

#vi sqoop-env.sh配置hadoop、hive、hbase环境变量
vi sqoop-env.sh

#以下为在vi编辑器中需要输入的内容。
#使用提示：【i】键进入插入模式，鼠标滚轮可以快速上下滑动光标，执行对应插入操作，最后【Esc】键退出vi插入模式，输入“:wq”保存并退出vi编辑器。
#使用提示：PageUp（PgUp）、PageDown（PgDn）键快速定位光标到文件开始位置和结束位置，Home、End键快速定位光标到当前行的行首和行末。

#为了保持文件的可读性，请将修改对应行的注释为以下内容，不要直接粘贴
export HADOOP_COMMON_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=/usr/local/hadoop
export HIVE_HOME=/hive-2.3.2

#命令行

#查看sqoop版本号
sqoop version

#查看sqoop帮助
sqoop help

#查看驱动包是否在/opt中
cd ~
ls /opt

#添加对应的JDBC驱动包
cd /opt
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cp mysql-connector-java-5.1.45/mysql-connector-java-5.1.45-bin.jar /app/sqoop/lib/

#用安装好的 Sqoop 查看 MySQL 内的数据库
sqoop list-databases -connect jdbc:mysql://localhost:3306/ --username root --password 123123 > /app/log.txt

至此，所有内容都完成辣。如果存在任何问题欢迎大佬指教🥰！