配置Sqoop1.4.7支持Hadoop3

大家好，我是邵奈一，一个不务正业的程序猿、正儿八经的斜杠青年。
1、世人称我为：被代码耽误的诗人、没天赋的书法家、五音不全的歌手、专业跑龙套演员、不合格的运动员…
2、这几年，我整理了很多IT技术相关的教程给大家，爱生活、爱分享。
3、如果您觉得文章有用，请收藏，转发，评论，并关注我，谢谢！
博客导航跳转（请收藏）：邵奈一的技术博客导航
| 公众号 | 微信 | CSDN | 掘金 | 51CTO | 简书 | 微博 |

教程目录

0x00 教程内容

0x01 说明

目前Sqoop项目官方已经停止更新和维护了，Hadoop支持的版本也停在了2.6版本，如果在Hadoop3.x版本继续使用Sqoop的话，会遇到一些低级的错误。

本文通过简单的操作，实现Sqoop与Hadoop3.x版本的搭配使用。

1. 本操作所使用的版本

Hadoop3.3.4
Hive3.1.3
Sqoop1.4.7
MySQL8.0.30

下载Sqoop的两个安装包：
下载地址：http://archive.apache.org/dist/sqoop/1.4.7
sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz #只用到里面的jar包
sqoop-1.4.7.tar.gz #上传到服务器

2. 简单思路

一、将sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz/lib文件夹下的avro-1.8.1.jar上传到sqoop-1.4.7.tar.gz/lib文件夹。如下所示：

二、上传MySQL驱动包到sqoop-1.4.7/lib下面即可。

最终效果：

三、配置Sqoop的配置文件
配置文件为conf/sqoop-env.sh，添加以下内容：

export HADOOP_COMMON_HOME=/opt/software/hadoop-3.3.4
export HADOOP_MAPRED_HOME=/opt/software/hadoop-3.3.4
export HIVE_HOME=/opt/software/apache-hive-3.1.3-bin
export HIVE_CONF_DIR=/opt/software/apache-hive-3.1.3-bin/conf
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*

这样就可以使用了！

0xFF 总结

1. 简单总结就是两点，从集成包里把必须的jar包丢到Sqoop的lib文件夹，然后其他的jar包使用功能Hadoop和Hive的即可。

邵奈一 原创不易，如转载请标明出处，教育是一生的事业。