HDFS的JAVA API操作

3.5 HDFS的API操作

Hadoop提供了多种HDFS的访问接口，包括C API、HTTP API、REST API以及Java API。这里主要介绍HDFS Java API，API位于"org.apache.hadoop.fs"包中，这些API能够支持的操作包含打开文件、读写文件、删除文件等。

3.5.1 客户端环境准备

1. 下载Windows依赖文件：hadoop-3.1.0到指定路径。
2. 配置HADOOP_HOME环境变量

1. 配置Path环境变量

验证Hadoop环境变量是否正常。双击winutils.exe，如果报错误。说明缺少微软运行库，安装微软运行库即可。

1. 安装配置Maven，详情见安装Maven博客。 Maven博客
2. 在IDEA中创建一个Maven工程HdfsClientDemo，如图：

1. 配置POM.xml

将如下配置代码复制到POM.xml文件中：

<dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.1.3</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version></dependency><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId><version>1.7.30</version></dependency></dependencies>

结果如图：

1. 配置log4j.properties文件

在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入如下内容：

log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

配置完成后如图：

1. 创建名为java的文件

创建java文件夹，并将文件夹设置为Sources Root，如图：

设置完成后才能在java文件夹中创建package，否则不能创建。在java文件夹中创建package：com.li。

1. 在com.li包中创建HdfsClient类，进行Java API测试，测试代码如下：

packagecom.li;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.junit.Test;importjava.io.IOException;importjava.net.URI;importjava.net.URISyntaxException;publicclassHdfsClient{@TestpublicvoidtestMkdirs()throwsIOException,URISyntaxException,InterruptedException{// 1 获取文件系统Configuration configuration =newConfiguration();FileSystem fs =FileSystem.get(newURI("hdfs://hadoop102:8020"), configuration,"li");// 2 创建目录
        fs.mkdirs(newPath("/school/class01/"));// 3 关闭资源
        fs.close();}}

1. 执行程序

客户端去操作HDFS时，是有一个用户身份的。默认情况下，HDFS客户端API会从采用Windows默认用户访问HDFS，会报权限异常错误。所以在访问HDFS时，一定要配置用户。

org.apache.hadoop.security.AccessControlException:Permission denied: user=56576, access=WRITE, inode="/school/class01/":atg:supergroup:drwxr-xr-x

3.5.2 HDFS API

Hadoop类库中最终面向用户提供的接口类是FileSystem。该类是个抽象类，只能通过类的get方法得到具体类。该类封装了大部分的文件操作，如mkdir、delete等。
HDFS Java API的一般用法如下：

1. 实例化Configuraion类

Configuraion类封装了客户端或服务器的配置，Configuraion实例会自动加载HDFS的配置文件core-site.xml，从中获取Hadoop集群的配置信息；

Configuration conf =newConfiguration();

1. 实例化FileSystem类

FileSystem类是客户端访问文件系统的入口，是一个抽象的文件系统类。DistributedFielSystem类是FileSystem类的一个具体实现。实例化FileSystem类并返回默认的文件系统的代码如下：

FileSystem fs =FileSystem.get(uri, conf,"username");// 其中uri是URI类的实例，username表示用户名（字符串类型）

1. 设置目标对象的路径

HDFS Java API提供了Path类封装HDFS文件路径。Path类位于org.apache.hadoop.fs包中。设置目标对象路径的代码如下：

Path path =newPath("/test");

1. 执行文件或目录操作

得到FileSystem实例后，就可以使用该实例提供的方法执行相应的操作，例如：打开文件、创建文件、重名命文件、删除文件等。常用方法如下表：
方法名称及参数返回值功能create(Path f)FSDataOutputSteam创建一个文件open(Path f)FSDataInputStream打开指定的文件delete(Path f)boolean删除指定文件exists(Path f)boolean检查文件是否存在getBlockSize(Path f)long返回指定文件的数据块的大小getLength(Path f)long返回文件长度mkdirs(Path f)boolean建立子目录copyFromLoalFile(Path src, Path dst)void从本地磁盘上传文件到HDFScopyToLoalFile(Path src, Path dst)void从HDFS下载文件到本地磁盘………

3.5.3 操作实例

1. HDFS文件上传（测试参数优先级）

@TestpublicvoidtestCopyFromLocalFile()throwsIOException,InterruptedException,URISyntaxException{// 1 获取文件系统Configuration configuration =newConfiguration();
    configuration.set("dfs.replication","2");FileSystem fs =FileSystem.get(newURI("hdfs://hadoop102:8020"), configuration,"li");// 2 上传文件
    fs.copyFromLocalFile(newPath("d:/class01_name.txt"),newPath("/school/class01"));// 3 关闭资源
    fs.close();

参数优先级
参数优先级排序：（1）客户端代码中设置的值 >（2）ClassPath下的用户自定义配置文件 >（3）然后是服务器的自定义配置（xxx-site.xml） >（4）服务器的默认配置（xxx-default.xml）

2.HDFS文件下载

@TestpublicvoidtestCopyToLocalFile()throwsIOException,InterruptedException,URISyntaxException{// 1 获取文件系统Configuration configuration =newConfiguration();FileSystem fs =FileSystem.get(newURI("hdfs://hadoop102:8020"), configuration,"li");// 2 执行下载操作// boolean delSrc 指是否将原文件删除// Path src 指要下载的文件路径// Path dst 指将文件下载到的路径// boolean useRawLocalFileSystem 是否开启文件校验
        fs.copyToLocalFile(false,newPath("/school/class01/class01_name.txt"),newPath("d:/class01_name.txt"),true);// 3 关闭资源
        fs.close();}

1. HDFS文件更名和移动

@TestpublicvoidtestRename()throwsIOException,InterruptedException,URISyntaxException{// 1 获取文件系统Configuration configuration =newConfiguration();FileSystem fs =FileSystem.get(newURI("hdfs://hadoop102:8020"), configuration,"li");// 2 修改文件名称
    fs.rename(newPath("/school/class01/class01_name.txt"),newPath("/school/class01/new_class01_name.txt"));// 3 关闭资源
    fs.close();}

1. HDFS删除文件和目录

@TestpublicvoidtestDelete()throwsIOException,InterruptedException,URISyntaxException{// 1 获取文件系统Configuration configuration =newConfiguration();FileSystem fs =FileSystem.get(newURI("hdfs://hadoop102:8020"), configuration,"li");// 2 执行删除
    fs.delete(newPath("/school"),true);// 3 关闭资源
    fs.close();}

1. HDFS文件详情查看

@TestpublicvoidtestListFiles()throwsIOException,InterruptedException,URISyntaxException{// 1获取文件系统Configuration configuration =newConfiguration();FileSystem fs =FileSystem.get(newURI("hdfs://hadoop102:8020"), configuration,"li");// 2 获取文件详情RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(newPath("/"),true);while(listFiles.hasNext()){LocatedFileStatus fileStatus = listFiles.next();System.out.println("========"+ fileStatus.getPath()+"=========");System.out.println(fileStatus.getPermission());System.out.println(fileStatus.getOwner());System.out.println(fileStatus.getGroup());System.out.println(fileStatus.getLen());System.out.println(fileStatus.getModificationTime());System.out.println(fileStatus.getReplication());System.out.println(fileStatus.getBlockSize());System.out.println(fileStatus.getPath().getName());// 获取块信息BlockLocation[] blockLocations = fileStatus.getBlockLocations();System.out.println(Arrays.toString(blockLocations));}// 3 关闭资源
    fs.close();}

1. HDFS文件和文件夹判断

@TestpublicvoidtestListStatus()throwsIOException,InterruptedException,URISyntaxException{// 1 获取文件配置信息Configuration configuration =newConfiguration();FileSystem fs =FileSystem.get(newURI("hdfs://hadoop102:8020"), configuration,"li");// 2 判断是文件还是文件夹FileStatus[] listStatus = fs.listStatus(newPath("/"));for(FileStatus fileStatus : listStatus){// 如果是文件if(fileStatus.isFile()){System.out.println("f:"+fileStatus.getPath().getName());}else{System.out.println("d:"+fileStatus.getPath().getName());}}// 3 关闭资源
    fs.close();}