0


【Hadoop】——JavaAPI操作

一、windows客户端准备

<1>双击安装hadoop依赖

<2>放在非中文路径下,双击winutils.exe进行安装

在这里插入图片描述
如果安装错误,先安装微软运行库
在这里插入图片描述

<3>新建Java Maven 工程

<4>maven坐标

  1. <dependencies><dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-client</artifactId><version>3.1.3</version></dependency><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>4.12</version></dependency><dependency><groupId>org.slf4j</groupId><artifactId>slf4j-log4j12</artifactId><version>1.7.30</version></dependency></dependencies>

<5>在sre/main/resources下新建log4j.properties配置文件

  1. log4j.rootLogger=INFO, stdout
  2. log4j.appender.stdout=org.apache.log4j.ConsoleAppender
  3. log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
  4. log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
  5. log4j.appender.logfile=org.apache.log4j.FileAppender
  6. log4j.appender.logfile.File=target/spring.log
  7. log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
  8. log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

<6>新建类 HdfsClient

二、API操作

<1>创建文件夹

  1. packagecom.demo.hdfs;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.junit.After;importorg.junit.Before;importorg.junit.Test;importjava.io.IOException;importjava.net.URI;importjava.net.URISyntaxException;/**
  2. * 客户端代码操作
  3. * 1. 获取一个客户端对象
  4. * 2. 执行相关操作
  5. * 3. 关闭资源
  6. */publicclassHdfsClient{privateFileSystem fs;@Beforepublicvoidinit()throwsURISyntaxException,InterruptedException,IOException{//连接集群nn地址URI uri =newURI("hdfs://hadoop102:8020");//创建一个配置文件Configuration configuration =newConfiguration();//用户String user ="root";//获取客户端对象
  7. fs =FileSystem.get(uri, configuration, user);}@Afterpublicvoidclose()throwsIOException{//关闭资源
  8. fs.close();}@TestpublicvoidtestMkdir()throwsIOException{//创建一个文件夹
  9. fs.mkdirs(newPath("/apipath1"));}}

<2>上传

  1. //上传@TestpublicvoidtestPut()throwsIOException{//参数1 :是否删除元数据//参数2: 是否允许覆盖//参数3: 目的路径
  2. fs.copyFromLocalFile(false,true,newPath("E:\\study\\BigData\\Hadoop\\脚本\\myhadoop.sh"),newPath("hdfs://hadoop102/code"));}

<3>下载

  1. //下载@TestpublicvoidtestGet()throwsIOException{//参数1 :是否删除原数据//参数2: 目的路径//参数3: 原文件路径//参数4:是否进行本地校验 ,false 开启,ture 关闭
  2. fs.copyToLocalFile(false,newPath("hdfs://hadoop102/code/myhadoop.sh"),newPath("E:\\"),true);}

.xxx.crc文件是一种校验方法

<4>删除

  1. //删除@TestpublicvoidtestRm()throwsIOException{//参数1 :目的路径//参数2: 是否递归删除//1. 删除文件//fs.delete(new Path("hdfs://hadoop102/code/myhadoop.sh"), true);//2. 删除空目录//fs.delete( new Path("hdfs://hadoop102/code/code1"), true);//3. 删除非空目录,如果不是递归删除,则报错
  2. fs.delete(newPath("hdfs://hadoop102/code/code2"),true);}

<5>文件更名和移动

  1. //文件更名和移动@TestpublicvoidtestMv()throwsIOException{//参数1 :原文件路径//参数2: 目的文件路径//1.文件名称更改//fs.rename(new Path("hdfs://hadoop102/code/myhadoop.sh"), new Path("hdfs://hadoop102/code/myhadoop_rename.sh"));//2.文件移动并修改//fs.rename(new Path("hdfs://hadoop102/code/myhadoop_rename.sh"), new Path("hdfs://hadoop102/myhadoop_remove_and_rename.sh"));//3. 目录更名
  2. fs.rename(newPath("hdfs://hadoop102/code"),newPath("hdfs://hadoop102/code_rename"));}

<6>文件详细信息查看

查看文件名称、权限、长度、块信息

  1. //文件详细信息查看@TestpublicvoidtestFileDetail()throwsIOException{//参数1 :路径//参数2: 目的文件路径//获取所有文件信息RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(newPath("hdfs://hadoop102/"),true);//遍历文件信息while(listFiles.hasNext()){LocatedFileStatus fileStatus = listFiles.next();System.out.println("-----------------------------------------");System.out.println(fileStatus.toString());System.out.println("-----------------------------------------");}}

toString方法

  1. publicStringtoString(){StringBuilder sb =newStringBuilder();
  2. sb.append(this.getClass().getSimpleName());
  3. sb.append("{");
  4. sb.append("path="+this.path);
  5. sb.append("; isDirectory="+this.isdir);if(!this.isDirectory()){
  6. sb.append("; length="+this.length);
  7. sb.append("; replication="+this.block_replication);
  8. sb.append("; blocksize="+this.blocksize);}
  9. sb.append("; modification_time="+this.modification_time);
  10. sb.append("; access_time="+this.access_time);
  11. sb.append("; owner="+this.owner);
  12. sb.append("; group="+this.group);
  13. sb.append("; permission="+this.permission);
  14. sb.append("; isSymlink="+this.isSymlink());if(this.isSymlink()){try{
  15. sb.append("; symlink="+this.getSymlink());}catch(IOException var3){thrownewRuntimeException("Unexpected exception", var3);}}
  16. sb.append("; hasAcl="+this.hasAcl());
  17. sb.append("; isEncrypted="+this.isEncrypted());
  18. sb.append("; isErasureCoded="+this.isErasureCoded());
  19. sb.append("}");return sb.toString();}

<7>文件和文件夹判断

  1. //判断是文件夹还是文件@TestpublicvoidtestFile()throwsIOException{//获取所有文件信息FileStatus[] fileStatuses = fs.listStatus(newPath("hdfs://hadoop102/"));//遍历文件信息for(FileStatus fileStatus : fileStatuses){if(fileStatus.isFile()){System.out.println("this is file--"+ fileStatus.toString());System.out.println("-----------------------------------------");}else{System.out.println("this is path--"+ fileStatus.toString());System.out.println("-----------------------------------------");}}}

本文转载自: https://blog.csdn.net/qq_42000631/article/details/122483873
版权归原作者 超越梦想_G 所有, 如有侵权,请联系我们删除。

“【Hadoop】&mdash;&mdash;JavaAPI操作”的评论:

还没有评论