0
0

【Hadoop】【hdfs】【大数据技术基础】实践一 利用Java API与HDFS进行交互

*实践1 利用Java API与HDFS*进行交互

    Hadoop不同的文件系统之间通过调用Java API进行交互，前一节介绍的Shell命令，本质上就是Java API的应用。下面提供了Hadoop官方的Hadoop API文档，想要深入学习Hadoop，可以访问**如下网站**，查看各个API的功能。

Hadoop API文档

    点击Ubuntu左侧边栏的搜索工具，输入“ec”，自动搜索已经安装好的相关软件，****打开********Eclipse****

一、在Eclipse****创建项目

    第一次打开Eclipse,需要填写workspace(工作空间)，用来保存程序所在的位置，这里按照默认，不需要改动，如下图

点击“OK”按钮，进入Eclipse软件。

    可以看出，由于当前是采用hadoop用户登录了Linux系统，因此，默认的工作空间目录位于hadoop用户目录“/home/hadoop”下。

    Eclipse启动以后，会呈现如图所示的界面。

选择“File->New->Java Project”菜单，开始创建一个Java工程，会弹出如图所示界面。

找不到的话可能在：

  • File->New->others

  • Java->Java Project

  •   在“Project name”后面输入工程名称“HDFSExample”，选中“Use default location”，让这个Java工程的所有文件都保存到“/home/hadoop/workspace/HDFSExample”目录下。在“JRE”这个选项卡中，可以选择当前的Linux系统中已经安装好的JDK，比如java-8-openjdk-amd64。然后，点击界面底部的“Next>”按钮，进入下一步的设置。

二、为项目添加需要用到的JAR****包

进入下一步的设置以后，会弹出如图下所示界面。

    需要在这个界面中****加载该********Java********工程所需要用到的********JAR********包****，这些JAR包中包含了可以访问HDFS的Java API。这些JAR包都位于Linux系统的Hadoop安装目录下，对于本教程而言，就是在“****/usr/local/hadoop/share/hadoop****”目录下。**点击界面中的“****Libraries****”选项卡，然后，点击界面右侧的“****Add External JARs****…”按钮，**会弹出如图所示界面。


 在该界面中，上面的一排目录按钮（即“usr”、“local”、“hadoop”、“share”、“hadoop”、“mapreduce”和“lib”），当点击某个目录按钮时，就会在下面列出该目录的内容。

为了编写一个能够与HDFS交互的Java应用程序，一般需要向Java工程中添加以下JAR包：
（1）”/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar；
（2）/usr/local/hadoop/share/hadoop/common/lib”目录下的所有JAR包；
（3）“/usr/local/hadoop/share/hadoop/hdfs”目录下的haoop-hdfs-2.7.1.jar和haoop-hdfs-nfs-2.7.1.jar；
（4）“/usr/local/hadoop/share/hadoop/hdfs/lib”目录下的所有JAR包。
比如，如果要把“/usr/local/hadoop/share/hadoop/common”目录下的hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar添加到当前的Java工程中，可以在界面中点击目录按钮，进入到common目录，然后，界面会显示出common目录下的所有内容（如下图所示）。

 请在界面中用鼠标点击选中hadoop-common-2.7.1.jar和haoop-nfs-2.7.1.jar，然后点击界面右下角的“OK”按钮，就可以把这两个JAR包增加到当前Java工程中。

    然后，按照类似的操作方法，可以再次点击“Add External JARs…”按钮，把剩余的其他JAR包都添加进来。需要注意的是，当需要选中某个目录下的所有JAR包时，可以使用“Ctrl+A”组合键进行全选操作。全部添加完毕以后，就可以点击界面右下角的“Finish”按钮，完成Java工程HDFSExample的创建。

三、编写Java****应用程序代码

    下面编写一个Java应用程序，用来检测HDFS中是否存在一个文件。

    请在Eclipse工作界面左侧的“Package Explorer”面板中，找到刚才创建好的工程名称“HDFSExample”，然后在该工程名称上点击鼠标右键，在弹出的菜单中选择“New->Class”菜单。

找不到的话可能在：

  • File->New->others
  • Java->Class

选择“New->Class”菜单以后会出现如图所示界面。

    在该界面中，只需要在“Name”后面输入新建的Java类文件的名称，这里采用名称“HDFSFileIfExist”，其他都可以采用默认设置，然后，点击界面右下角“Finish”按钮，出现如图所示界面:

可以看出，Eclipse自动创建了一个名为“HDFSFileIfExist.java”的源代码文件，请在该文件中输入以下代码：

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

public class HDFSFileIfExist {

public static void main(String[] args){

    try{

        **String fileName = "test";**

        Configuration conf = new Configuration();

        conf.set("fs.defaultFS", "hdfs://localhost:9000");

        conf.set("fs.hdfs.impl", "org.apache.hadoop.hdfs.DistributedFileSystem");

        FileSystem fs = FileSystem.get(conf);

        if(**fs.exists(new Path(fileName))**){

            System.out.println("文件存在");

        }else{

            System.out.println("文件不存在");

        }

    }catch (Exception e){

        e.printStackTrace();

    }

}

}

该程序用来测试HDFS中是否存在一个文件，其中有一行代码：

String fileName = "test"

    这行代码给出了需要被检测的文件名称是“test”，没有给出路径全称，表示是采用了相对路径，实际上就是测试当前登录Linux系统的用户hadoop，在HDFS中对应的用户目录下是否存在test文件，也就是**测试****HDFS****中的“****/user/hadoop/****”目录下是否存在****test****文件。**

四、****编译运行程序

    在开始编译运行程序之前，请一定**确保****Hadoop****已经启动运行**，如果还没有启动，需要打开一个Linux终端，输入以下命令启动Hadoop：

  • cd /usr/local/hadoop

  • ./sbin/start-dfs.sh

  •   现在就可以编译运行上面编写的代码。可以直接点击Eclipse工作界面上部的运行程序的快捷按钮，当把鼠标移动到该按钮上时，在弹出的菜单中选择“Run As”，继续在弹出来的菜单中选择“Java Application”，如下图所示。

然后，会弹出如下图所示界面。

    在该界面中，需要在“Select type”下面的文本框中输入“HDFSFileIfExist”，Eclipse就会自动找到相应的类“HDFSFileIfExist-(default package)”（注意：这个类在后面的导出JAR包操作中的Launch configuration中会被用到），然后，点击界面右下角的“OK”按钮，开始运行程序。

    程序运行结束后，会在底部的“Console”面板中显示运行结果信息（如下图所示）。由于目前HDFS的“/user/hadoop”目录下还没有test文件，因此，程序运行结果是“文件不存在”。同时，“Console”面板中还会显示一些类似“log4j:WARN…”的警告信息，可以不用理会。

五、****应用程序的部署

    下面介绍如何把Java应用程序生成JAR包，部署到Hadoop平台上运行。首先，在Hadoop安装目录下新建一个名称为myapp的目录，用来存放我们自己编写的Hadoop应用程序，可以在Linux的终端中执行如下命令：
  • cd /usr/local/hadoop
  • mkdir myapp

    然后，请在Eclipse工作界面左侧的“Package Explorer”面板中，在工程名称“HDFSExample”上点击鼠标右键，在弹出的菜单中选择“Export”，如下图所示。

tips：点击该按钮可以先关闭Console面板：

然后，会弹出如下图所示界面。

在该界面中，选择“Runnable JAR file”，然后，点击“Next>”按钮，弹出如下图所示界面。

找不到的话可能在：

  • File->New->others
  • Java->Runnable JAR file

    在该界面中，“Launch configuration”用于设置生成的JAR包被部署启动时运行的主类，需要在下拉列表中选择刚才配置的类“HDFSFileIfExist-HDFSExample”。在“Export destination”中需要设置JAR包要输出保存到哪个目录，比如，这里设置为“/usr/local/hadoop/myapp/HDFSExample.jar”。在“Library handling”下面选择“Extract required libraries into generated JAR”。

然后，点击“Finish”按钮，会出现如下图所示界面。

     可以忽略该界面的信息，直接点击界面右下角的“OK”按钮，启动打包过程。打包过程结束后，会出现一个警告信息界面，如下图所示。


    可以忽略该界面的信息，直接点击界面右下角的“OK”按钮。至此，已经顺利把HDFSExample工程打包生成了HDFSExample.jar。可以到Linux系统中查看一下生成的HDFSExample.jar文件，可以在Linux的终端中执行如下命令：
  • cd /usr/local/hadoop/myapp
  • ls

可以看到，“/usr/local/hadoop/myapp”目录下已经存在一个HDFSExample.jar文件。现在，就可以在Linux系统中，使用hadoop jar命令运行程序，命令如下：

cd /usr/local/hadoop

./bin/hadoop jar ./myapp/HDFSExample.jar

或者也可以使用如下命令运行程序：

cd /usr/local/hadoop

java -jar ./myapp/HDFSExample.jar

命令执行结束后，会在屏幕上显示执行结果“文件不存在”。
至此，检测HDFS文件是否存在的程序，就顺利部署完成了。

附录：自己练习用的代码文件

下面给出几个代码文件，供读者自己练习。

1.写入文件

    import org.apache.hadoop.conf.Configuration;  

    import org.apache.hadoop.fs.FileSystem;

    import org.apache.hadoop.fs.FSDataOutputStream;

    import org.apache.hadoop.fs.Path;

    public class Chapter3 {    

            public static void main(String[] args) {

                    try {

                            Configuration conf = new Configuration();  

                            conf.set("fs.defaultFS","hdfs://localhost:9000");

                            conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");

                            FileSystem fs = FileSystem.get(conf);

                            byte[] buff = "Hello world".getBytes(); // 要写入的内容

                            String filename = "test"; //要写入的文件名

                            FSDataOutputStream os = fs.create(new Path(filename));

                            os.write(buff,0,buff.length);

                            System.out.println("Create:"+ filename);

                            os.close();

                            fs.close();

                    } catch (Exception e) {  

                            e.printStackTrace();  

                    }  

            }  

    }

2.判断文件是否存在

    import org.apache.hadoop.conf.Configuration;

    import org.apache.hadoop.fs.FileSystem;

    import org.apache.hadoop.fs.Path;

    public class Chapter3 {

            public static void main(String[] args) {

                        try {

                                String filename = "test";

                                Configuration conf = new Configuration();

                                conf.set("fs.defaultFS","hdfs://localhost:9000");

                                conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");

                                FileSystem fs = FileSystem.get(conf);

                                if(fs.exists(new Path(filename))){

                                        System.out.println("文件存在");

                                }else{

                                        System.out.println("文件不存在");

                                }

                                fs.close();

                    } catch (Exception e) {

                            e.printStackTrace();

                    }

            }

    }

3.读取文件

    import java.io.BufferedReader;

    import java.io.InputStreamReader;

    import org.apache.hadoop.conf.Configuration;

    import org.apache.hadoop.fs.FileSystem;

    import org.apache.hadoop.fs.Path;

    import org.apache.hadoop.fs.FSDataInputStream;

    public class Chapter3 {

            public static void main(String[] args) {

                    try {

                            Configuration conf = new Configuration();

                            conf.set("fs.defaultFS","hdfs://localhost:9000");

                            conf.set("fs.hdfs.impl","org.apache.hadoop.hdfs.DistributedFileSystem");

                            FileSystem fs = FileSystem.get(conf);

                            Path file = new Path("test");

                            FSDataInputStream getIt = fs.open(file);

                            BufferedReader d = new BufferedReader(new InputStreamReader(getIt));

                            String content = d.readLine(); //读取文件一行

                            System.out.println(content);

                            d.close(); //关闭文件

                            fs.close(); //关闭hdfs

                    } catch (Exception e) {

                            e.printStackTrace();

                    }

            }

    }
标签： hadoop 大数据 hdfs
本文转载自: https://blog.csdn.net/m0_73972962/article/details/142891915
版权归原作者 Kika写代码 所有， 如有侵权，请联系我们删除。
登录后发布评论

“【Hadoop】【hdfs】【大数据技术基础】实践一 利用Java API与HDFS进行交互”的评论:

还没有评论
关于作者
...
overfit同步小助手
文章同步
相关阅读

【STL_list 模拟】——打造属于自己的高效链表容器

pycharm2024.1.1配置已有的pytorch环境

STorM32 BGC：开源三轴无刷云台控制器

Hadoop/HBase/HDFS 常用默认端口总结列举,以及作用

Zookeeper 和 Eureka 做注册中心有什么区别？

前端程序员需要掌握的知识

MySQL Workbench菜单汉化为中文

文章导航