大数据处理实验（三）HDFS基本操作实验

HDFS基本操作实验

HDFS的基本命令格式:hdfs dfs -cmd <args>

注意：需要事先将HADOOP_HOME/bin目录配置进入环境变量。

1、Hadoop配置环境变量

进入实验二创建的master容器

sudodocker start master
sudodockerexec -it master /bin/bash

参考文章：Hadoop配置环境变量
https://blog.csdn.net/sinat_38079265/article/details/108599800

进入hadoop安装目录

cd /usr/local/hadoop-3.2.1

进入文件

vi /etc/profile

配置环境变量

exportHADOOP_HOME=/usr/local/hadoop-3.2.1
exportPATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

第一行的的HADOOP_HOME是你的hadoop安装的位置。

保存环境变量

source /etc/profile

按照实验一步骤启动hadoop

2、列出当前目录下的文件

hdfs dfs -ls

在HDFS创建文件夹:hdfs dfs -mkdir <文件夹名称>

3、级联创建一个文件夹，类似这样一个目录：/mybook/input

hdfs dfs -mkdir -p <文件夹名称>

4、上传文件至HDFS

hdfs dfs -put <源路径><目标存放路径>

5、从HDFS上下载文件

hdfs dfs -get <HDFS文件路径><本地存放路径>

6、查看HDFS上某个文件的内容

hdfs dfs -text <HDFS上的文件存放路径>

hdfs dfs -cat <HDFS上的文件存放路径>

6、统计目录下各文件的大小（单位：字节B）

hdfs dfs -du <目录路径>

7、删除HDFS上某个文件或者文件夹

hdfs dfs -rm <文件>

hdfs dfs -rm -r <文件夹>

8、使用help命令寻求帮助

hdfs dfs -help <命令>