Hadoop Hdfs基本命令

0目录

1.hadoop****安装问题处理

2.hdfs****基本命令

**3.**上传/下载文件和文件夹

1.hadoop安装问题处理

如果安装有进程无法启动，如下图

重新检查6个配置文件

Core-site.xml \ hdfs-site.xml \ hadoop-env.sh \ yarn-site.xml \ workers \ yarn-site.xml

来到hadoop313目录

清空data和yarndata

重新初始化

测试

2.hadoop hdfs基本命令

Windows****目录添加端口号

测试

分布式启动命令

关闭

启动dfs.sh

关闭dfs.sh

启动yarn

对应

dfs.sh 对应 DataNode / NameNode / SecondaryNameNode

yarn.sh 对应 ResourceManager / NodeManager

启动单一进程

来到sbin目录下 启动hdfs

启动yarn

3.上传/下载文件夹和文档

目前没有文件和文档

**Opt **目录下创建kb23tmp文件夹，kb23tmp创建hellohadoop.txt

编辑hellohadoop.txt

上传

上传成功

上传文件 来到install目录下

hdfs 创建 install文件

上传

[root@kb130 install]# hdfs dfs -put ./hadoop313.gz /install

上传成功

3个节点

删除文档

删除文件夹

下载 将hellohadoop.txt 下载到当前（kb23tmp目录下）

补充常见端口号

• 常用端口号 hadoop3.x HDFS NameNode 内部通常端口: 8020/9000/9820 HDFS NameNode 对用户的查询端口:9870 Yarn查看任务运行情况的:8088 历史服务器:19888 hadoop2.x HDFS NameNode内部通常端口:8020/9000 HDFS NameNode 对用户的查询端口: 50070 Yarn查看任务运行情况的:8088 历史服务器:19888 二、常用的配置文件 3.x core-site. xml hdfs-site. xml yarn-site. xml mapred-site.xml workers 2.x core-site. xml hdfs-site.xml yarn-site.xml mapred-site.xml slaves

Yarn

开启历史服务器