Hadoop官网翻译 (HDFS命令)

HDFS命令行

用户命令

• dfs
• envvars

获取hadoop环境变量

• fsck <path>

-delete
-files -blocks -replicaDetails
-list-corruptfileblocks
-move :删除坏块到/lost+found
-openforwrite
-storagepolicies 存储策略
-replicate 满足副本策略

• getconf

基本上都可以在配置中看到，支持 -confkey [key]

• groups

获取groups用户

• httpfs

httpfs和wehdfs的区别在于httpfs相当于一个网关，只需要访问该节点。webhdfs需要访问所有的节点。

• IsSnapshottableDir

返回快照目录

• oev

镜像相关的,edit log修复，查看等，比如
/opt/hadoop-3.3.1/bin/hdfs oev -i edits_0000000000000000013-0000000000000000013 -o tmp.edit -v -p xml
关注下 -i -o -p等参数

• oiv

fsImage相关的参数，涉及到是否统计块信息，每次加载大小等
/opt/hadoop-3.3.1/bin/hdfs oiv -i fsimage_0000000000000000028 -o tmp.fsimage -p xml

• snapshotDiff

对比指定目录snapshot变化

Admin命令

• hdfs balancer

策略参数 支持datanode/blockpool datanode中应该包含blockpool,更细粒度的平衡
可以指定参与平衡的datanode,blockpool等等
通过asService可以指定作为长时服务
如果要控制移动，可以通过dfs.datanode.block-pinning.enabled指定

• crypto

目录加密相关

• upgrade/rollback

datanode和namenode升级判断是否可以直接升级，可以就直接改VERSION目录，如果不可以,那么可以通过BlockPoolSliceStorage类似方法进行升级。

• dfsadmin

report 报告文件信息和统计数据，可以筛选指标。
safemode [enter|level|get|wait|forceExit] 不能修改，不提供复制/删除服务
saveNamespace 修改最新的FSImage
rollEdits 回放日志，增加一个editlog事务id记录新的改动。fsImage和editlog最后的编号就是事务id
refreshNodes 下线和上线节点
setQuota <quota> 设置配额
refreshCallQueue 刷新CallQueue
callQueue是rpc队列，用户的rpc请求是进入监听队列，然后通过调度策略分配，然后handler线程执行

reconfig 重新配置
fetchImage 从其他位置加载最近的fsImage
shutdownDatanodes [datanode:ipc_port]
evictWriters <datanode_host:ipc_port> 驱逐摸一个块，多用于退役写入数据慢的节点
metasave 保存元数据的主要信息

• dfsrouter

router作用是解决NN伸缩性限制，进行子集群分割。router的意思是代理访问NN，客户端直接访问子集群的datanode。rm使用起来就是一个目录挂载多个ns目录。状态存储在ZK中

• dfsrouteradmin

add 一个目录挂载到子ns目录上
update
rm
refreshCallQueue 重新刷新call队列

• diskbalancer

datanode平衡

• ec

目的是为了减少副本数，但是达到一样的效果。
-getPolicy -path
-listPolicies 查看策略
-verifyClusterSetup

• hadmin

多个NN之间的高可用
checkHealth: hdfs haadmin -ns cdp1 -checkHealth nn3 namenode健康检查
failover
getServiceState
getAllServiceState
transitionToActive 手动切换成Active

• mover

检查数据是否满足存储策略，不满足的话，让它满足
hdfs mover -p 目录/多个文件
hdfs mover -f 单个文件

• namenode

主要就关注备份，升级，恢复
-baskup
-checkpoint
-upgrade
-format 慎用，初始化数据
importCheckPoint

• storagepolicies

存储策略相关，冷热温数据策略，以及多种存储类型之间关联 归档，磁盘，ssd，ram等。

• zkfc

formatzk 初始化zk

Debug命令

• computeMeta -> 用来计算校验和，用来让坏块看起来变少。其实没好