0


HDFS磁盘清理维护

一、清理目录

1、执行sudo -u hdfs hadoop fs -du -h /
查询hdfs中各目录的占用的空间,进入占用最多的目录中(/tmp目录等)
2、找到目录/tmp/repay_prpjpolicypayment占用了大量空间
3、执行hdfs dfs -rm -r /tmp/repay_prpjpolicypayment删除此目录下的文件夹
4、删除的文件会被保存到/user/hdfs/.Trash,清空回收站即可

二、清空回收站

1.由于HDFS有回收站,删除文件会先放到回收站里边,如果着急释放空间,需要清理HDFS回收站
2、在删除HDFS文件时,可以使用命令:
hdfs dfs -rm -skipTrash /tmp/repay_prpjpolicypayment,文件就直接被删除,不会进入回收站(永久删除,无法恢复数据)
3、清空回收站命令:
hdfs dfs -expunge (回收站不会立即被清理,而是先Created trash checkpoint: /user/hdfs/.Trash/230309135102。显示的是一分钟后清除。)

标签: hdfs hadoop 大数据

本文转载自: https://blog.csdn.net/m0_37541083/article/details/129419714
版权归原作者 蜀门嗯哼 所有, 如有侵权,请联系我们删除。

“HDFS磁盘清理维护”的评论:

还没有评论