0


hadoop之hdfs生产数据块损坏修复方法

1、手动修复

检查数据块丢失情况

hdfs fsck /

修复指定路径的hdfs文件,尝试多次

hdfs debug recoverLease -path 文件位置 -retries 重复次数

删除所有损坏的块的数据文件

hdfs fsck / -delete

2、自动修复

hdfs会自动修复损坏的数据块,当数据块损坏后,

DN节点执行directoryscan(datanode进行内村和磁盘数据集块校验)操作之前,都不会发现损坏

directoryscan操作校验是间隔6h

dfs.datanode.directoryscan.interval:21600

在DN向NN进⾏blockreport前,都不会恢复数据块;也就是blockreport操作是间隔6h

dfs.blockreport.intervalMsec : 21600

最终当NN收到blockreport才会进⾏恢复操作

生产中倾向于使用手动修复的方法去修复损坏的数据块。

标签: hadoop hdfs 大数据

本文转载自: https://blog.csdn.net/luo981695830/article/details/128075951
版权归原作者 你好,我叫罗鹏程 所有, 如有侵权,请联系我们删除。

“hadoop之hdfs生产数据块损坏修复方法”的评论:

还没有评论