Hadoop数据迁移distcp
准备工作
- 确认源集群(a),目标集群(b)
- 确认a集群的主节点和b集群的主节点
- 确认两个集群的网络相通
- 确认迁移模式(全量迁移还是增量迁移),这里选择全量迁移
迁移文件
- 迁移test目录下的文件至目标目录下 命令:hadoop distcp -p -m 并行度 -bandwidth 带宽 源目录 目标目录 示例:
hadoop distcp -p-m5-bandwidth10 hdfs://源master:8020/test /
注意:源master为主namenode;命令行在目标主namenode上执行。
本文转载自: https://blog.csdn.net/nhm_lxy/article/details/132312085
版权归原作者 日复一日伐树的熊哥 所有, 如有侵权,请联系我们删除。
版权归原作者 日复一日伐树的熊哥 所有, 如有侵权,请联系我们删除。