Hadoop-5-HDFS常用命令
打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定。把hdfs里面的多个文件合并成一个文件，合并后文件位于本地系统。从检查点目录装载镜像并保存到当前检查点目录，检查点目录由。最近的升级会被持久化，回滚到前一版本，这个选项要在停止集群，分发
datax的使用以及参数解释，快速入门版
datax的使用以及参数解释，快速入门版
【HDFS】NN处理全量块汇报时reportDiff的一些细节
【HDFS】NN处理全量块汇报时reportDiff的一些细节
【HDFS实战】HDFS上的数据均衡
HDFS上的数据均衡
HDFS详解
HDFS，Hadoop Distribute File System（Hadoop分布式文件系统）的简称，它是Hadoop核心组件之一，是大数据生态圈最底层的分布式存储服务。将计算靠近数据，而不是将数据移动到离计算更近的地方，使得应用的计算更有效率。HDFS遵循主从架构（master/slave）。
【HDFS学习】配额与存储策略
配额与存储策略
磁盘均衡器：HDFS Disk Balancer
hdfs disk balancer是hadoop3中引入的命令行工具，用于平衡DataNode中的数据在磁盘指甲分布不均匀问题。在这里特别注意，hdfs diskbalancer与hdfsbalancer是不同的。
解决Hadoop审计日志hdfs-audit.log过大的问题
新搭建的Hadoop环境没怎么用，就一个环境天天空跑，结果今天运维告诉我说有一台服务器磁盘超过80%了，真是太奇怪了，平台上就跑了几个spark测试程序，哪来的数据呢？终于发现在Hadoop的日志目录下，有一堆hdfs-audit.log日志，并且每个都有好几百M，删除之后，跟目录瞬间从81%减低到
大数据处理架构Hadoop
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File Sys
恢复HDFS上误删除的文件
HDFS 为我们提供了垃圾箱的功能，也就是说当我们执行 hadoop fs -rmr xxx命令之后，文件并不是马上被删除，而是会被移动到，等到一定的时间后才会执行真正的删除操作。从上面的例子中可以看出，在我们删了 test.txt 文件之后，文件被移到路径下，如果这个操作属于误操作，我们则可以到
HDFS中的Federation联邦机制
命名空间（namespace）由文件，块和目录组成的统一抽象的目录树结构。由namenode根据用户操作实时维护树结构块存储层包括两部分：块管理：namenode执行块管理。块管理通过处理注册和定期心跳来提供DataNode集群成员身份。它处理块报告并迟滞与块相关的操作，如创建，删除，修改或获取块位
修复hive重命名分区后新分区为0的问题
ods_t_test 的2022-11-21分区大小为0。hive分区重命名后，新的分区的分区大小为0 ,
大数据基础知识
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。灵活的可扩展性灵活的数据模型与云计算紧密融合现在已经有很多公司使用了NoSQL数据库：GoogleFacebookMozillaAdobeFoursquareLinkedInDigg百度、腾讯、阿里、新浪、华为……Spa
HDFS写流程源码分析（一）-客户端
环境为hadoop 3.1.3。
HDFS读写流程
NameNode将位置信息返回给客户端：NameNode接收到客户端的请求后，会返回该文件所在的DataNode节点的IP地址和块ID等信息。客户端向NameNode请求文件的位置：客户端想要访问一个文件时，会向NameNode发送一个请求，要求获取该文件在HDFS上的位置信息。DataNode返回
[数据存储]HDFS的简介、初始化配置与运行
HDFS（Hadoop Distributed File System）Hadoop分布式文件系统，是Hadoop项目中关于数据存储的组件，是Hadoop项目的一部分。
Hadoop中命令检查hdfs的文件是否存在
示例中，使用hadoop fs -test -e命令检查/user/hadoop/myfile.txt文件是否存在。接着，通过检查命令的返回值来确定文件的存在与否。如果文件存在，命令返回0；如果文件不存在，命令返回非0值。其中，是要检查的HDFS文件的路径。
Hadoop理论及实践-HDFS读写数据流程（参考Hadoop官网）
NameNode根据一定的策略选择可用的DataNode，并为文件的每个数据块分配一个主节点（Primary DataNode）和多个副本节点（Replica DataNode），NameNode返回文件的数据节点列表给客户端。5、客户端根据数据节点列表，将数据切分成数据块，并按照指定的策略将这些数
最详细HDFS常用命令作用及截图
HDFS常用命令集合
DataX将MySQL数据同步到HDFS中时，空值不处理可以吗
DataX将MySQL数据同步到HDFS中时，空值存到HDFS中时，默认是存储为\N，这样会有两个缺点：参考文章：
