HDFS源码解析
HDFS NameNode、DataNode启动流程、HDFS元数据管理流程、写数据流程源码详解
Python操作HDFS文件的实用方法
Python操作HDFS文件的实用方法Apache Hadoop是一个开源的分布式计算系统，它提供了一种高效的方式来存储和处理大规模数据集。Hadoop的核心组件之一是Hadoop分布式文件系统（HDFS），它提供了可扩展的存储和高效的数据访问。在Python中，我们可以使用hdfs库来连接和操作H
6道常见hadoop面试题及答案解析
Hadoop生态系统，拥有15多种框架和工具，如Sqoop，Flume，Kafka，Pig，Hive，Spark，Impala等，以便将数据摄入HDFS，在HDFS中转移数据（即变换，丰富，聚合等），并查询来自HDFS的数据用于商业智能和分析。具有数据的元数据，但也允许指定用于读取文件的独立模式。基
5、HDFS API的RESTful风格--WebHDFS
WebHDFS 提供了访问HDFS的RESTful接口，内置组件，默认开启。WebHDFS 使得集群外的客户端可以不用安装HADOOP和JAVA环境就可以对HDFS进行访问，且客户端不受语言限制。当客户端请求某文件时，WebHDFS会将其重定向到该资源所在的datanode。
hdfs删除后空间不是释放，trash回收机制
在2023-06-19删除完的文件后，将删除的文件移动到/user/hadoop/.Trash/current文件夹下，3天后2023-06-22检查点生成机制运行，将回收站中的数据移动到/user/hadoop/.Trash/20230622080017，此时也会删除当前时间三天前过期的检查点数据
Hadoop-5-HDFS常用命令
打印作业的细节、失败及被杀死原因的细节。更多的关于一个作业的细节比如成功的任务，做过的任务尝试等信息可以通过指定。把hdfs里面的多个文件合并成一个文件，合并后文件位于本地系统。从检查点目录装载镜像并保存到当前检查点目录，检查点目录由。最近的升级会被持久化，回滚到前一版本，这个选项要在停止集群，分发
datax的使用以及参数解释，快速入门版
datax的使用以及参数解释，快速入门版
【HDFS】NN处理全量块汇报时reportDiff的一些细节
【HDFS】NN处理全量块汇报时reportDiff的一些细节
【HDFS实战】HDFS上的数据均衡
HDFS上的数据均衡
HDFS详解
HDFS，Hadoop Distribute File System（Hadoop分布式文件系统）的简称，它是Hadoop核心组件之一，是大数据生态圈最底层的分布式存储服务。将计算靠近数据，而不是将数据移动到离计算更近的地方，使得应用的计算更有效率。HDFS遵循主从架构（master/slave）。
【HDFS学习】配额与存储策略
配额与存储策略
磁盘均衡器：HDFS Disk Balancer
hdfs disk balancer是hadoop3中引入的命令行工具，用于平衡DataNode中的数据在磁盘指甲分布不均匀问题。在这里特别注意，hdfs diskbalancer与hdfsbalancer是不同的。
解决Hadoop审计日志hdfs-audit.log过大的问题
新搭建的Hadoop环境没怎么用，就一个环境天天空跑，结果今天运维告诉我说有一台服务器磁盘超过80%了，真是太奇怪了，平台上就跑了几个spark测试程序，哪来的数据呢？终于发现在Hadoop的日志目录下，有一堆hdfs-audit.log日志，并且每个都有好几百M，删除之后，跟目录瞬间从81%减低到
大数据处理架构Hadoop
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File Sys
恢复HDFS上误删除的文件
HDFS 为我们提供了垃圾箱的功能，也就是说当我们执行 hadoop fs -rmr xxx命令之后，文件并不是马上被删除，而是会被移动到，等到一定的时间后才会执行真正的删除操作。从上面的例子中可以看出，在我们删了 test.txt 文件之后，文件被移到路径下，如果这个操作属于误操作，我们则可以到
HDFS中的Federation联邦机制
命名空间（namespace）由文件，块和目录组成的统一抽象的目录树结构。由namenode根据用户操作实时维护树结构块存储层包括两部分：块管理：namenode执行块管理。块管理通过处理注册和定期心跳来提供DataNode集群成员身份。它处理块报告并迟滞与块相关的操作，如创建，删除，修改或获取块位
修复hive重命名分区后新分区为0的问题
ods_t_test 的2022-11-21分区大小为0。hive分区重命名后，新的分区的分区大小为0 ,
大数据基础知识
大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。灵活的可扩展性灵活的数据模型与云计算紧密融合现在已经有很多公司使用了NoSQL数据库：GoogleFacebookMozillaAdobeFoursquareLinkedInDigg百度、腾讯、阿里、新浪、华为……Spa
HDFS写流程源码分析（一）-客户端
环境为hadoop 3.1.3。
HDFS读写流程
NameNode将位置信息返回给客户端：NameNode接收到客户端的请求后，会返回该文件所在的DataNode节点的IP地址和块ID等信息。客户端向NameNode请求文件的位置：客户端想要访问一个文件时，会向NameNode发送一个请求，要求获取该文件在HDFS上的位置信息。DataNode返回
