Hadoop框架及HDFS详细概述
HDFS、MapReduce、YARN
Hadoop的集群搭建（HA），HDFS的工作流程（读、写、nn和snn）
1. HDFS的是基于流数据模式访问（来了一点数据，就立马处理掉，立马分发到各个存储节点来响应分析、查询等，重点关注数据的吞吐量而不是访问速度）和处理超大文件的需求而开发的一个主从架构的分布式文件系统（分布式文件系统：一种允许文件透过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储
Hadoop三大组件之HDFS（一）
HDFS（Hadoop Distributed File System）采用主从架构，由一个NameNode（主节点）和多个DataNode（从节点）组成。NameNode负责管理数据块映射信息（如文件名、文件目录、权限、块位置等）并配置副本策略，而DataNode负责存储实际的数据块。定期从Nam
Hadoop-HDFS安装及分布式集群搭建详解
本文介绍了如何在Linux环境下安装Hadoop HDFS，并进行了简单的单节点和多节点分布式集群搭建。通过配置Hadoop的核心文件、格式化NameNode、启动HDFS集群，我们可以顺利搭建一个高可用、高容错的HDFS分布式文件系统。HDFS是Hadoop生态系统的基石，熟练掌握其安装及配置是大
六种主流ETL工具的比较与Kettle的实践练习指南--MySQL、hive、hdfs等之间的数据迁移
ETL工具在数据集成和数据仓库建设中至关重要。本文比较了六种主流ETL工具并重点介绍了Kettle，一款开源且功能强大的ETL工具，适合不同规模的数据集成任务。文章提供了Kettle的实践指南，帮助读者更好地理解和应用Kettle。
【Hadoop|HDFS篇】HDFS的Shell操作
40， 12， 52表示的都是文件大小，120表示的是40*3个副本，/sanguo表示查看的目录。（3）-chgrp，-chmod，-chown：与Linux系统中的用法一致，修改文件的权限。（2）-copyFromLocal：从本地文件系统拷贝文件到HDFS中。（4）-appendToFile：
Hadoop重新格式化HDFS的方案
重新格式化HDFS是清除Hadoop集群中所有数据的过程。在执行这个操作之前，务必备份重要的数据。通过按照上述步骤停止服务、备份数据、格式化NameNode，并在确认一切正常后启动服务，我们可以重新格式化HDFS并开始一个全新的Hadoop数据存储环境。
SpringBoot + Hadoop + HDFS + Vue 实现一个简单的文件管理系统
基于Hadoop到底HDFS简单的文件管理系统。
Hadoop的集群搭建（HA），HDFS的工作流程（读、写、nn和snn
历史服务器web端地址hadoop102hadoop103hadoop104/bin/bash#1. 判断参数个数thenexit;fi#2. 遍历集群所有机器do#3. 遍历所有目录，挨个发送done/bin/bashthenexit;ficase $1 in“start”)echo " ====
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的
Hadoop-HDFS三种模式介绍及配置
1、start-dfs.sh 在第一台启动，不意味着只使用了第一台，而是启动了集群。stop-dfs.sh 其实是关闭了集群 2、一台服务器关闭后再启动，上面的服务是需要重新启动的。这个时候可以先停止集群，再启动即可。也可以使用单独的命令，启动某一个服务。3、namenode 格式化有啥用?相当于在
Hadoop环境安装及HDFS初步使用
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distri
Hadoop端口号全解析：掌握这些端口，轻松驾驭大数据集群，一文读懂常用端口号及其作用！
MapReduce作业的执行情况主要通过YARN ResourceManager的Web UI（即8088端口）来查看。虽然MapReduce本身不直接提供特定的Web UI端口，但其作业的日志和输出通常会存储在HDFS上，因此与HDFS相关的端口（如50070或9870，取决于Hadoop的版本）
Hadoop FS 文件系统命令
Hadoop 文件系统命令可以用来直接和 Hadoop 的文件系统交互，支持包括 HDFS、本地文件系统、WebHDFS、S3 等文件系统。下面我们介绍下常用的文件命令。
docker部署hadoop集群
docker部署hadoop集群；通过Dockerfile方式构建hadoop容器；hadoop职责划分为NameNode、DataNode、NodeManager、ResourceNode、2NN；HDFS、MapReduce、Yarn测试。
深入解析HDFS：定义、架构、原理、应用场景及常用命令
HDFS是Hadoop生态系统中的一个分布式文件系统，旨在在集群的廉价硬件上可靠地存储大数据集。HDFS设计为高容错，并为高吞吐量数据访问而优化，适用于在商用硬件上运行的大数据应用。
基于Hadoop搭建HDFS文件管理系统（大数据）
--------------------------------------------------------------------------------------------------------------------------------如果各位看官老爷都可以配置到最后一步了，那么
Hadoop中HDFS、Hive 和 HBase三者之间的关系
Hive 类似于一个数据仓库，它建立在 HDFS 之上，提供了 SQL-like 的查询语言（HiveQL），让数据分析师和开发者可以用类似 SQL 的方式来查询和管理 HDFS 上的大数据。Hive 把复杂的 MapReduce 编程抽象掉了，让用户更专注于数据的业务逻辑，而不是底层的技术细节。：
Hadoop 中的大数据技术：HDFS（2）
Fsimage不记录块位置信息的设计增强了NameNode的灵活性，使得它能够在不影响整体系统的情况下调整块的位置和副本数量。
Hadoop、HDFS 相关面试题
Hadoop 是一个开源的分布式存储和计算框架，最初由 Apache 软件基金会开发。它允许大规模数据处理和存储，具有高度可靠性和可扩展性。分布式文件系统HDFS—— 用于数据存储计算框架YARN—— 用于资源管理和作业调度HDFS 是 Hadoop 生态系统的核心组件之一，用于存储大规模数据，并提
