0


Hadoop理论及实践-HDFS读写数据流程(参考Hadoop官网)

NameNode与DataNode回顾

主节点和副本节点通常指的是Hadoop分布式文件系统(HDFS)中的NameNode和DataNode。

  • NameNode(主节点):NameNode是Hadoop集群中的一个核心组件,它负责管理文件系统的命名空间和元数据。它记录了文件的目录结构、文件的块分配信息以及每个文件块所在的DataNode等关键信息。NameNode维护着整个文件系统的元数据,并提供对文件系统的访问控制。

  • DataNode(副本节点):DataNode是Hadoop集群中的另一个核心组件,它负责存储实际的数据块。当客户端写入文件时,数据被分成多个块并复制到不同的DataNode上进行存储。DataNode会周期性地向NameNode汇报存储信息、块的完整性以及心跳状态等信息。

      NameNode和DataNode协同工作,实现了HDFS的高可靠性和扩展性。NameNode作为主节点,负责管理和控制整个文件系统的元数据;而DataNode作为副本节点,负责存储和处理实际的数据块。这种分布式架构使得HDFS能够容纳大规模的数据,并提供高吞吐量的读写操作。
    

HDFS读数据流程

    HDFS读数据操作,一般是客户端通过RPC 调用Namenode以确定文件按块起始位置,对于每一个块,namenode返回保存该块副本的datanode地址(返回结果具有优先顺序),客户端通过DistributedFileSystem返回的FSDataInputStream对象,调用read方法将数据从datanode传回客户端。

读流程详细版

1、客户端请求文件读取

    当用户需要读取一个文件时,首先客户端会向NameNode发送一个读取文件的请求

2、NameNode响应

    NameNode接收到请求后,会检查文件的**元数据信息**,包括文件的位置、块的位置等。

    具体为NameNode验证权限和路径,检查文件是否存在。如果文件不存在,则返回错误信息给客户端;如果文件存在,则返回文件的**元数据信息**(如文件大小、块信息等)给客户端

3、数据块位置获取

    NameNode根据文件的**元数据信息**确定了文件所在的数据块,然后会返回该数据块所在的DataNode列表给客户端。

4、就近原则选择DataNode,建立数据传输通道

    客户端根据就近原则选择距离自己最近的一个DataNode作为主节点(Primary DataNode),用于与其建立数据传输通道。

    具体如下:客户端通过比较自身与各个DataNode的网络距离,选择距离最近的DataNode作为首选节点, 首选节点可能存在负载过重的情况,因此客户端需要进行负载均衡。客户端可以向NameNode请求额外的DataNode列表。客户端从首选节点和其他可用的DataNode中选择一个数据副本进行读取。这里可以使用随机选择算法来确保负载均衡

5、NameNode节点与DataNode节点建立通信

    NameNode主节点开始与其他副本节点DataNode进行通信,DataNode节点将数据块传输给NameNode节点,并由NameNode节点将数据传输给客户端

6、考虑负载均衡,进行数据传输

    HDFS采用负载均衡的策略来提高系统的性能和资源利用率。在读取文件时,如果某个DataNode的负载较高,可以选择其他负载较低的DataNode进行数据传输,以实现负载均衡。

7、数据传输

  DataNode主节点将数据块分成一系列小的数据包,并通过TCP/IP协议发送给客户端。

 注: DataNode开始向客户端传输数据(从磁盘中读取数据输入流FSDataInputStream,以packet为单位做检验)

8、客户端以packet为接收单位,先本地缓存,然后写入目标文件,即客户端接收到数据包后,可以进行处理或者保存。

读流程简化版

  1. 客户端向NameNode发送读取文件请求。
  2. NameNode检查文件的元数据信息,确定文件所在的数据块和对应的DataNode列表。
  3. 客户端根据就近原则选择距离最近的一个DataNode作为主节点。
  4. 主节点与其他副本节点建立通信,并将数据块传输给客户端。
  5. 客户端接收数据包并进行处理或保存。

读数据注意

1、hdfs读数据流程是串行读

2、怎样选择节点

    同一机器,同一机架,同一网络

读面试题

  1. HDFS读文件的流程是怎样的?- HDFS读文件的流程包括:客户端向NameNode发送读取文件的请求,NameNode验证权限和路径并返回文件的元数据信息,客户端根据元数据信息获取数据块所在的数据节点列表,客户端与数据节点建立连接并发送读取数据块的请求,数据节点将数据块发送给客户端,客户端接收并处理数据块,通过重复这个过程直到读取完所有数据块。

  2. HDFS读取大文件时是否会有性能问题?- HDFS针对大文件的并行读取机制可以提高读取性能。大文件被切分成多个数据块,并且这些数据块可以同时从不同的数据节点读取,利用了集群中多个节点的读取带宽和计算资源,从而提高了整体的读取效率。

  3. HDFS如何处理并发读取操作?- HDFS使用共享锁来实现并发访问控制。多个客户端可以同时读取同一个文件的不同部分,每个数据节点也可以同时为多个客户端提供数据块的读取。这种并发读取机制保证了系统的吞吐量和响应时间。

  4. 如果某个数据节点发生故障,会影响HDFS的读取吗?- 当某个数据节点发生故障时,HDFS会自动检测到并通知NameNode。NameNode会选择其他副本所在的数据节点进行读取,以保证数据的可用性和完整性。因此,即使某个数据节点发生故障,不会明显影响HDFS的读取操作。
  5. HDFS的读取操作与传统文件系统的读取操作有何不同?- HDFS采用流式读取方式,数据块直接从数据节点传输给客户端,减少了读取延迟。而传统文件系统通常需要将整个文件先复制到客户端再进行读取,这个过程会消耗大量的时间和网络带宽。

HDFS写数据流程

写流程详细版

1、客户端向HDFS的NameNode发送写请求。

  • 客户端通过DistributedFileSystem的API或命令行工具(如hdfs dfs -put)向HDFS的NameNode发送写入请求,请求创建新文件或追加数据。

2、NameNode接收到写请求后,首先检查文件的元数据信息,并确定文件将要存储的位置和所需的数据块数量,确定文件是否存在以及是否有写入权限。

  • NameNode维护了整个文件系统的元数据信息,包括文件和目录的属性、访问控制列表等,它会检查请求中指定的路径和权限。
  • 如果文件不存在,则创建新文件,并将其元数据信息记录在NameNode的命名空间中。NameNode在命名空间中为新文件分配一个唯一的文件ID,并将该文件的基本信息存储在内存中。

4、数据块分配。NameNode根据一定的策略选择可用的DataNode,并为文件的每个数据块分配一个主节点(Primary DataNode)和多个副本节点(Replica DataNode),NameNode返回文件的数据节点列表给客户端。

  • NameNode根据配置的复制因子(默认为3)和集群的拓扑结构来选择一组适合的数据节点作为副本位置。选择的原则通常是数据节点距离客户端的网络距离较近。
  • 就近原则选择主节点:在选择主节点时,HDFS会考虑就近原则,即选择距离客户端最近的DataNode作为主节点,以减少数据传输的延迟。
  • 客户端收到数据节点列表后,就知道了数据块应该写入哪些数据节点。

5、客户端根据数据节点列表,将数据切分成数据块,并按照指定的策略将这些数据块依次写入各个DataNode的数据节点。

  • 客户端通常会将大数据文件切分成多个数据块,每个数据块默认大小为128MB(可以通过配置进行调整)。客户端通过与相应的数据节点建立连接,并将数据块发送给数据节点。
  • 主节点与副本节点建立通信:主节点与副本节点之间建立通信通道。主节点将数据块传输给副本节点,并协调副本节点之间的数据同步
  • 数据写入主节点:客户端通过与主节点建立连接向主节点发送数据写入请求。主节点将数据块按照指定的格式进行存储,并将数据复制到副本节点。
  • 数据复制和同步:主节点将数据块的副本传输给其他副本节点,并协调副本节点之间的数据同步,保证数据的一致性。

6、每个数据节点接收到数据块后,将数据块存储在本地磁盘上,并向客户端发送确认消息。

  • 数据节点负责接收数据块并存储在本地的数据目录中。一旦数据块完全写入磁盘,数据节点会向客户端发送确认消息。

7、客户端等待所有数据节点都完成数据块的写入。

  • 客户端会等待所有数据块都成功写入对应的数据节点,并收到数据节点的确认消息。

8、客户端向NameNode发送完成写操作的请求。

  • 客户端通知NameNode已经完成了文件的写入操作。

9、NameNode接收到完成写操作的请求后,更新文件的元数据信息。

  • NameNode会更新文件的元数据信息,包括文件大小、数据块的位置信息等。

10、客户端收到写操作完成的确认消息。

  • 客户端收到NameNode的确认消息,表示文件写入操作已经成功完成。

写流程简化版

  • 客户端向NameNode发送写入文件请求。
  • NameNode确定文件存储位置和数据块分配情况。
  • 主节点与副本节点建立通信并协调数据复制和同步。
  • 客户端通过与主节点建立连接将数据写入主节点。
  • 主节点将数据块的副本传输给其他副本节点进行数据同步。
  • 当所有副本节点完成数据写入和同步后,主节点发送写操作完成确认信号。
  • 客户端关闭连接,完成文件写入操作。

写面试题

  1. 解释HDFS的工作原理和体系结构。 HDFS是一个分布式文件系统,用于存储和管理大数据集。它由NameNode和DataNode组成,其中NameNode负责维护文件系统的元数据信息,而DataNode负责存储实际的数据块。客户端通过与NameNode和DataNode的交互来进行文件读写操作。 1. HDFS中的NameNode和DataNode的角色是什么,它们之间的通信机制是怎样的? NameNode是HDFS的主节点,负责管理整个文件系统的命名空间和元数据信息。它与DataNode进行心跳通信以监控其状态,并指导数据块的复制和恢复操作。

  2. HDFS如何实现数据的容错性和可靠性?- HDFS提供了数据的容错性和可靠性,主要通过数据的复制机制实现。每个数据块默认会有三个副本存储在不同的数据节点上,这样即使某个数据节点发生故障,仍然可以从其他副本进行读取和恢复。HDFS还支持自动故障检测和恢复,当一个数据节点出现故障时,NameNode会通知其他数据节点进行副本的重新复制。

  3. 如何处理大规模文件的写入?- HDFS通过将大文件切分成多个数据块进行并行写入,从而实现高效的大规模文件写入。同时,HDFS使用流式写入的方式,客户端将数据块直接发送给数据节点,而不需要整个文件先完全写入客户端再传输到数据节点。这大大减少了写入延迟,提高了写入性能。

  4. 复制因子是什么,它对HDFS的影响是什么?- 复制因子是指每个数据块在HDFS中的副本数量。默认情况下,HDFS的复制因子为3,即每个数据块会有三个副本存储在不同的数据节点上。复制因子的增加可以提高数据的容错性和可靠性,但也会增加存储空间的开销。

  5. HDFS如何处理并发写入操作?- HDFS通过使用排他锁(在写操作时)和共享锁(在读操作时)来实现并发访问控制。对于写操作,只允许一个客户端进行写入,并且会进行写锁定,防止其他客户端同时写入。对于读操作,多个客户端可以同时读取同一个文件的不同部分。

  6. 数据节点故障时的数据恢复机制是怎样的?- 当一个数据节点发生故障导致某些副本不可访问时,HDFS会自动检测到故障,并向NameNode报告。NameNode会根据存储在元数据中的信息,选择其他拥有相应副本的数据节点进行数据复制,以保证数据的完整性和可用性。

  7. HDFS的写入操作与传统文件系统的写入操作有何不同?- HDFS的写入操作是追加写入而非覆盖写入,即新的数据会追加到已有的数据块中,而不会修改已有的数据。这种方式可以避免数据的移动和复制,提高写入性能。

  8. 可能遇到的HDFS写入性能问题和优化方法有哪些?- 可能的性能问题包括网络带宽瓶颈、硬盘IO限制等。针对这些问题,可以采取以下优化方法:增加数据节点和网络带宽以提高写入并行度、选择更高性能的硬盘或使用SSD、调整HDFS参数以优化性能等。

参考文章

Apache Hadoop 3.4.0-SNAPSHOT – Hadoop Commands Guide,hadoop官网

Tuzki眯眼看世界 - 简书

标签: hadoop hdfs 大数据

本文转载自: https://blog.csdn.net/qq_52128187/article/details/132140772
版权归原作者 Matrix70 所有, 如有侵权,请联系我们删除。

“Hadoop理论及实践-HDFS读写数据流程(参考Hadoop官网)”的评论:

还没有评论