Hadoop生态圈三大组件：HDFS的读写流程、MapReduce计算流程、Yarn资源调度

文章目录

1. HDFS的读写流程

1.1 HDFS读流程

• 客户端首先向Namenode发送读取请求，询问要读取的文件存储在哪些数据节点上。
• Namenode会根据机架感知原理、网络拓扑关系、副本机制等返回部分或者全部的block所在的Datanode的地址。
• 客户端根据Namenode返回的地址，选择一个距离最近的Datanode节点来读取第一个数据块。客户端直接与该数据节点建立连接，并发送读取请求。
• Datanode接收到读取请求后，开始从磁盘上读取相应的数据块，并将数据通过网络传输给客户端。
• 客户端在接收数据的同时，会对数据进行校验，以确保数据的完整性。如果发现数据损坏，客户端可以向其他包含该数据块副本的数据节点请求重新读取。
• 当客户端读取完一个Datanode后，会根据Namenode提供的块位置信息，选择下一个数据节点来读取下一个数据块。重复上述步骤，直到客户端读取完整个文件。

1.2 HDFS写流程

• 客户端向Namenode发送写入请求。
• Namenode接收到写入请求后，首先判断当前这个操作的用户是否具有写入权限，如果不具备写入权限会直接报错；如果有写入权限，再进行判断在写入的目录下是否存在这个文件；如果要写入的目录下已经存在这个文件，会直接报错；如果要写入的目录下不存在这个文件，通知客户端可以写入。
• 客户端对文件进行切分操作，形成block块。
• 客户端请求第一个block块存储在哪些地方。
• Namenode根据机架感知原理、拓扑关系、副本机制等，找到相应的可以上传的Datanode的连接列表，返回给客户端。
• 客户端从接受的Datanode列表中选择第一台建立连接，当连接第一台Datanode以后，让第一台Datanode与第二台Datanode连接，然后第二台Datanode与第三台Datanode连接形成一条pipeline（管道）。
• 客户端通过数据包的形式发送数据。当第一台Datanode接收到数据后，将数据发送给第二台Datanode，第二台接收完，再将数据发送给第三台。当最后一个Datanode接受请求后建立一个反向的应答队列。当每个节点都将数据包接收到以后，反向给予应答响应（ack确认机制）。

2. MapReduce计算流程

MR天龙八部

3. Yarn资源调度

YARN（Yet Another Resource Negotiator）

是Hadoop的资源管理系统，其资源调度机制如下：

一、客户端请求资源

1. 提交任务请求- 客户端首先将任务提交给Resource Manager。

二、Resource Manager处理请求

1. 接收任务请求- Resource Manager接收到客户端的任务请求。
2. 选择Node Manager- Resource Manager在Node Manager上寻找一个比较空闲的节点。- 通知并启动一个Application Master，将任务信息发送给Application Master，等待Application Master启动成功。- 如果启动失败，认为当前任务直接报错，告知任务无法执行。
3. 获取任务相关信息- Application Master启动后，开始和主节点保持心跳机制，获取任务相关的信息（如JAR包路径、主类、参数）。

三、任务资源计算与申请

1. 计算任务数量- 根据任务信息，计算共需要多少Map Task和多少Reduce Task。
2. 发送资源请求- 通过心跳包，将任务计算的结果资源需求发送给主节点，进行资源的申请。

四、Resource Manager分配资源

1. 资源分配工作- 根据收到的资源申请的结果信息，进行资源的分配工作。- 如果资源比较宽松，一次性将所需的所有资源一并全返回。- 如果资源比较紧张，最起码应该返回所有Map Task所需资源。

五、Node Manager执行任务

1. 获取资源信息- Application Master通过心跳包，一直询问是否已经准备好资源，一旦准备好，将资源信息全部获取。
2. 通知Node Manager- 根据获取的资源信息，通知各个Node Manager，启动相关的程序（先启动Map Task），告知Node Manager任务信息（如JAR包路径、主类、参数）。

六、任务执行与监控

1. 执行任务进度监控- 每一个运行的container定时和Application Master汇总执行任务执行的进度。- 并且还基于Node Manager和Resource Manager的使用情况，报告资源的使用情况。- 如果初始化的时候，只是返回Map Task运行的资源。- 当Map Task执行完成后，或者执行过程中，Application Master向Resource Manager/Node Manager询问Reduce Task的资源是否已经准备好了，如果准备好了，就进行Reduce任务。
2. 任务完成报告- 当整个Map Task和Reduce Task都运行完成后，通知Application Master已经完成执行任务了。
3. 资源回收- Resource Manager收回所有分配的资源，然后通知Application Master可以执行自毁程序了。

这种资源调度机制确保了在YARN集群中，任务能够高效地获取和利用资源，同时也保证了资源的合理分配和管理。