当前位置: 代码迷 >> 综合 >> yarn的双层实际流程
  详细解决方案

yarn的双层实际流程

热度:29   发布时间:2024-01-30 18:30:21.0

1.工作原理:提交请求、RM-NM-Container-AM、注册AM-RM,资源Client-AM、资源AM-RM、AM-NM-Container、container启动APP、监控信息AM-Client、注销AM-RM

2.架构:

RM:

   scheduler、AppicationManage

NM: 

通信:RM、AM

单节点管家

AM:

协商、细分、通信NM、监控

Container:

简单纯粹、合理范围、CPU和内存

3.设计思想:

关键词:

分布式、资源管理、作业调度/监控、守护进程

统一资源管理和调度平台范型:

集中式调度JobTracer、双层调度YARn

yarn的双层设计流程:

1.Client向RM提交job请求

2.RM在某个节点为job分配一个Container,该container运行AM(RM向NodeManager发送命令,在该NM所在节点为job分配)

3.AM(applicationManager)根据job的执行步骤信息

4.AM向资源所在的NM发送启动Task计算任务的命令

5.NM执行命令,开启Task任务

6TaskContainer会向AM发送任务执行进度及健康状况,执行完成通知AM

7.AM向RM申请注销资源,包括他自己