1.工作原理:提交请求、RM-NM-Container-AM、注册AM-RM,资源Client-AM、资源AM-RM、AM-NM-Container、container启动APP、监控信息AM-Client、注销AM-RM
2.架构:
RM:
scheduler、AppicationManage
NM:
通信:RM、AM
单节点管家
AM:
协商、细分、通信NM、监控
Container:
简单纯粹、合理范围、CPU和内存
3.设计思想:
关键词:
分布式、资源管理、作业调度/监控、守护进程
统一资源管理和调度平台范型:
集中式调度JobTracer、双层调度YARn
yarn的双层设计流程:
1.Client向RM提交job请求
2.RM在某个节点为job分配一个Container,该container运行AM(RM向NodeManager发送命令,在该NM所在节点为job分配)
3.AM(applicationManager)根据job的执行步骤信息
4.AM向资源所在的NM发送启动Task计算任务的命令
5.NM执行命令,开启Task任务
6TaskContainer会向AM发送任务执行进度及健康状况,执行完成通知AM
7.AM向RM申请注销资源,包括他自己