当前位置: 代码迷 >> 综合 >> 彻底搞定-SPARK ON YARN
  详细解决方案

彻底搞定-SPARK ON YARN

热度:68   发布时间:2023-11-30 11:47:38.0

 / 为什么需要 Yarn? / 

 

Yarn 的全称是 Yet Anther Resource Negotiator(另一种资源协商者)。它作为 Hadoop 的一个组件,官方对它的定义是一个工作调度和集群资源管理的框架

 

Yarn 最早出现于 Hadoop 0.23 分支中,0.23 分支是一个实验性分支,之后经过了几次迭代,最后发布于 2014 年 6 月的 0.23.11 版本(该分支的最后一个版本)。在 0.23.0 发布后不久的 2011 年 12 月,Hadoop 的 0.20 分支发展成了 Hadoop1.0,一直到 1.0 的最后一个版本 1.2.1-stable 都没有出现 Yarn 的身影,而在 Hadoop2.0 的第一个版本 2.0.0-alpha,Yarn 已经作为一个正式组件加入。在 2.0.2-alpha 版本,它已经支持了 2k 台机器的集群,接着在 2.0.3-alpha 版本中已经可以支持 30k 台机器的集群。在 2.0.3-alpha 版本中同时还支持了多种资源,如 cpu&memory 的调度和 ResourceManager restart。

 

图 1,via https://blog.csdn.net/su

  相关解决方案