当前位置: 代码迷 >> 综合 >> yarn的特征
  详细解决方案

yarn的特征

热度:71   发布时间:2024-01-16 08:45:02.0

与mapReduce1相比,yarn可以在更大规模的集群上运行,当节点达到4000,任务数达到40000时,mapDeduce1会遇到可扩展瓶颈,瓶颈在于jobtracker必须同时管理作业和任务这样一个事实,yarn利用其资源管理器和application master分类的架构优点客服了这个局限性,可以扩展到面向将近10000个节点和10万个任务。

在某种程度上,可以说yarn的最大优点在于向mapReduce以外的其它类型的分布式开放了hadoop,mapReduce仅仅是许多yarn应用中的一个。

用户甚至可以在同一个yarn集群上运行不同版本的mapReduce.

yarn有三种调度可用,FIFO,容器调度器(Capacity scheduler)和公平调度器(Fair Scheduler)