Hadoop YARN 资源管理系统

1.YARN介绍

Apache YARN(Yet Another Resource Negotiator 另一种资源管理系统 的缩写)是Hadoop的集群资源管理系统。YARN被引入在Hadoop 2,最初是为了改善MapReduce的实现,但它具有足够的通用性,同样可以支持其他的分布式计算模式(比如常用的spark)。

YARN提供请求和使用集群资源的API,应用开发者基本不会用这些api,但这些API很少直接用于用户代码。用户一般代码中用的是分布式计算框架提供的API(像spark API),这些分布式计算框架API建立在YARN之上且向用户隐藏了资源管理细节。下图描述一些分布式计算框架(MapReduce, Spark 等等)作为YARN应用运行在集群计算层(YARN)和集群存储层(HDFS和HBase)上。
 

 

2.YARN运行机制

YARN通过两类长期运行的守护进程提供自己的核心服务:

  •     管理集群上资源使用的资源管理器(resource manager)、 
  •     运行在集群中所有节点上且能够启动和监控容器(container)的节点管理器(nodemanager)。

容器用于执行特定应用程序的进程,每个容器都有资源限制(内存、CPU等)。一个容器可以是一个Unix进程,也可以是一个Linux cgroup,取决于YARN的配置。下图描述了YARN是如何运行一个应用的。
 

2.1 yarn运行应用步骤

  • 客户端联系资源管理器,要求运行一个application master进程(上图步骤1)。
  • 资源管理其找到一个能够在容器启动application master的节点管理器(上图步骤2a、2b)。
  • application master运行后,根据应用本身向资源管理器请求更多容器(上图步骤3)。
  • 资源管理器给application master分配需要的资源后,application master在对应资源节点管理器启动容器,节点管理器获取任务运行需要的resources后,在该容器运行任务。(上图4a、4b)。
     

YARN本身不会为应用的各部分(客户端、master 和进程)彼此间通信提供任何手段。这个是在运行在yarn之上的分布式应用来实现的,大多数重要的YARN应用使用某种形式的远程通信机制(例如Hadoop的RPC层)来向客户端传递状态更新和返回结果。

2.2资源请求的方式

YARN有一个灵活的资源请求模型。当请求多个容器时,可以指定每个容器需要的计算机资源数量(内存和CPU),还可以指定对容器的本地限制要求。

  • 本地化对于确保分布式数据处理算法高效使用集群带宽非常重要,因此,YARN允许一个应用为所申请的容器指定本地限制。本地限制可用于申请位于指定节点或机架的容器。
  • 有时本地限制无法被满足,这种情况下要么不分配资源,或者可选择放松限制。例如,一个节点由于已经运行了别的容器而无法再启动新的容器,这时如果有应用请求该节点,则YARN将尝试在同一机架中的其他节点上启动一个容器,如果还不行,则会尝试集群中的任何一个节点。
  • 通常情况下,当启动一个容器用于处理HDFS数据块(为了在MapReduce中运行一个map任务)时,应用将会向这样的节点申请容器:存储该数据块三个复本的节点,或是存储这些复本的机架中的一个节点。如果都申请失败,则申请集群中的任意节点。
  • YARN应用可以在运行中的任意时刻提出资源申请。例如,可以在最开始提出所有的请求,或者为了满足不断变化的应用需要,采取更为动态的方式在需要更多资源时提出请求。
     

Spark采用了上述第一种方式,在集群上启动固定数量的执行器。而MapReduce 则分两步走,在最开始时申请map任务容器,reduce 任务容器的启用则放在后期。但同样如果任何任务出现失败,将会另外申请容器以重新运行失败的任务。