YARN队列资源抢占模式分析

2019-09-13 10:02:39 | 编辑

之前有介绍配置过Capacity Scheduler,Fair Scheduler这两个 yarn 资源调度器,无论如何 资源隔离都不是最终的目的,而高效的弹性才是我们追求的目标,YARN队列资源抢占是需要先kill container,再重启,所以抢占的速度才不尽人意。所以需要详细了解YARN队列资源抢占具体参数和流程。



1.yarn队列资源抢占基本概念

1.1. 集群资源定义

   YARN的资源抽象比较简单,只有两种资源:内存和CPU。而资源数量是管理员手动设置的,每个NM节点可以贡献一定数量的内存(MB)和CPU,由RM统一管理,不一定是真实的内存和CPU数。其中内存资源是比较关键的,直接决定任务能否成功。如果某个任务需要的内存过多,可能无法执行,或者OOM。CPU资源的限制比较弱,只限定了一台NM上能并发执行多少任务。如果并发的过多,执行的可能比较慢。


1.2. 调度器

    * FIFO:只有一个队列,所有用户共享。资源分配的过程也非常简单,先到先得,所以很容易出现一个用户占满集群所有资源的情况。

    * CapacityScheduler:在FIFO的基础上,增加多用户支持,每个用户都可以使用特定量的资源,但集群空闲时,也可以使用整个集群的资源。

    * FairScheduler:每个用户只有配置最大特定数量的资源可以用,不可能超出这个限制,即使集群整体很空闲。支持多资源类型。队列之间可以借用。


1.3. 调度策略

    * Dominant Resource Fairness (DRF)(默认) - 根据 CPU 和内存公平调度资源。

    * Fair (FAIR) - 仅根据内存公平调度资源。

    * First-In, First-Out (FIFO) - 先进先出。


1.4. 资源分配算法

    * Max-min fairness算法:如果每一个用户都有足够地请求,会给予每个用户一份均等的资源。尽量不让任何用户被“饿死”。

    * DRF:让所有application的“主要资源占比”尽量均等,包括CPU及内存。



2 资源抢占模型

2.1. 在资源调度器中,每个队列可设置一个最小资源量和最大资源量,其中,最小资源量是资源紧缺情况下每个队列需保证的资源量,而最大资源量则是极端情况下队列也不能超过的资源使用量。


2.2. 开启资源抢占后当某个队列资源不足时,调度器会杀死其他队列的container以释放资源,分给这个队列。这个特性默认是关闭的。关键点有两个:1.启动抢占式调度的条件?2.选择哪些container去杀掉?


2.3. 每个队列都有minShare、fairShare属性。这两个属性是抢占式调度的阈值。当一个队列使用的资源小于fairShare*X(defaultFairSharePreemptionThreshold)、或者小于minShare,并且持续超过一定时间(这两种情况的超时时间不同,可以设置),就会开始抢占式调度。


2.4. Schedulabe的fairShare是会不断变化的(minShare一般不会变化)。如果队列的minResource、maxResource、权重等属性变化,fairShare都要重新计算。application开始或结束,也都要重新计算fairShare。FairScheduler中有一个线程UpdateThread,默认每0.5秒调用一次update方法,就会重新计算fairShare。


2.5. 当FairScheduler决定开始抢占时,首先会计算要抢得的资源量。对于使用资源量小于minShare的,要恢复到minShare;对于使用量小于fairShare*X的,需要恢复到fairShare。将所有要恢复的资源量相加,得出要抢的的资源总量。然后遍历所有LeafQueue,找到所有资源用量大于fairShare的app,将他们在运行的container加入一个List,按优先级升序排列。然后遍历,优先杀死优先级低的container。当释放足够的资源后,抢占停止。


2.6. 总结一下筛选过程,计算出需要抢占的资源总数之后就是找出抢哪些container。找哪些container的流程是从root队列一层一层的查找可以抢占的队列,然后从队列中找到Application,最后找到可以抢占的container。筛选被抢占队列原则:选择超过fairShare最多的队列;在app中选择container是根据container的优先级,抢占优先级最低的container,container的优先级是由数字标识的,数字越大优先级越低。


2.7. 在YARN中,队列是按照树形结构组织的,一个队列当前实际可以使用的资源量R取决于最小资源量A(由管理员配置)、队列资源需求量(处于等待或者运行状态的应用程序尚需的资源总量)和同父兄弟队列的空闲资源量C(多余资源可共享给其他队列),这意味着R在不同时间点的取值是不同的,可以按照递归算法求出R=F(A, B, C),这样,如果一个队列当前正在使用资源量U>R,则需从该队列中抢占(U-R)资源。


2.8. 为了尽可能避免资源浪费,YARN优先选择优先级低的Container作为资源抢占对象,且不会立刻杀死Container,而是将释放资源的任务留给应用程序自己:ResourceManager将待杀死的Container列表发送给对应的ApplicationMaster,以期望它采取一定的机制自行释放这些Container占用的资源,比如先进行一些状态保存工作后,再将对应的Container杀死,以避免计算浪费,如果一段时间后,ApplicationMaster尚未主动杀死这些Container,则ResourceManager再强制杀死这些Container。






登录后即可回复 登录 | 注册
    
关注编程学问公众号