之前有介绍配置过Capacity Scheduler，Fair Scheduler这两个 yarn 资源调度器，无论如何 资源隔离都不是最终的目的，而高效的弹性才是我们追求的目标，YARN队列资源抢占是需要先kill container,再重启，所以抢占的速度才不尽人意。所以需要详细了解YARN队列资源抢占具体参数和流程。
1.yarn队列资源抢占基本概念
1.1. 集群资源定义
YARN的资源抽象比较简单，只有两种资源：内存和CPU。而资源数量是管理员手动设置的，每个NM节点可以贡献一定数量的内存（MB）和CPU，由RM统一管理，不一定是真实的内存和CPU数。其中内存资源是比较关键的，直接决定任务能否成功。如果某个任务需要的内存过多，可能无法执行，或者OOM。CPU资源的限制比较弱，只限定了一台NM上能并发执行多少任务。如果并发的过多，执行的可能比较慢。
1.2. 调度器
* FIFO：只有一个队列，所有用户共享。资源分配的过程也非常简单，先到先得，所以很容易出现一个用户占满集群所有资源的情况。
* CapacityScheduler：在FIFO的基础上，增加多用户支持，每个用户都可以使用特定量的资源，但集群空闲时，也可以使用整个集群的资源。
* FairScheduler：每个用户只有配置最大特定数量的资源可以用，不可能超出这个限制，即使集群整体很空闲。支持多资源类型。队列之间可以借用。
1.3. 调度策略
* Dominant Resource Fairness (DRF)(默认) - 根据 CPU 和内存公平调度资源。
* Fair (FAIR) - 仅根据内存公平调度资源。
* First-In, First-Out (FIFO) - 先进先出。
1.4. 资源分配算法
* Max-min fairness算法：如果每一个用户都有足够地请求，会给予每个用户一份均等的资源。尽量不让任何用户被“饿死”。
* DRF：让所有application的“主要资源占比”尽量均等，包括CPU及内存。
2 资源抢占模型
2.1. 在资源调度器中，每个队列可设置一个最小资源量和最大资源量，其中，最小资源量是资源紧缺情况下每个队列需保证的资源量，而最大资源量则是极端情况下队列也不能超过的资源使用量。
2.2. 开启资源抢占后当某个队列资源不足时，调度器会杀死其他队列的container以释放资源，分给这个队列。这个特性默认是关闭的。关键点有两个：1.启动抢占式调度的条件？2.选择哪些container去杀掉？
2.3. 每个队列都有minShare、fairShare属性。这两个属性是抢占式调度的阈值。当一个队列使用的资源小于fairShare*X（defaultFairSharePreemptionThreshold）、或者小于minShare，并且持续超过一定时间（这两种情况的超时时间不同，可以设置），就会开始抢占式调度。
2.4. Schedulabe的fairShare是会不断变化的（minShare一般不会变化）。如果队列的minResource、maxResource、权重等属性变化，fairShare都要重新计算。application开始或结束，也都要重新计算fairShare。FairScheduler中有一个线程UpdateThread，默认每0.5秒调用一次update方法，就会重新计算fairShare。
2.5. 当FairScheduler决定开始抢占时，首先会计算要抢得的资源量。对于使用资源量小于minShare的，要恢复到minShare；对于使用量小于fairShare*X的，需要恢复到fairShare。将所有要恢复的资源量相加，得出要抢的的资源总量。然后遍历所有LeafQueue，找到所有资源用量大于fairShare的app，将他们在运行的container加入一个List，按优先级升序排列。然后遍历，优先杀死优先级低的container。当释放足够的资源后，抢占停止。
2.6. 总结一下筛选过程，计算出需要抢占的资源总数之后就是找出抢哪些container。找哪些container的流程是从root队列一层一层的查找可以抢占的队列，然后从队列中找到Application，最后找到可以抢占的container。筛选被抢占队列原则：选择超过fairShare最多的队列；在app中选择container是根据container的优先级，抢占优先级最低的container，container的优先级是由数字标识的，数字越大优先级越低。
2.7. 在YARN中，队列是按照树形结构组织的，一个队列当前实际可以使用的资源量R取决于最小资源量A（由管理员配置）、队列资源需求量（处于等待或者运行状态的应用程序尚需的资源总量）和同父兄弟队列的空闲资源量C（多余资源可共享给其他队列），这意味着R在不同时间点的取值是不同的，可以按照递归算法求出R=F(A, B, C)，这样，如果一个队列当前正在使用资源量U>R，则需从该队列中抢占(U-R)资源。
2.8. 为了尽可能避免资源浪费，YARN优先选择优先级低的Container作为资源抢占对象，且不会立刻杀死Container，而是将释放资源的任务留给应用程序自己：ResourceManager将待杀死的Container列表发送给对应的ApplicationMaster，以期望它采取一定的机制自行释放这些Container占用的资源，比如先进行一些状态保存工作后，再将对应的Container杀死，以避免计算浪费，如果一段时间后，ApplicationMaster尚未主动杀死这些Container，则ResourceManager再强制杀死这些Container。
