Hadoop YARN 资源调度器

2020-03-06 16:26:19 | 编辑

集群的资源是有限的,但有可能有很多部门都往这个集群提交应用,而且每个部门都可能有很多应用,有的任务执行很快,有的执行要几个小时,有的应用比较紧急,有的不需要很快就计算完,那先执行哪些应用,如果分配更多的资源给紧急的任务,这个时候就需要用到Yarn的调度器。

YARN中有三种调度器可用: FIFO 调度器(FIFO Scheduler), 容量调度器(CapacityScheduler)和公平调度器(Fair Scheduler)。 
 

之前的文章里面也有很多对yarn资源调度器的介绍,也进行过大量实践,直接参考之前的文章即可:

1.三种调度器

fifo先进先出就是默认的情况,所以下面也没有开篇专门讲解配置

yarn scheduler三种资源调度器详解及配置

 

2.Capacity 调度器

yarn队列资源调度器Capacity Scheduler官方配置详解

 

3.公平调度器

yarn Fair Scheduler资源队列调度器官方配置详解

 

4.资源抢占分析

YARN队列资源抢占模式分析