集群的资源是有限的,但有可能有很多部门都往这个集群提交应用,而且每个部门都可能有很多应用,有的任务执行很快,有的执行要几个小时,有的应用比较紧急,有的不需要很快就计算完,那先执行哪些应用,如果分配更多的资源给紧急的任务,这个时候就需要用到Yarn的调度器。
YARN中有三种调度器可用: FIFO 调度器(FIFO Scheduler), 容量调度器(CapacityScheduler)和公平调度器(Fair Scheduler)。
之前的文章里面也有很多对yarn资源调度器的介绍,也进行过大量实践,直接参考之前的文章即可:
1.三种调度器
fifo先进先出就是默认的情况,所以下面也没有开篇专门讲解配置
2.Capacity 调度器
yarn队列资源调度器Capacity Scheduler官方配置详解
3.公平调度器
yarn Fair Scheduler资源队列调度器官方配置详解
4.资源抢占分析