YARN的任务调度 Yarn任务调度机制 1 FIFO Scheduler 2 Capacity Scheduler 3 Fair Scheduler 4 目 录 一、Yarn任务调度机制 现实生产环境当中资源往往是非常紧张的，尤其是在一个很繁忙的集群，一个应用资源的请求经常需要等待一段时间才能的到相应的资源，Yarn提供了多种调度器和可配置的策略供我们选择，来解决这一系列复杂的应用场景。 在Yarn中有三种调度器可以选择：FIFO Scheduler ，Capacity Scheduler，Fair Scheduler。 Yarn任务调度机制 二、FIFO Scheduler FIFO Scheduler是最简单也是最容易理解的调度器，也不需要任何配置，但它并不适用于共享集群。大的应用可能会占用所有集群资源，这就导致其它应用被阻塞。在共享集群中，更适合采用Capacity Scheduler或Fair Scheduler，这两个调度器都允许大任务和小任务在提交的同时获得一定的系统资源。 FIFO Scheduler 三、Capacity Scheduler Capacity 调度器允

本篇博客，Alice为大家带来关于如何搭建Spark的on yarn集群模式的教程。 文章目录准备工作cluster模式client模式[了解]两种模式的区别 官方文档: http://spark.apache.org/docs/latest/running-on-yarn.html 准备工作 安装启动Hadoop(需要使用HDFS和YARN，已经ok) 安装单机版Spark(已经ok) 注意：不需要集群，因为把Spark程序提交给YARN运行本质上是把字节码给YARN集群上的JVM运行，但是得有一个东西帮我去把任务提交上个YARN，所以需要一个单机版的Spark，里面的有spark-sh

Linux运维-运维课程MP4频-06-大数据之Hadoop部署-23yarn介绍.mp4

Linux运维-运维课程MP4频-06-大数据之Hadoop部署-24yarn工作原理.mp4