hadoop作业调度策略

  一个Mapreduce作业是通过JobClient向master的JobTasker提交的(JobTasker一直在等待JobClient通过RPC协议提交作业)，JobTasker接到JobClient的请求后把其加入作业队列中。
     DataNode节点的TaskTracker一直通过RPC(RPC--远程过程调用协议它是一种通过网络从远程计算机上请求服务，而不需要了解底层网络技术的协议)向JobTasker发送heartbeat询问有没有任务做，如果有则让其派发任务过来，TaskTracker在其本地发起Task，执行任务。

作业调度策略有三种：

1、默认调度算法--FIFO队列策略：

hadoop默认调度器，它先按照作业优先级的高低，再按照到达时间的先后来选择被执行的作业。

优点：调度算法简单，JobTracker工作负担轻。

缺点：忽略了不同作业的需求差异。例如如果类似于对海量数据进行统计分析的作业长期占据计算资源，那么在其后提交的交互型作业有可能迟迟得不到处理，从而影响用户体验。

2、计算能力调度算法Capacity Scheduler(Yahoo 开发)

(1)Capacity Scheduler 中可以定义多个作业队列，作业提交时将直接放入到一个队列中，每个队列中采用的调度策略是FIFO算法。

(2)每个队列都可以通过配置获得一定数量的task tracker资源用于处理map/reduce操作，调度算法将按照配置文件为队列分配相应的计算资源量。

(3)该调度默认情况下不支持优先级，但是可以在配置文件中开启此选项，如果支持优先级，调度算法就是带有优先级的FIFO。

(4)不支持优先级抢占，一旦一个工作开始执行，在执行完之前它的资源不会被高优先级作业所抢占。

(5)对队列中同一用户提交的作业能够获得的资源百分比进行了限制以使同属于一用户的作业不能出现独占资源的情况.

Capacity Scheduler内存管理

      Capacity Scheduler能有效地对hadoop集群的内存资源进行管理，以支持内存密集型应用。作业对内存资源需求高时，调度算法将把该作业的相关任务分配到内存资源充足的task tracker上。在作业选择过程中，Capacity Scheduler会检查空闲的tasktracker上的内存资源是否满足作业要求。Tasktracker上的空闲资源（内存）数量值可以通过tasktracker的内存资源总量减去当前已经使用的内存数量得到，而后者包含在tasktracker向jobtracker发送的周期性心跳信息中。

配置Capacity Scheduler

步骤：

1、cd $HADOOP_HOME/contrib/capacity-scheduler

2、cp hadoop-capacity-scheduler-0.20.2-cdh3u2.jar $HADOOP_HOME/lib

配置$HADOOP_HOME/conf下的map-site.xml,增加

[AppleScript] 纯文本查看 复制代码

<property>
　　　　<name>map.jobtracker.taskScheduler</name>
　　　 <value>org.apache.hadoop.mapred.CapacityTaskScheduler</value> <!--这个就是刚才拷过去的jar里面的类-->
</property>
<property>
　　　　<name>mapred.queue.names</name> <!--定义队列-->
　　　　<value>default,bean</value><!--两个队列一个default(默认)bean队列-->
</property>

<!--修改$HADOOP_HOME/conf下cpacity-scheduler.xml增加属性如下-->
<property>
　　　　<name>mapred.capacity-scheduler.queue.default.capacity</name>
　　　　<vaule>100</value>
</property>
<property>
　　　　<name>mapred.capacity-schelduler.queue.bean.capacity</name>
　　　　<value>100</value>
</property>

选择队列(执行前需要做)：

set mapred.job.queue.name = bean（对列的名字）

3、公平份额调度算法Fair Scheduler(Facebook开发)

      Facebook要处理生产型作业(数据统计分析，hive)、大批处理作业(数据挖掘、机器学习)、小型交互型作业(hive查询),不同用户提交的作业型在计算时间、存储空间、数据流量和相应时间上都有不同需求。为使hadoop mapreduce框架能够应对多种类型作业并行执行，使得用户具有良好的体验，Facebook公司提出该算法。

      Fair Scheduler调度中，只有一个作业执行时，它将独占集群所有资源。有其他作业被提交时会有TaskTracker被释放并分配给新提交的作业，以保证所有的作业都能够获得大体相同的计算资源。

作业池：

     为每一个用户建立一个作业池，用户提交的作业将会放进一个能够公平共享资源的pool(池)中，每个作业池设定了一个最低资源保障，当一个池中包含job时，它至少可以获得minmum share的资源(最低保障资源份额机制)。

池中的作业获得一定份额的资源，可以通过配置文件限制每个池中作业数量，缺省情况下，每个作业池中选择将要执行的作业的策略是FIFO策略，先按照优先级高低排序，然后再按照提交时间排序。

Deficit(赤字，不足)：

    Fair Scheldure为每个作业定义了一个deficit指标，Deficit是一个作业在理想情况下的获得的计算资源和实际中获得的计算资源之间的差距。Fair Scheduler会每隔几百毫秒观察每个作业有多少任务已经在这个时间间隔内执行，并将结果与它的资源份额比较，一更新该作业的deficit值。一旦有空闲的task tracker出现，首先分配给当前具有最高deficit值得作业。

例如：如果系统中存在着尚未获得最低资源保障的作业池，那么该池中的作业将会优先调度，而选择池中的作业需要根据他们的deficit来决定。这样做是为了尽可能满足作业池最低保障资源份额的限制。

配置：

cd $HADOOP_HOME/contrib/fairscheduler

cp *.jar $HADOOP_HOME/lib

注：一般版本里，lib下包含这个包

配置$HADOOP_HOME/conf下的map-site.xml,增加

[AppleScript] 纯文本查看 复制代码

<property>
　　　　<name>mapred.jobtracker.taskScheduler</name> <!--加载jar包中的类-->
　　　　<value>org.apache.hadoop.mapred.FairScheduler</value>
</property>
<property>
　　　　<name>mapred.fairscheduler.allocation.file</name>
　　　　<value>$HADOOP_HOME/conf/fair-scheduler.xml</value>
</property>
<property>
　　　　<name>mapred.queue.names</name><!--定义队列-->
　　　　<value>default,bean</value><!--两个池一个default(默认)bean池-->
</property>
<!--加上这么一个-->
<property>
　　　 <name>mapred.fairscheduler.preemption</name>
　　　　<value>true</value>
</property>

fair-schelduler.xml根据文件里面给的例子配置就可以了。

选择队列(执行前需要做)：set mapred.job.queue.name = bean（池的名字）

注：配置可能会出错，可能是不能用$HADOOP_HOME把它改问绝对路径。