魏麒：MapReduce系统中的两阶段混合流水作业调度方案研究
【《系统工程理论与实践》－魏麒】 2021-01-15
MapReduce是谷歌公司提出的一种针对大数据进行分析和处理的技术，被广泛应用于需要大数据处理的工业互联网和消费互联网产业。不同的实际背景的应用场景，需要设计不同的调度方案以寻求最大的效率。针对MapReduce模式下的两阶段混合流水线作业调度问题，研究发现，基于Johnson 规则和LPT规则都是可行的他们的最坏情况界分别为2-1/m和2（其中m为流水线第二个阶段的机器数量）。通过随机数值模拟发现一般情况下基于Johnson 规则的调度方案性能优于基于LPT规则的调度方案；但是当生产加工的第二阶段工作量总和大于第一阶段工作总量并且第二阶段可供调用的生产机器较多时，数值实验显示基于LPT规则的调度方案反而更有优势。该研究成果对基于MapReduce模式的两阶段混合流水作业合理调度实践提供了理论指导意义。
（全文刊登在《系统工程理论与实践》2020年11月刊）
(撰稿：国际经济贸易学院 魏麒；审核：国际经济贸易学院 王瑞)
