我是 hadoop 新手。
我已经设置了一个 2 节点集群。
如何在 hadoop 中并行运行 2 个作业。
当我提交作业时，它们按照 FIFO 顺序一项一项地运行。我必须并行运行这些作业。如何实现这一目标。
谢谢
MRK
Hadoop 可以配置多种调度器，默认是 FIFO 调度器。
FIFO 调度的行为如下。
场景一：如果集群有10个Map Task容量，job1需要15个Map Task，那么运行job1会占用整个集群。当 job1 取得进展并且有可用的空闲插槽但 job1 未使用时，job2 将在集群上运行。
场景二：如果集群有10个Map Task容量，job1需要6个Map Task，那么job1占用6个slot，job2占用4个slot。 job1 和 job2 并行运行。
要从一开始就并行运行作业，您可以配置公平调度程序 or a 容量调度器根据您的要求。必须设置mapreduce.jobtracker.taskscheduler和特定的调度程序参数才能使其在mapred-site.xml.
编辑：根据 MRK 的评论更新了答案。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
