Hadoop 2.0 ApplicationMaster 与 NodeManager

2023-12-29

我无法识别两者之间的差异申请大师 and 节点管理器在Hadoop 2.0架构中。

我知道ApplicationMaster负责运行map and reduce任务并通过与 ResourceManager 协调来检索容器来运行这些任务。

但我对 NodeManager 的用途感到困惑。 NodeManager 是否为 ApplicationMaster 创建容器(以运行这些映射和化简任务),​​或者 ResourceManager 是否为 ApplicationMaster 创建容器(以运行这些映射和化简任务),​​并且 NodeManager 仅管理节点的运行状况,安全地放置为ApplicationMaster提供容器所需的文件和目录,监控容器的资源使用情况等。


ResourceManager(每个集群一个)- 在所有应用程序之间仲裁资源。

NodeManager - 负责容器启动、监视其资源使用情况(CPU、内存、磁盘、网络)并将其报告给 ResourceManager/Scheduler。

因此,在回答您的问题时,ResourceManager 本身不会启动容器,它会找到可以执行此操作的合适 NodeManager。

下面是一些带有更多详细信息的图片和链接。

纱线架构 https://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YARN.html来自 Hadoop 官方文档:

YARN 应用程序运行剖析 https://www.safaribooksonline.com/library/view/hadoop-the-definitive/9781491901687/ch04.html(来自 Tom White 的《Hadoop:权威指南》):

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Hadoop 2.0 ApplicationMaster 与 NodeManager 的相关文章

随机推荐