我正在我的开发机器（Mac）上编写 Spark 程序。
hadoop的版本是2.6，spark的版本是1.6.2。 hadoop集群有3个节点，当然都在linux机器上。
我在idea IDE中以spark独立模式运行spark程序，它运行成功。但是现在，我将其更改为yarn-client模式，它无法成功运行，并且给出消息如下：
...
2017-02-23 11:01:33,725-[HL] INFO main org.apache.hadoop.yarn.client.RMProxy - Connecting to ResourceManager at /0.0.0.0:8032
2017-02-23 11:01:34,839-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2017-02-23 11:01:35,842-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2017-02-23 11:01:36,847-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
2017-02-23 11:01:37,854-[HL] INFO main org.apache.hadoop.ipc.Client - Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
...
我已经在项目的resources目录下添加了相应的配置文件。如果我把它打成jar包并使用spark-submit运行这个程序就可以了。现在，我想在IDE中以yarn-client模式运行这个程序，就像spark独立模式一样。我该如何解决这个问题？谢谢。
确保在纱线模式下运行时，YARN 配置可供 Spark 使用。添加这些文件core-site.xml, hdfs-site.xml and yarn-site.xml文件到conf火花目录。
还要确保，yarn-site.xml包含资源管理器的地址
<property>
<name>yarn.resourcemanager.address</name>
<value>resource_manager_ip:8032</value>
</property>
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
