我刚刚旋转了一个新的AWS
实例在Linux
。而且,我安装了pyspark
在上面。它有spark 1.6
.
我在跑pyspark
with yarn
。当我执行命令时pyspark
在终端中,它最初启动,但随后我收到消息:
dd/mm/YY HH:MM:SS INFO yarn.Client: Application report for application_XXXXXXXXXXX_XXXX (state: ACCEPTED)
......然后这种情况就会永远持续下去。
所以,我检查了yarn
查看是否有其他东西正在运行:
yarn application -list
并且仅显示我的应用程序正在运行。我该如何打开pyspark
shell 并让我的应用程序启动而不仅仅是ACCEPTED
?
你可以尝试运行spark-shell并看看它是否进入运行状态吗?
当纱线没有向其请求资源时,就会发生这种情况。
示例:假设yarn 有 5GB 可用内存,而您请求 10GB。您的作业将陷入“已接受”阶段,直到获得请求的内存为止。
尝试使用以下配置运行您的作业:
pyspark --total-executor-cores 2 --executor-memory 1G
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)