经过漫长而困难的 SparkR 安装过程后,我遇到了启动 SparkR 的新问题。
我的设置
R 3.2.0
RStudio 0.98.1103
Rtools 3.3
Spark 1.4.0
Java Version 8
SparkR 1.4.0
Windows 7 SP 1 64 Bit
现在我尝试在 R 中使用以下代码:
library(devtools)
library(SparkR)
Sys.setenv(SPARK_MEM="1g")
Sys.setenv(SPARK_HOME="C:/spark-1.4.0")
sc <- sparkR.init(master="local")
我收到以下信息:
JVM is not ready after 10 seconds
我还尝试添加一些系统变量,例如 Spark 路径或 java 路径。
您对我解决这些问题有什么建议吗?
测试本地主机后,我的下一步是在我正在运行的 hadoop 集群上开始测试。
我认为这是一个错误,现已解决。
尝试以下操作,
Sys.setenv(SPARK_HOME="C:\\spark-1.4.0")
.libPaths(c(file.path(Sys.getenv("SPARK_HOME"), "R", "lib"), .libPaths()))
library("SparkR", lib.loc="C:\\spark-1.4.0\\lib") # The use of \\ is for windows environment.
library(SparkR)
sc=sparkR.init(master="local")
使用spark-submit命令启动javaC:\spark-1.4.0/bin/spark-submit.cmd sparkr-shell
C:\Users\Ashish\AppData\Local\Temp\RtmpWqFsOB\backend_portbdc329477c6
希望这可以帮助。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)