在 Zeppelin 0.7.1 中运行 Spark 代码时出现 NullPointerException

2023-12-24

我已经安装了Zeppelin 0.7.1。当我尝试执行示例 Spark 程序(可通过Zeppelin Tutorial笔记本),我收到以下错误

java.lang.NullPointerException
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:38)
    at org.apache.zeppelin.spark.Utils.invokeMethod(Utils.java:33)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext_2(SparkInterpreter.java:391)
    at org.apache.zeppelin.spark.SparkInterpreter.createSparkContext(SparkInterpreter.java:380)
    at org.apache.zeppelin.spark.SparkInterpreter.getSparkContext(SparkInterpreter.java:146)
    at org.apache.zeppelin.spark.SparkInterpreter.open(SparkInterpreter.java:828)
    at org.apache.zeppelin.interpreter.LazyOpenInterpreter.open(LazyOpenInterpreter.java:70)
    at org.apache.zeppelin.interpreter.remote.RemoteInterpreterServer$InterpretJob.jobRun(RemoteInterpreterServer.java:483)
    at org.apache.zeppelin.scheduler.Job.run(Job.java:175)
    at org.apache.zeppelin.scheduler.FIFOScheduler$1.run(FIFOScheduler.java:139)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.access$201(ScheduledThreadPoolExecutor.java:180)
    at java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask.run(ScheduledThreadPoolExecutor.java:293)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)

我还设置了配置文件(zeppelin-env.sh) 指向我的 Spark 安装和 Hadoop 配置目录

export SPARK_HOME="/${homedir}/sk"
export HADOOP_CONF_DIR="/${homedir}/hp/etc/hadoop"

我使用的Spark版本是2.1.0 & Hadoop是2.7.3

另外,我使用默认的 Spark 解释器配置(因此 Spark 设置为在Local mode)

我在这里错过了什么吗?

PS:我可以使用以下命令从终端连接到 Sparkspark-shell


刚才我得到了 Zeppelin-0.7.2 的这个问题的解决方案:

根本原因是:Spark 尝试设置 Hive 上下文,但 hdfs 服务 未运行,这就是 HiveContext 变为 null 并抛出 null 的原因 指针异常。

解决方案:
1. 设置 Spark Home [可选] 和 HDFS。
2.运行HDFS服务
3.重启zeppelin服务器
OR
1. 转到 Zeppelin 的解释器设置。
2.选择Spark解释器
3. zeppelin.spark.useHiveContext = false

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

在 Zeppelin 0.7.1 中运行 Spark 代码时出现 NullPointerException 的相关文章

随机推荐