我正在使用 Spark 3.1.1，它使用 Scala 2.12，以及从下载的预构建 Livyhere https://livy.incubator.apache.org/download/使用 Scala 2.11（可以找到名为repl_2.11-jars/解压后）。
提到了comment https://stackoverflow.com/questions/60276527/livy-start-new-session由 Aliaksandr Sasnouskikh 制作，Livy 需要重建，否则会抛出错误{'msg': 'requirement failed: Cannot find Livy REPL jars.'}即使在后会话中。
In the 自述文件.md https://github.com/apache/incubator-livy，其中提到：
默认情况下，Livy 是针对 Apache Spark 2.4.5 构建的
如果我想重建 Livy，我该如何更改构建它的 Spark 版本？
提前致谢。
您可以在 Maven 中通过 Spark-3.0 配置文件重建 Livy，为 Spark 3 创建自定义构建，例如：
git clone https://github.com/apache/incubator-livy.git && \
cd incubator-livy && \
mvn clean package -B -V -e \
-Pspark-3.0 \
-Pthriftserver \
-DskipTests \
-DskipITs \
-Dmaven.javadoc.skip=true
该配置文件在 pom.xml 中定义，默认安装 Spark 3.0.0。您可以更改它以使用不同的 Spark 版本。
<profile>
<id>spark-3.0</id>
<activation>
<property>
<name>spark-3.0</name>
</property>
</activation>
<properties>
<spark.scala-2.12.version>3.0.0</spark.scala-2.12.version>
<spark.scala-2.11.version>2.4.5</spark.scala-2.11.version>
<spark.version>${spark.scala-2.11.version}</spark.version>
<netty.spark-2.12.version>4.1.47.Final</netty.spark-2.12.version>
<netty.spark-2.11.version>4.1.47.Final</netty.spark-2.11.version>
<netty.version>${netty.spark-2.11.version}</netty.version>
<java.version>1.8</java.version>
<py4j.version>0.10.9</py4j.version>
<json4s.spark-2.11.version>3.5.3</json4s.spark-2.11.version>
<json4s.spark-2.12.version>3.6.6</json4s.spark-2.12.version>
<json4s.version>${json4s.spark-2.11.version}</json4s.version>
<spark.bin.download.url>
https://archive.apache.org/dist/spark/spark-3.0.0/spark-3.0.0-bin-hadoop2.7.tgz
</spark.bin.download.url>
<spark.bin.name>spark-3.0.0-bin-hadoop2.7</spark.bin.name>
</properties>
</profile>
据我所知，Livy支持spark 3.0.x。但值得使用 3.1.1 进行测试，并让我们知道:)
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
