将系统属性传递给spark-submit并从类路径或自定义路径读取文件

我最近发现一种使用 logback 代替 log4j 的方法 https://stackoverflow.com/a/45480145/1549135在 Apache Spark 中（既适合本地使用，也适合spark-submit）。然而，还缺少最后一块。

问题是 Spark 非常努力地不去看logback.xml其类路径中的设置。我已经找到了一种在本地执行期间加载它的方法：

到目前为止我所拥有的

基本上，检查系统属性logback.configurationFile，但正在加载logback.xml从我的/src/main/resources/万一：

// the same as default: https://logback.qos.ch/manual/configuration.html
private val LogbackLocation = Option(System.getProperty("logback.configurationFile"))
// add some default logback.xml to your /src/main/resources
private lazy val defaultLogbackConf = getClass.getResource("/logback.xml").getPath

private def getLogbackConfigPath = {
   val path = LogbackLocation.map(new File(_).getPath).getOrElse(defaultLogbackConf)
   logger.info(s"Loading logging configuration from: $path")
   path
}

然后当我初始化 SparkContext 时...

val sc = SparkContext.getOrCreate(conf)
sc.addFile(getLogbackConfigPath)

我可以确认它在本地有效。

和谁玩spark-submit

spark-submit \
  ...
  --master yarn \
  --class com.company.Main\
  /path/to/my/application-fat.jar \
  param1 param2 

这给出了一个错误：

Exception in thread "main" java.io.FileNotFoundException: Added file file:/path/to/my/application-fat.jar!/logback.xml does not exist

我认为这是无稽之谈，因为首先应用程序找到文件（根据我的代码）

getClass.getResource("/logback.xml").getPath

然后，期间

sc.addFile(getLogbackConfigPath)

事实证明...哇！那里没有文件！？有没有搞错！？为什么它在 jar 内找不到该文件。显然它就在那里，我做到了triple检查了它。

另一种方法spark-submit

所以我想，好吧。我将传递我的文件，因为我可以指定系统属性。我把logback.xml文件在我旁边application-fat.jar and:

spark-submit \
  ...
  --conf spark.driver.extraJavaOptions="-Dlogback.configurationFile=/path/to/my/logback.xml" \
  --conf spark.executor.extraJavaOptions="-Dlogback.configurationFile=/path/to/my/logback.xml" \
  --master yarn \
  --class com.company.Main\
  /path/to/my/application-fat.jar \
  param1 param2 

我得到了与上面相同的错误。所以我的设置完全被忽略了！为什么？如何指定

-Dlogback.configurationFile

正确地将其传递给驱动程序和执行者？

Thanks!

1. 解决java.io.FileNotFoundException

This is 可能无法解决.

Simply, SparkContext.addFile无法从 Jar 内部读取文件。我相信它的待遇就像在某些地方一样zip或类似的。

Fine.

2. 传球-Dlogback.configurationFile

由于我对配置参数的误解，这不起作用。

因为我正在使用--master yarn参数，但我没有指定--deploy-mode to cluster这是默认的client.

Reading https://spark.apache.org/docs/1.6.1/configuration.html#application-properties https://spark.apache.org/docs/1.6.1/configuration.html#application-properties

Spark.driver.extraJavaOptions

注意：在客户端模式下，不能直接在应用程序中通过 SparkConf 设置此配置，因为此时驱动程序 JVM 已经启动。相反，请通过 --driver-java-options 命令行选项或在默认属性文件中进行设置。

所以通过这个设置--driver-java-options worked:

spark-submit \
  ...
  --driver-java-options "-Dlogback.configurationFile=/path/to/my/logback.xml" \
  --master yarn \
  --class com.company.Main\
  /path/to/my/application-fat.jar \
  param1 param2 

注意事项--driver-java-options

相比之下--conf多个参数have to作为一个参数传递，例如：

--driver-java-options "-Dlogback.configurationFile=/path/to/my/logback.xml -Dother.setting=value" \

以及以下内容不管用

--driver-java-options "-Dlogback.configurationFile=/path/to/my/logback.xml" \
--driver-java-options "-Dother.setting=value" \