我正在使用类型安全配置，https://github.com/typesafehub/config https://github.com/typesafehub/config，使用配置文件参数化在纱线集群模式下运行的 Spark 作业。 Typesafe Config 的默认行为是在类路径中搜索名称与正则表达式匹配的资源，并将它们自动加载到您的配置类中ConfigFactory.load()（出于我们的目的，假设它查找的文件名为application.conf).
我可以使用将配置文件加载到驱动程序中--driver-class-path <directory containing configuration file>，但是使用--conf spark.executor.extraClassPath=<directory containing configuration file>没有像应有的那样将资源放在所有执行器的类路径上。执行器报告说，他们找不到我尝试添加到其类路径的配置文件中确实存在的密钥的特定配置设置。
使用 Spark 将文件添加到所有执行器 JVM 的类路径中的正确方法是什么？
看起来像的价值spark.executor.extraClassPath属性与执行器上应用程序的工作目录相关。
因此，要正确使用此属性，应该使用--files <configuration file>首先指示 Spark 将文件复制到所有执行器的工作目录中，然后使用spark.executor.extraClassPath=./将执行器的工作目录添加到其类路径中。这种组合使执行器能够从配置文件中读取值。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
