如何使用子进程通过 Spark-Submit 将数据帧作为参数发送到 Python 脚本。我已经尝试了下面的代码，但没有成功，因为我们无法连接字符串和对象。
def spark_submit(self, test_cases, email):
command = 'spark-submit TestRunner.py '+test_cases+" "+email
print(command)
process = subprocess.Popen([command], shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE)
output, error = process.communicate()
status = process.returncode
print(status)```
您不能连接任何不是字符串（或转换为字符串）的内容。我假设您无法直接将数据帧作为命令行参数传递，因此我建议将其转换为文件并传递文件路径而不是数据帧本身。
df.to_csv('mydf.csv')
command = 'spark-submit TestRunner.py mydf.csv ' + email
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
