是否可以通过管道火花RDD到Python？
因为我需要一个Python库来对我的数据进行一些计算，但我的主要Spark项目是基于Scala的。
有没有办法混合它们或者让 python 访问相同的 Spark 上下文？
您确实可以使用 Scala 和 Spark 以及常规 Python 脚本通过管道输出到 Python 脚本。
test.py
#!/usr/bin/python
import sys
for line in sys.stdin:
print "hello " + line
Spark-Shell (scala)
val data = List("john","paul","george","ringo")
val dataRDD = sc.makeRDD(data)
val scriptPath = "./test.py"
val pipeRDD = dataRDD.pipe(scriptPath)
pipeRDD.foreach(println)
Output
你好约翰
你好林戈
你好乔治
你好保罗
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
