我正在使用 pyspark
df = self.sqlContext.read.option(
"es.resource", indexes
).format("org.elasticsearch.spark.sql").load()
df = df.filter(
df.data.timestamp >= self.period_start
)
我想看看 sql 查询版本df
如果可能的话。
就像是print(df.query)
看到类似的东西select * from my-indexes where data.timestamp > self.period_start
您可以查看这篇文档pyspark.sql.DataFrame.explain https://spark.apache.org/docs/2.0.0/api/python/pyspark.sql.html#pyspark.sql.DataFrame.explain
. explain
将(逻辑和物理)计划打印到控制台以进行调试。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)