在 Spark-Sql 1.6 版本中，使用DataFrames，有没有一种方法可以计算特定列的每一行的当前行和下一行的总和？
例如，如果我有一个只有一列的表，如下所示
Age
12
23
31
67
我想要以下输出
Sum
35
54
98
最后一行被删除，因为它没有要添加的“下一行”。
现在我正在通过对表格进行排名并将其与自身连接起来来做到这一点，其中rank等于rank+1.
有一个更好的方法吗？
这可以通过Window功能？
是的，你绝对可以这样做Window函数通过使用rowsBetween功能。我用过person列为grouping我下面的例子的目的。
import sqlContext.implicits._
import org.apache.spark.sql.functions._
val dataframe = Seq(
("A",12),
("A",23),
("A",31),
("A",67)
).toDF("person", "Age")
val windowSpec = Window.partitionBy("person").orderBy("Age").rowsBetween(0, 1)
val newDF = dataframe.withColumn("sum", sum(dataframe("Age")) over(windowSpec))
newDF.filter(!(newDF("Age") === newDF("sum"))).show
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
