如何在spark Dataframe中的列之间进行一些计算?

2023-12-01

例如,我想加上 la 和 lon 列并在另一列中输出结果。

+------+------------------+------------------+
|userid|               la |               lon|
+------+------------------+------------------+
|    u3|               2.0|               2.0|
|    u4|               1.0|               1.0|
|    u5|               2.0|               2.0|
|    u1|1.6666666666666667|2.6666666666666665|
|    u6|               1.0|               3.5|
|    u2|               3.0|               4.0|
+------+------------------+------------------+

如果您只需要将两列相加,则非常简单:

df.withColumn("x", $"la" + $"lon")

x 是新列的名称。

要将列提升为 2 次方:

df.withColumn("x", pow($"la" + $"lon", 2))
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何在spark Dataframe中的列之间进行一些计算? 的相关文章

随机推荐