根据日期检查创建新列

我在 Scala 中有两个数据框：

df1 =

ID  Field1
1   AAA
2   BBB
4   CCC

and

df2 =

PK  start_date_time
1   2016-10-11 11:55:23
2   2016-10-12 12:25:00
3   2016-10-12 16:20:00

我也有一个变量start_date与格式yyyy-MM-dd等于2016-10-11.

我需要创建一个新列check in df1基于以下条件：If PK is equal to ID AND the year, month and day of start_date_time are equal to start_date, then check is equal to 1, otherwise 0.

结果应该是这样的：

df1 =

ID  Field1  check
1   AAA     1
2   BBB     0
4   CCC     0

In 我之前的问题我有两个数据框，建议使用连接和过滤。但是，在这种情况下它不起作用。我最初的想法是使用udf，但不确定如何使其适用于这种情况。

你可以结合join and withColumn对于这个案例。即首先加入df2在 ID 列上，然后使用when.otherwise修改检查列的语法：

import org.apache.spark.sql.functions.lit

val df2_date = df2.withColumn("date", to_date(df2("start_date_time"))).withColumn("check", lit(1)).select($"PK".as("ID"), $"date", $"check")

df1.join(df2_date, Seq("ID"), "left").withColumn("check", when($"date" === "2016-10-11", $"check").otherwise(0)).drop("date").show

+---+------+-----+
| ID|Field1|check|
+---+------+-----+
|  1|   AAA|    1|
|  2|   BBB|    0|
|  4|   CCC|    0|
+---+------+-----+

或者另一种选择，首先过滤df2，然后将其重新加入df1 on ID column:

val df2_date = (df2.withColumn("date", to_date(df2("start_date_time"))).
                    filter($"date" === "2016-10-11").
                    withColumn("check", lit(1)).
                    select($"PK".as("ID"), $"date", $"check"))

df1.join(df2_date, Seq("ID"), "left").drop("date").na.fill(0).show

+---+------+-----+
| ID|Field1|check|
+---+------+-----+
|  1|   AAA|    1|
|  2|   BBB|    0|
|  4|   CCC|    0|
+---+------+-----+

如果你有一个像这样的约会2016-OCT-11，可以将其转换为sql Date进行比较，如下：

val format = new java.text.SimpleDateFormat("yyyy-MMM-dd")
val parsed = format.parse("2016-OCT-11")
val date = new java.sql.Date(parsed.getTime())
// date: java.sql.Date = 2016-10-11