不知道为什么我在这方面遇到困难,考虑到在 R 或 pandas 中相当容易做到,它看起来很简单。我想避免使用 pandas,因为我正在处理大量数据,而且我相信toPandas()
将所有数据加载到 pyspark 中的驱动程序内存中。
我有 2 个数据框:df1
and df2
。我要过滤df1
(删除所有行)其中df1.userid = df2.userid
AND df1.group = df2.group
。我不确定是否应该使用filter()
, join()
, or sql
例如:
df1:
+------+----------+--------------------+
|userid| group | all_picks |
+------+----------+--------------------+
| 348| 2|[225, 2235, 2225] |
| 567| 1|[1110, 1150] |
| 595| 1|[1150, 1150, 1150] |
| 580| 2|[2240, 2225] |
| 448| 1|[1130] |
+------+----------+--------------------+
df2:
+------+----------+---------+
|userid| group | pick |
+------+----------+---------+
| 348| 2| 2270|
| 595| 1| 2125|
+------+----------+---------+
Result I want:
+------+----------+--------------------+
|userid| group | all_picks |
+------+----------+--------------------+
| 567| 1|[1110, 1150] |
| 580| 2|[2240, 2225] |
| 448| 1|[1130] |
+------+----------+--------------------+
编辑:
我尝试过很多 join() 和 filter() 函数,我相信我得到的最接近的是:
cond = [df1.userid == df2.userid, df2.group == df2.group]
df1.join(df2, cond, 'left_outer').select(df1.userid, df1.group, df1.all_picks) # Result has 7 rows
我尝试了很多不同的连接类型,也尝试了不同的
cond values:
cond = ((df1.userid == df2.userid) & (df2.group == df2.group)) # result has 7 rows
cond = ((df1.userid != df2.userid) & (df2.group != df2.group)) # result has 2 rows
然而,连接似乎是添加额外的行,而不是删除。
我在用着python 2.7
and spark 2.1.0