如何遍历一列列表并从另一列中删除另一个列表中同一索引处的元素？

我有一个数据框，其中每行非列表后面跟着一行包含列值中的列表。

我想删除每个列表中的重复列表值：Fruit、Sport、Color 及其相应的 Date 索引值。我还需要没有列表的行保持不变。我只希望带有列表的行受到此更改的影响。第一行只是每个列表中的第一次出现。

示例输出：

我认为这里循环是不可避免的：

for col in df.columns:
    df[col] = [
        list(dict.fromkeys(v)) # to preserve the order of the values
        if isinstance(v, list) else v for v in df[col]
    ]

或者，您可以使用map https://pandas.pydata.org/docs/dev/reference/api/pandas.DataFrame.map.html那已经是2.1.0中添加 https://pandas.pydata.org/docs/dev/whatsnew/v2.1.0.html#new-dataframe-map-method-and-support-for-extensionarrays (从前 applymap https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.applymap.html):

df = df.map(lambda v: list(dict.fromkeys(v)) if isinstance(v, list) else v)

时间：

# loop : 907 µs ± 31.4 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)
# .map : 630 µs ± 40.4 µs per loop (mean ± std. dev. of 7 runs, 1,000 loops each)

Output :