Pandas：与之前值的差异

给定一个看起来像这样的 Pandas 数据框

GROUP   VALUE    MASK
  1        5     false
  2       10     false
  2       20     false
  1        7     true
  3        17    false
  3        18    false
  1        100   false
  1        200   true

对于 MASK 为 true 的每一行，我希望获得与该组中的前一个值的差异，即结果应该是

VALUE DIFF
  7      2
  200  100

我如何在 Pandas 中计算这个？

对于大约 200 万行和 100 万组的大型数据帧，如何快速计算？

其实瓶颈是groupby。你实际上不需要使用groupby对于这个具体问题。到sort数据框由GROUP， 履行diff在排序后的数据帧上和filter by MASK应该没问题。我们必须使用kind='mergesort'保持排序前后组内的顺序不变，

假设每个组的第一个元素的 MASK 始终为 False （因为第一个元素对于差分运算没有意义），您可以使用此

pd.concat([df.VALUE, df.sort_values(by="GROUP", kind='mergesort').VALUE.diff()], axis=1, keys=['VALUE', 'DIFF'])[df.MASK]

性能测试：

MAXN = 200000
GROUPS = 10000
df = pd.DataFrame({"GROUP": np.ceil(np.random.rand(MAXN)*GROUPS), "VALUE": np.ceil(np.random.rand(MAXN)*10000), "MASK":np.floor(np.random.rand(MAXN)*2).astype("bool")})

%timeit t1 = pd.concat([df.VALUE, df.groupby('GROUP').VALUE.diff()], axis=1, keys=['VALUE', 'DIFF'])[df.MASK]
# 1 loop, best of 3: 1.28 s per loop

%timeit t2 = pd.concat([df.VALUE, df.sort_values(by="GROUP", kind='mergesort').VALUE.diff()], axis=1, keys=['VALUE', 'DIFF'])[df.MASK]
#10 loops, best of 3: 63.1 ms per loop

#MAXN = 2000000
#GROUPS = 1000000
%timeit t2 = pd.concat([df.VALUE, df.sort_values(by="GROUP", kind='mergesort').VALUE.diff()], axis=1, keys=['VALUE', 'DIFF'])[df.MASK]
#1 loop, best of 3: 1.24 s per loop