我想单独提取“S”的 bin，其中每列 (X&Y) > 0.5，或多个 bin > 0.5 *“行数”。

在示例中；

对于“AR1”，应仅选择 bin 4，因为“X”和“Y”> 0.5（蓝色指示）

对于“PO1”，应选择 bin 1、2、3 和 4，因为“X”和“Y”> (4 * 0.5)（黄色指示）。

我之前已经尝试过这个for loop，但这没有正确工作；有条件地选择多个（相邻）行 https://stackoverflow.com/questions/41590518/selecting-multiple-neighboring-rows-conditionally

np.random.seed(0)

N = 20
S = ['AR1', 'PO1']

df = pd.DataFrame(
    {'X':np.random.uniform(-1,1,N),
     'Y':np.random.uniform(-1,1,N),
     'S':np.random.choice(S,N),
    })

df['bins_X'] = df.groupby('S')['X'].apply(pd.qcut, q=5, labels=np.arange(5))    # create bins per column 'S'

def func(df):                                                                   # create function to group per 'S' and their bins
    df1 = df.groupby(['S','bins_X']).sum()
    new_cols= list(zip(df1.columns.get_level_values(0)))
    df1.columns = pd.MultiIndex.from_tuples(new_cols)
    return df1

print func(df)

EDIT

它应该看起来像问题中所示的 df ，但不符合条件的行被过滤掉。我检查的是这个；对于任何行（bin），单独或组合的 X 和 Y > 0.5 中的值。仅连续组合行，组合 2、3、4 或 5 行。

即，0 的行组合为 ; 0+1、0+1+2、0+1+2+3 和 0+1+2+3+4。对于 1 ； 1+2、1+2+3 和 1+2+3+4 等。

多行的总和等于行数 x 0.5，例如，对于第 0 行到第 4 行，X 和 Y 必须 > 2.5。

编辑2： @JohnE 和 piRSquared，您的两个解决方案都有效，但是当数据框中存在不应评估的其他列时，哪一个会工作得更好？

另外，如果我想在你们的解决方案中添加一个附加条件怎么办？

编辑3： @piRSquared，当对某些列进行子集化时，我只得到返回的那些列，而我需要所有这些列，而不仅仅是子集化的列。

你能帮忙吗？谢谢。

这是一种矢量化方法，顶层只有一个循环（groupby.apply)

# columns that I care about
cols = ['X', 'Y']
df1.groupby(level=0)[cols].apply(find_window)

def find_window(df):
    v = df.values
    s = np.vstack([np.zeros((1, v.shape[1])), v.cumsum(0)])

    threshold = .5

    r, c = np.triu_indices(s.shape[0], 1)
    d = (c - r)[:, None]
    e = s[c] - s[r]
    mask = (e / d > threshold).all(1)
    rng = np.arange(mask.shape[0])

    if mask.any():
        idx = rng[mask][d[mask].argmax()]

        i0, i1 = r[idx], c[idx]
        return pd.DataFrame(
            v[i0:i1],
            df.loc[df.name].index[i0:i1],
            df.columns
        )

解释

strategy

• numpy.triu_indices https://docs.scipy.org/doc/numpy-1.10.0/reference/generated/numpy.triu_indices.html：我需要评估滚动的每个可能的窗口mean大于一些threshold。我将从位置 0 到 0 开始，然后从 0 到 1，然后...然后 1 到 1，1 到 2...等等，来捕获每个可能的窗口。但在完成之前我必须始终从一个位置开始。我可以通过以下方式访问这些组合numpy.triu_indices https://docs.scipy.org/doc/numpy-1.10.0/reference/generated/numpy.triu_indices.html.
• cumsum https://docs.scipy.org/doc/numpy-1.10.0/reference/generated/numpy.cumsum.html：获取由我从中获得的每个索引组合指定的扩展数组会有点棘手（可行）np.triu_indices。更好的方法是计算cumsum并取一个索引与下一个索引的差值。
• 我必须在我的前面加上零cumsum这样我就可以得到第一行的差异。
• 但总数并不是手段。我需要除以行数才能得到平均值。方便地，结束位置和开始位置之间的差异恰好是行数，因此也是将总和除以计算平均值的适当数字。
• 现在我有了办法，e / d，我检查哪些是> threshold并确定起始位置和结束位置的哪些组合的均值大于两列的阈值。
• 然后，我在均值大于阈值的组合中确定行数最多的组合。
• 我展开头寸并重建数据框
• groupby and apply... QED

时间测试

有更多数据

np.random.seed(0)

N = 300
S = ['AR1', 'PO1', 'AR2', 'PO2', 'AR3', 'PO3']

df = pd.DataFrame(
    {'X':np.random.uniform(-1,1,N),
     'Y':np.random.uniform(-1,1,N),
     'S':np.random.choice(S,N),
    })

df['bins_X'] = df.groupby('S')['X'].apply(pd.qcut, q=20, labels=np.arange(20))    # create bins per column 'S'

def func(df):                                                                   # create function to group per 'S' and their bins
    df1 = df.groupby(['S','bins_X']).sum()
    new_cols= list(zip(df1.columns.get_level_values(0)))
    df1.columns = pd.MultiIndex.from_tuples(new_cols)
    return df1

df1 = func(df)

时差更是戏剧性