使用 numpy.frompyfunc 将广播添加到带参数的 python 函数

从像这样的数组db（这将大约是(1e6, 300)) and a mask = [1, 0, 1]向量，我将目标定义为第一列中的 1。

我想创建一个out由其中相应行组成的向量db匹配mask and target==1，其他地方都是零。

db = np.array([       # out for mask = [1, 0, 1]
# target,  vector     #
  [1,      1, 0, 1],  # 1
  [0,      1, 1, 1],  # 0 (fit to mask but target == 0)
  [0,      0, 1, 0],  # 0
  [1,      1, 0, 1],  # 1
  [0,      1, 1, 0],  # 0
  [1,      0, 0, 0],  # 0
  ])

我定义了一个vline函数应用了mask对每个数组行使用np.array_equal(mask, mask & vector)检查向量 101 和 111 是否适合掩码，然后仅保留索引，其中target == 1.

out被初始化为array([0, 0, 0, 0, 0, 0])

out = [0, 0, 0, 0, 0, 0]

The vline函数定义为：

def vline(idx, mask):
    line = db[idx]
    target, vector = line[0], line[1:]
    if np.array_equal(mask, mask & vector):
        if target == 1:
            out[idx] = 1

我通过在一个程序中逐行应用这个函数得到了正确的结果for loop:

def check_mask(db, out, mask=[1, 0, 1]):
    # idx_db to iterate over db lines without enumerate
    for idx in np.arange(db.shape[0]):
        vline(idx, mask=mask)
    return out

assert check_mask(db, out, [1, 0, 1]) == [1, 0, 0, 1, 0, 0] # it works !

现在我想矢量化vline通过创建一个ufunc:

ufunc_vline = np.frompyfunc(vline, 2, 1)
out = [0, 0, 0, 0, 0, 0]
ufunc_vline(db, [1, 0, 1])
print out

But the ufunc抱怨使用这些形状广播输入：

In [217]:     ufunc_vline(db, [1, 0, 1])
---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)
<ipython-input-217-9008ebeb6aa1> in <module>()
----> 1 ufunc_vline(db, [1, 0, 1])
ValueError: operands could not be broadcast together with shapes (6,4) (3,)
In [218]:

转换vline to a numpy ufunc从根本上讲没有意义，因为 ufunc 总是以元素方式应用于 numpy 数组。因此，输入参数必须具有相同的形状，或者必须是可广播的到相同的形状。您正在将两个形状不兼容的数组传递给您的ufunc_vline功能 （db.shape == (6, 4) and mask.shape == (3,)），因此ValueError你正在看到。

还有一些其他问题ufunc_vline:

• np.frompyfunc(vline, 2, 1)指定vline应该返回单个输出参数，而vline实际上什么也不返回（但修改out到位）。

• 你正在路过db作为第一个参数ufunc_vline， 然而vline期望第一个参数是idx，它用作行的索引db.

另外，请记住，使用 Python 函数创建 ufuncnp.frompyfunc与标准 Python 相比不会产生任何明显的性能优势for环形。要看到任何重大改进，您可能需要使用低级语言（例如 C）对 ufunc 进行编码（请参阅这个例子在文档中）。

话虽如此，你的vline可以使用标准布尔数组运算轻松对函数进行向量化：

def vline_vectorized(db, mask): 
    return db[:, 0] & np.all((mask & db[:, 1:]) == mask, axis=1)

例如：

db = np.array([       # out for mask = [1, 0, 1]
# target,  vector     #
  [1,      1, 0, 1],  # 1
  [0,      1, 1, 1],  # 0 (fit to mask but target == 0)
  [0,      0, 1, 0],  # 0
  [1,      1, 0, 1],  # 1
  [0,      1, 1, 0],  # 0
  [1,      0, 0, 0],  # 0
  ])

mask = np.array([1, 0, 1])

print(repr(vline_vectorized(db, mask)))
# array([1, 0, 0, 1, 0, 0])