Python 多处理和共享 numpy 数组

我有一个问题，与此类似：

import numpy as np

C = np.zeros((100,10))

for i in range(10):
    C_sub = get_sub_matrix_C(i, other_args) # shape 10x10
    C[i*10:(i+1)*10,:10] = C_sub

因此，显然不需要将其作为串行计算来运行，因为每个子矩阵都可以独立计算。 我想使用多处理模块并为 for 循环创建最多 4 个进程。 我阅读了一些有关多处理的教程，但无法弄清楚如何使用它来解决我的问题。

感谢您的帮助

并行化该代码的一个简单方法是使用Pool https://docs.python.org/3.5/library/multiprocessing.html#multiprocessing.pool.Pool进程数：

pool = multiprocessing.Pool()
results = pool.starmap(get_sub_matrix_C, ((i, other_args) for i in range(10)))

for i, res in enumerate(results):
    C[i*10:(i+1)*10,:10] = res

我用过starmap https://docs.python.org/3.5/library/multiprocessing.html#multiprocessing.pool.Pool.starmap自从get_sub_matrix_C函数有多个参数（starmap(f, [(x1, ..., xN)]) calls f(x1, ..., xN)).

但请注意，序列化/反序列化可能需要大量时间和空间，因此您可能必须使用更底层的解决方案来避免这种开销。

您似乎正在运行过时的 python 版本。您可以更换starmap与平原map但是你必须提供一个带有单个参数的函数：

def f(args):
    return get_sub_matrix_C(*args)

pool = multiprocessing.Pool()
results = pool.map(f, ((i, other_args) for i in range(10)))

for i, res in enumerate(results):
    C[i*10:(i+1)*10,:10] = res