我正在使用multiprocessingPython 中的模块，并期望启动进程、创建队列以及向队列中放入值或从队列中获取值会产生一些开销。但是，如果子流程有足够的工作要做，我预计开销最终会被消除。运行一个简单的示例（如下所述），我生成的进程的运行时间大约是从父进程启动的同一进程的 10 倍，即使对于非常大的作业也是如此。
在下面的代码中，我计算一系列越来越大的数组的平均值。我比较打电话numpy.mean从父进程到从单个生成的进程调用相同的均值函数，以及在生成的进程中不执行任何操作（以了解开销成本）。
最初，结果正如我所预期的那样。总运行时间要快得多mean从父进程调用而不是从派生进程调用。对于小型作业，生成进程的运行时间主要由开销决定。
然而，令人惊讶的是，对于较大的作业，生成的进程的运行时间始终超过从父进程调用的成本约 10 倍。
谁能对此提供解释？这是由于子进程的内存限制吗？我测试的最大阵列有 125MB、500MB 和 2GB。
这是代码：
%matplotlib
import numpy, multiprocessing, pandas
def do_nothing(x,q):
q.put(x[-1])
def my_mean(x,q):
q.put(numpy.mean(x))
def test_mp(f,x):
q = multiprocessing.Queue()
p = multiprocessing.Process(target=f,args=(x,q))
p.start()
p.join()
s = q.get()
return s
ndata = 2**numpy.arange(10,29,2)
tr1,tr2,tr3 = [[],[],[]]
for n in ndata:
x = numpy.random.rand(n)
tresults = %timeit -n 1 -r 5 -o -q test_mp(do_nothing,x)
tr1.append(tresults)
tresults = %timeit -n 1 -r 5 -o -q test_mp(my_mean,x)
tr2.append(tresults)
tresults = %timeit -n 1 -r 5 -o -q numpy.mean(x)
tr3.append(tresults)
print("All done")
t1,t2,t3 = map(lambda tr : pandas.Series([1000*t.best for t in tr]),[tr1,tr2,tr3])
df = pandas.DataFrame({'n' : ndata, 't1 (do nothing)' : t1,
't2 (my_mean)' : t2,
't3 (mean)' : t3})
display(df)
df.plot(x='n',style='.-',markersize=10,logx=True,logy=True)
这是结果。所有计时结果均以毫秒为单位。
以下是对正在发生的事情的一些观察：
使用-c标记在%timeit仅显示父进程的 CPU 时间，在本例中，my_mean and do_nothing显示基本相同的平坦时间。因此，父进程在这两种情况下使用相同的 CPU 时间。
如果没有-c标志，正在考虑酸洗过程中的时间，至少在调用中my_mean。为何不计入do_nothing至今仍是一个谜。 Python 解释器是否足够聪明来识别这一点do_nothing真的什么都不做吗？
还有什么有点神秘：谁在腌制？父进程？如果是这样，则它不会使用任何 CPU 时间。所以它一定是衍生进程。
使用线程模块（带有queue.Queue(), and threading.Thread()，结果更符合预期，即对于足够大的问题，运行时间主要取决于计算平均值所需的时间以及调用numpy.mean()并且在生成的进程中进行相同的调用基本上需要相同的时间。
以下是使用 threading 模块出现相同问题的次数：
