Python NUMPY HUGE 矩阵乘法

我需要将两个大矩阵相乘并对它们的列进行排序。

 import numpy
 a= numpy.random.rand(1000000, 100)
 b= numpy.random.rand(300000,100)
 c= numpy.dot(b,a.T)
 sorted = [argsort(j)[:10] for j in c.T]

这个过程需要大量的时间和内存。有没有办法加快这个过程？如果不是，我如何计算执行此操作所需的 RAM？我目前有一个带有 4GB RAM 且没有交换区的 EC2 盒子。

我想知道这个操作是否可以序列化，并且我不必将所有内容存储在内存中。

为了加快速度，你可以做的一件事是使用优化的 BLAS 库编译 numpy，例如ATLAS、GOTO blas 或英特尔专有的 MKL。

要计算所需的内存，您需要监视 Python 的 Resident Set Size（“RSS”）。以下命令在 UNIX 系统（准确地说是 FreeBSD，在 64 位机器上）上运行。

> ipython

In [1]: import numpy as np

In [2]: a = np.random.rand(1000, 1000)

In [3]: a.dtype
Out[3]: dtype('float64')

In [4]: del(a)

为了获取 RSS，我运行了：

ps -xao comm,rss | grep python

[Edit:请参阅ps手册页 http://www.freebsd.org/cgi/man.cgi?query=ps有关选项的完整解释，但基本上这些ps选项使其仅显示所有进程的命令和驻留集大小。 Linux 的等效格式ps将会ps -xao c,r， 我相信。]

结果是；

• 启动解释器后：24880 kiB
• 导入 numpy 后：34364 kiB
• 创建后a：42200 KB
• 删除后a：34368 kB

计算尺寸；

In [4]: (42200 - 34364) * 1024
Out[4]: 8024064

In [5]: 8024064/(1000*1000)
Out[5]: 8.024064

如您所见，计算出的大小与默认数据类型的 8 字节匹配float64很好。区别在于内部开销。

原始数组的大小（以 MiB 为单位）大约为：

In [11]: 8*1000000*100/1024**2
Out[11]: 762.939453125

In [12]: 8*300000*100/1024**2
Out[12]: 228.8818359375

那还不错。然而，点积会太大：

In [19]: 8*1000000*300000/1024**3
Out[19]: 2235.1741790771484

那是 2235 GiB！

你能做的就是分解问题并执行dot分件操作；

• load b作为 ndarray
• 加载每一行a as an ndarray反过来。
• 将行乘以每一列b并将结果写入文件。
• del()行并加载下一行。

这不会使它更快，但会使其使用更少的内存！

Edit:在这种情况下，我建议以二进制格式编写输出文件（例如使用struct or ndarray.tofile）。这将使从文件中读取列变得更加容易，例如Anumpy.memmap.