如何更快地读取/遍历/切片 Scipy 稀疏矩阵（LIL、CSR、COO、DOK）？

为了操作 Scipy 矩阵，通常使用内置方法。但有时您需要读取矩阵数据以将其分配给非稀疏数据类型。为了演示，我创建了一个随机 LIL 稀疏矩阵，并使用不同的方法将其转换为 Numpy 数组（纯 Python 数据类型会更有意义！）。

from __future__ import print_function
from scipy.sparse import rand, csr_matrix, lil_matrix
import numpy as np

dim = 1000
lil = rand(dim, dim, density=0.01, format='lil', dtype=np.float32, random_state=0)
print('number of nonzero elements:', lil.nnz)
arr = np.zeros(shape=(dim,dim), dtype=float)

非零元素数量：10000

通过索引读取

%%timeit -n3
for i in xrange(dim):
    for j in xrange(dim):
        arr[i,j] = lil[i,j]

3 个循环，3 个循环中最好的：每个循环 6.42 秒

使用nonzero() method

%%timeit -n3
nnz = lil.nonzero() # indices of nonzero values
for i, j in zip(nnz[0], nnz[1]):
    arr[i,j] = lil[i,j]

3 个循环，3 个循环中最好的：每个循环 75.8 毫秒

使用内置方法直接转换为数组

这个是not读取矩阵数据的通用解决方案，因此它不算是解决方案。

%timeit -n3 arr = lil.toarray()

3 个循环，3 个循环中最好的：每个循环 7.85 毫秒

用这些方法读取 Scipy 稀疏矩阵根本没有效率。有没有更快的方法来读取这些矩阵？

类似的问题，但处理设置稀疏值，而不仅仅是读取它们：

python/scipy/numpy中的高效增量稀疏矩阵

有关使用底层表示访问值的更多信息

从scipy中的稀疏矩阵的每一行中有效地选择随机非零列

Also

为什么 scipy csr 矩阵的行索引比 numpy 数组慢

为什么 lil_matrix 和 dok_matrix 与常见的 dict of dicts 相比如此慢？

看看什么M.nonzero does:

    A = self.tocoo()
    nz_mask = A.data != 0
    return (A.row[nz_mask],A.col[nz_mask])

它将矩阵转换为coo格式化并返回.row, and .col属性 - 过滤掉其中的任何“杂散”0 后.data属性。

所以你可以跳过中间人并直接使用这些属性：

 A = lil.tocoo()
 for i,j,d in zip(A.row, A.col, A.data):
      a[i,j] = d

这几乎和toarray:

In [595]: %%timeit
   .....: aa = M.tocoo()
   .....: for i,j,d in zip(aa.row,aa.col,aa.data):
   .....:   A[i,j]=d
   .....: 
100 loops, best of 3: 14.3 ms per loop

In [596]: timeit  arr=M.toarray()
100 loops, best of 3: 12.3 ms per loop

但如果你的目标确实是一个数组，则不需要迭代

In [603]: %%timeit
   .....: A=np.empty(M.shape,M.dtype)
   .....: aa=M.tocoo()
   .....: A[aa.row,aa.col]=aa.data
   .....: 
100 loops, best of 3: 8.22 ms per loop

我使用 @Thoran 的 2 种方法的时间是：

100 loops, best of 3: 5.81 ms per loop
100 loops, best of 3: 17.9 ms per loop

同样的时代。