如何使用 Scipy 处理巨大的稀疏矩阵构造？

因此，我正在处理维基百科转储来计算大约 5,700,000 个页面的页面排名。 这些文件经过预处理，因此不是 XML 格式。
它们取自http://haselgrove.id.au/wikipedia.htm http://haselgrove.id.au/wikipedia.htm格式为：

from_page(1): to(12) to(13) to(14)..
from_page(2): to(21) to(22)..
.
.
.
from_page(5,700,000): to(xy) to(xz)

很快。所以。基本上它是一个构造[5,700,000*5,700,000]矩阵，这只会破坏我的 4 GB 内存。因为它非常非常稀疏，这使得使用它更容易存储scipy.lil.sparse or scipy.dok.sparse，现在我的问题是：

我到底该如何转换.txt包含稀疏矩阵链接信息的文件？读取它并将其计算为普通的 N*N 矩阵，然后将其转换还是什么？我不知道。

此外，链接有时会跨行，那么处理这种情况的正确方法是什么？
例如：随机线就像..

[
1: 2 3 5 64636 867
2:355 776 2342 676 232
3: 545 64646 234242 55455 141414 454545 43
4234 5545345 2423424545
4:454 6776
]

完全像这样：没有逗号，也没有分隔符。

任何有关稀疏矩阵构造和跨行数据处理的信息都会有所帮助。

Scipy 提供了几种稀疏矩阵的实现。它们每个都有自己的优点和缺点。您可以找到有关矩阵格式的信息here http://docs.scipy.org/doc/scipy-0.14.0/reference/sparse.html:

有多种方法可以获得所需的稀疏矩阵。由于内存要求很高（大约 10^12 个条目！），计算完整的 NxN 矩阵然后进行转换可能是不可能的。

在你的情况下，我会准备你的数据来构建一个酷矩阵 http://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.sparse.coo_matrix.html#scipy.sparse.coo_matrix.

coo_matrix((data, (i, j)), [shape=(M, N)])

data[:] the entries of the matrix, in any order
i[:] the row indices of the matrix entries
j[:] the column indices of the matrix entries

您可能还想看看小矩阵 http://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.sparse.lil_matrix.html#scipy.sparse.lil_matrix，可用于逐步构建矩阵。

创建矩阵后，您可以根据您的用例将其转换为更适合计算的格式。

我不认识数据格式，可能有解析器，也可能没有。不过，编写自己的解析器应该不会很困难。包含冒号的每一行开始一个新行，冒号之后以及不带冒号的连续行中的所有索引都是该行的列条目。