在 python 中保存和处理内存中的大字典的有效方法

正如我做了一些测试，一个包含 3000 万个项目的 int=>int （不同值）的 python 字典可以轻松地占用我的 mac 上 >2G 的内存。由于我只使用 int 到 int dict，有没有比使用 python dict 更好的解决方案？

我需要的一些要求是，

1. 在保存数千万级别的 int 到 int 项时内存效率更高
2. 基本的字典方法，例如按键获取值和迭代所有项目
3. 易于序列化为字符串/二进制文件将是一个优点

更新， 4. 很容易通过给定的键获取子集，例如 d.fromkeys([...])

Thanks.

至少有两种可能性：

arrays

您可以尝试使用两个数组。一个用于键，一个用于值，以便索引（键）==索引（值）

2017-01-05 更新：在数组中使用 4 字节整数。

数组将使用更少的内存。在使用 clang 编译 python 的 64 位 FreeBSD 机器上，一个包含 3000 万个整数的数组使用大约 117 MiB。

这些是我使用的 python 命令：

Python 2.7.13 (default, Dec 28 2016, 20:51:25) 
[GCC 4.2.1 Compatible FreeBSD Clang 3.8.0 (tags/RELEASE_380/final 262564)] on freebsd11
Type "help", "copyright", "credits" or "license" for more information.
>>> from array import array
>>> a = array('i', xrange(30000000))
>>> a.itemsize
4

导入数组后，ps报告：

USER     PID %CPU %MEM   VSZ  RSS TT  STAT STARTED    TIME COMMAND
 rsmith 81023  0.0  0.2  35480   8100  0  I+   20:35     0:00.03 python (python2.7)

制作数组后：

USER     PID %CPU %MEM    VSZ    RSS TT  STAT STARTED    TIME COMMAND
rsmith 81023 29.0  3.1 168600 128776  0  S+   20:35     0:04.52 python (python2.7)

驻留集大小以 1 KiB 为单位报告，因此 (128776 - 8100)/1024 = 117 MiB

通过列表推导，您可以轻松获得键满足特定条件的索引列表。然后，您可以使用该列表中的索引来访问相应的值...

numpy

如果你有 numpy 可用，那么使用它会更快，有更多的功能，并且使用的 RAM 稍少：

Python 2.7.5 (default, Jun 10 2013, 19:54:11) 
[GCC 4.2.1 Compatible FreeBSD Clang 3.1 ((branches/release_31 156863))] on freebsd9
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> a = np.arange(0, 30000000, dtype=np.int32)

From ps：启动 Python 后 6700 KiB，导入 numpy 后 17400 KiB，创建数组后 134824 KiB。大约为 114 MiB。

此外，numpy 支持记录数组;

Python 2.7.5 (default, Jun 10 2013, 19:54:11) 
[GCC 4.2.1 Compatible FreeBSD Clang 3.1 ((branches/release_31 156863))] on freebsd9
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy as np
>>> a = np.zeros((10,), dtype=('i4,i4'))
>>> a
array([(0, 0), (0, 0), (0, 0), (0, 0), (0, 0), (0, 0), (0, 0), (0, 0),
       (0, 0), (0, 0)], 
      dtype=[('f0', '<i4'), ('f1', '<i4')])
>>> a.dtype.names
('f0', 'f1')
>>> a.dtype.names = ('key', 'value')
>>> a
array([(0, 0), (0, 0), (0, 0), (0, 0), (0, 0), (0, 0), (0, 0), (0, 0),
       (0, 0), (0, 0)], 
      dtype=[('key', '<i4'), ('value', '<i4')])
>>> a[3] = (12, 5429)
>>> a
array([(0, 0), (0, 0), (0, 0), (12, 5429), (0, 0), (0, 0), (0, 0), (0, 0),
       (0, 0), (0, 0)], 
      dtype=[('key', '<i4'), ('value', '<i4')])
>>> a[3]['key']
12

在这里您可以分别访问键和值；

>>> a['key']
array([ 0,  0,  0, 12,  0,  0,  0,  0,  0,  0], dtype=int32)