减少 numpy 数组的内存大小

我正在为深度学习创建窗口数据的数据集。我将数据生成为 numpy 数组，其中 4 个形状为 (141038, 360) 的数组和 1 个形状为 (141038, ) 的标签的数组。我将数组保存在 npz 文件中，但文件大小太大，达到 1.5 GB。我是 python 和编程新手，所以不知道文件大小应该有多大。不过，我将数组转换为 Pandas 数据帧，内存使用量在相同范围内。问题是我有 6 个 9 GB 的文件，可能还有另一个重叠的数据集，该数据集大 7 倍，因此可能有 63 GB。

• 这样的文件大小是否现实或者我做错了什么？ （这只是一个带有一些数字的文件而不是游戏）

• 是否有另一种格式可以以更少的内存使用来保存我的数组？ （我尝试了 HFD5 但我得到了相同的文件大小）

• 我尝试更改数据类型，它稍微减小了大小。 (3 个数组 (f8), 1 (int8), 1 (uint8)) 是否还有其他数据类型可以进一步减小大小？对于 0/1 值，是否有另一种数据类型比 (uint) 更有效？

• 对于浮点数组，如果我降低精度，会有帮助吗？或者还有另一种方法可以减小它们的大小？

• 我有一些文件填充了零填充，一些文件填充了边缘填充，其他文件填充了插值。然而，所有文件几乎具有相同的大小，带有零填充的文件不应该具有较小的大小吗？

1. 是的，如果您使用浮点类型数据，那肯定是这样。

2. 你可以试试numpy.savez_compressed保存为压缩数组。

ref: https://docs.scipy.org/doc/numpy/reference/ generated/numpy.savez_compressed.html https://docs.scipy.org/doc/numpy/reference/generated/numpy.savez_compressed.html

您可以使用gzip也很重要，但压缩算法很重要。

import gzip
import numpy

f = gzip.GzipFile("x.npy.gz", "w")
numpy.save(file=f, arr=x)
f.close()

这可能有用：高效压缩 numpy 数组 https://stackoverflow.com/questions/22400652/compress-numpy-arrays-efficiently

3. 对于二进制数据，uint8似乎有很多浪费。事实上，您可以在一个值中存储 8 个值 (0/1)uin8。只需将 0、1 视为位，即可在单个位中编码 8 位uint8通过简单的二元运算。

您可以使用“boolean”来存储 0/1 值。

import numpy as np
import sys

b = np.array([0, 1, 0]*50000, dtype='b')

print(sys.getsizeof(b))

u8 = np.array([0, 1, 0]*50000, dtype='u8')

print(sys.getsizeof(u8))

150096
1200096

4. 当然是。如果您认为有损压缩是一种选择，则可以使用良好的因子来压缩阵列。

5. 没关系，唯一重要的是形状和数据类型。 Numpy 数组未压缩。如果将其与图像进行比较 - 那是错误的，类似“黑色图像由于均匀性而尺寸较小，因此零填充数组应该消耗更少的空间” - 是无关紧要的（图像通常是有损压缩的 JPEG）。