使用 pytables 构建一个巨大的 numpy 数组

如何使用 pytables 创建一个巨大的 numpy 数组。我尝试了这个，但给了我“ValueError：数组太大。”错误：

import numpy as np
import tables as tb
ndim = 60000
h5file = tb.openFile('test.h5', mode='w', title="Test Array")
root = h5file.root
h5file.createArray(root, "test", np.zeros((ndim,ndim), dtype=float))
h5file.close()

顺应 @b1r3k 的响应，要创建一个您不会立即访问所有内容的数组（即将整个内容放入内存中），您需要使用CArray（分块数组）。我们的想法是，您可以逐步填充并访问它：

import numpy as np
import tables as tb
ndim = 60000
h5file = tb.openFile('test.h5', mode='w', title="Test Array")
root = h5file.root
x = h5file.createCArray(root,'x',tb.Float64Atom(),shape=(ndim,ndim))
x[:100,:100] = np.random.random(size=(100,100)) # Now put in some data
h5file.close()