在 Python 中读取和切片二进制数据文件的最快方法

我有一个处理脚本，旨在提取“uint16”类型的二进制数据文件，并一次以 6400 块为单位进行各种处理。该代码最初是用 Matlab 编写的，但由于分析代码是用 Python 编写的，因此我们希望通过在 Python 中完成所有操作来简化流程。问题是我注意到我的 Python 代码比 Matlab 的 fread 函数慢得多。

简单来说Matlab代码是这样的：

fid = fopen(filename); 
frame = reshape(fread(fid,80*80,'uint16'),80,80);  

虽然我的Python代码很简单：

with open(filename, 'rb') as f: 
    frame = np.array(unpack("H"*6400, f.read(12800))).reshape(80, 80).astype('float64')

文件大小从 500 MB -> 400 GB 变化很大，因此我相信找到一种更快的方法在 Python 中解析数据可以在更大的文件上带来好处。 500 MB 通常有大约 50000 个块，并且这个数字随着文件大小线性增加。我看到的速度差异大致为：

Python = 4 x 10^-4 seconds / chunk

Matlab = 6.5 x 10^-5 seconds / chunk

随着时间的推移，处理显示 Matlab 比我实现的 Python 方法快约 5 倍。我探索了 numpy.fromfile 和 numpy.memmap 等方法，但由于这些方法需要在某个时刻将整个文件打开到内存中，因此它限制了用例，因为我的二进制文件非常大。有没有一些我缺少的Pythonic 方法可以做到这一点？我本以为 Python 在打开和读取二进制文件方面会非常快。任何意见是极大的赞赏。

将块写入文件：

In [117]: dat = np.random.randint(0,1028,80*80).astype(np.uint16)
In [118]: dat.tofile('test.dat')
In [119]: dat
Out[119]: array([266, 776, 458, ..., 519,  38, 840], dtype=uint16)

按照您的方式导入：

In [120]: import struct
In [121]: with open('test.dat','rb') as f:
     ...:     frame = np.array(struct.unpack("H"*6400,f.read(12800)))
     ...:     
In [122]: frame
Out[122]: array([266, 776, 458, ..., 519,  38, 840])

导入与fromfile

In [124]: np.fromfile('test.dat',count=6400,dtype=np.uint16)
Out[124]: array([266, 776, 458, ..., 519,  38, 840], dtype=uint16)

比较时间：

In [125]: %%timeit
     ...:  with open('test.dat','rb') as f:
     ...:      ...:     frame = np.array(struct.unpack("H"*6400,f.read(12800)))
     ...: 
1000 loops, best of 3: 898 µs per loop

In [126]: timeit np.fromfile('test.dat',count=6400,dtype=np.uint16)
The slowest run took 5.41 times longe....
10000 loops, best of 3: 36.6 µs per loop

fromfile速度要快得多。

时间为struct.unpack， 没有np.array为 266 微秒；只是为了f.read, 23.所以这就是unpack加上更通用和强大的np.array这需要更长的时间。文件读取本身不是问题。 （np.array可以处理多种输入，列表的列表，对象的列表等，因此必须花费更多的时间来解析和评估输入。）

稍微快一点的变体fromfile是你的阅读加frombuffer:

In [133]: with open('test.dat','rb') as f:
     ...:      frame3 = np.frombuffer(f.read(12800),dtype=np.uint16)