批量从文件中读取多行

我想知道是否有一种方法可以从文件中批量读取多行。例如：

with open(filename, 'rb') as f:
    for n_lines in f:
        process(n_lines)

在这个函数中，我想做的是：对于每次迭代，将从文件中批量读取接下来的 n 行。

因为单个文件太大了。我想做的就是一部分一部分地阅读它。

itertools.islice https://docs.python.org/3/library/itertools.html#itertools.islice和两个参数iter可以用来实现这一点，但这有点有趣：

from itertools import islice

n = 5  # Or whatever chunk size you want
with open(filename, 'rb') as f:
    for n_lines in iter(lambda: tuple(islice(f, n)), ()):
        process(n_lines)

这将保留isliceing off n一次行（使用tuple实际上强制读入整个块）直到f筋疲力尽，此时就会停止。最终块将小于n行数（如果文件中的行数不是偶数倍）n。如果您希望所有行都是单个字符串，请更改for循环为：

    # The b prefixes are ignored on 2.7, and necessary on 3.x since you opened
    # the file in binary mode
    for n_lines in iter(lambda: b''.join(islice(f, n)), b''):

另一种方法是使用izip_longest为了这个目的，这就避免了lambda功能：

from future_builtins import map  # Only on Py2
from itertools import izip_longest  # zip_longest on Py3

    # gets tuples possibly padded with empty strings at end of file
    for n_lines in izip_longest(*[f]*n, fillvalue=b''):

    # Or to combine into a single string:
    for n_lines in map(b''.join, izip_longest(*[f]*n, fillvalue=b'')):