我在用着这个答案 https://stackoverflow.com/a/13653490/3512538关于如何仅读取一块 CSV 文件pandas.
使用建议pd.read_csv('./input/test.csv' , iterator=True, chunksize=1000)效果很好，但它返回<class 'pandas.io.parsers.TextFileReader'>，所以我将其转换为数据框pd.concat(pd.read_csv('./input/test.csv' , iterator=True, chunksize=25))但这需要与最初读取文件一样多的时间！
关于如何快速读取文件的一部分有什么建议吗？
pd.read_csv('./input/test.csv', iterator=True, chunksize=1000)返回一个迭代器。您可以使用next抓取下一个的函数
reader = pd.read_csv('./input/test.csv', iterator=True, chunksize=1000)
next(reader)
这通常用在 for 循环中，一次处理一个块。
for df in pd.read_csv('./input/test.csv', iterator=True, chunksize=1000):
pass
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
