如果是可以一次性加载进内存的数据，上一篇博客：pytorch 构造读取数据的工具类 Dataset 与 DataLoader （pytorch Data学习一），已经足以应付了，但是很多时候数据集较大，比如6个T…的数据，没办法直接加载，因此这篇博客先学习构建一个可迭代的数据Dataset：
MyIterableDataset构造
1. 迭代读取文本文件
要借助pytorch的IterableDataset模块，官方文档是：https://pytorch.org/docs/stable/data.html#torch.utils.data.IterableDataset，官方文档里侧重于对多进程时的描述，按照官网的说法，需要继承这个IterableDataset类，然后覆写__iter__这个方法，返回一个可迭代的对象即可。
因此构造一个基本类
from torch.utils.data import IterableDataset
class MyIterableDataset(IterableDataset):
def __init__(self, file_path):
self.file_path = file_path
def __iter__(self):
with open(self.file_path, 'r') as file_obj:
for line in file_obj: # 更多操作在这里完成
line_data = line.strip('\n').split(',')
yield line_data
使用的时候直接调用即可：
if __name__ == '__main__':
dataset = MyIterableDataset('test_csv.csv')
for data in dataset:
print(data)
完整代码为：
from torch.utils.data import IterableDataset
class MyIterableDataset(IterableDataset):
def __init__(self, file_path):
self.file_path = file_path
def __iter__(self):
with open(self.file_path, 'r') as file_obj:
for line in file_obj:
line_data = line.strip('\n').split(',')
yield line_data
if __name__ == '__main__':
dataset = MyIterableDataset('test_csv.csv')
for data in dataset:
print(data)
2.借用pandas迭代读取csv/excel等文件
改写__iter__方法即可：
from torch.utils.data import IterableDataset
import pandas as pd
class PandasIterableDataset(IterableDataset):
def __init__(self, file_path):
self.data_iter = pd.read_csv(file_path, iterator=True, header=None, chunksize=1)
def __iter__(self):
for data in self.data_iter:
yield data
if __name__ == '__main__':
dataset = PandasIterableDataset('test_csv.csv')
for data in dataset:
print(data)
