tensorflow 利用tfrecords文件制作数据集

TensorFlow之tfrecords文件详细教程

制作数据集思路：
将训练数据和测试数据生成tfrecords文件  为什么呢？ 这种文件以二进制进行存储，只占用一个内存块 对于大数据能够提高cpu效率

代码步骤
首先对数据进行处理 方便后面写入tfrecords文件
1：使用tf.python_io.TFRecordWriter('定义一个文件名')类 定义一个tfrecords 文件
2：将每一条样本数据按照相应的特征组织好，即将样本数据组织成Example的过程
3：将组织好的Example写入进tfrecords文件，并关闭tfrecords文件即可

import tensorflow  as tf
import numpy as np
from PIL import Image
import os

data_path = './data'
"""
制作数据集思路：
将训练数据和测试数据生成tfrecords文件  为什么呢？ 这种文件以二进制进行存储，只占用一个内存块 对于大数据能够提高cpu效率
代码步骤
首先对数据进行处理 方便后面写入tfrecords文件
1：使用tf.python_io.TFRecordWriter('定义一个文件名')类 定义一个tfrecords 文件
2：将每一条样本数据按照相应的特征组织好，即将样本数据组织成Example的过程
3：将组织好的Example写入进tfrecords文件，并关闭tfrecords文件即可
"""


def write_tfrecord(tfRecordName, image_path, label_path):
    # 使用tf.python_io.TFRecordWriter类定义一个tfrecords 文件
    writer = tf.python_io.TFRecordWriter(tfRecordName)
    num_pic = 0
    # 文件内容为 第一行  图片名  label 第二行 图片名 label
    f = open(label_path, 'r')
    contents = f.readline()
    f.close()
    for content in contents:
        value = content.split()  # 以空格为分隔符，包含 \n
        img_path = image_path + value[0]
        img = Image.open(img_path)
        # 将图片转换为二进制流
        img_raw = img.tobytes()
        labels = [0] * 10  # 生成10列 0
        # 获取图片标签并标记
        labels[int(value[1])] = 1
        # 按照数据特征进行包装 参数features   tf.train.Features() 设置每一个特征
        # 它有三个可选的关键字参数，float_list、int64_list、byteslist 分别对应于取值为浮点数的特征、整数的特征、二进制数的特征。
        example = tf.train.Example(features=tf.train.Features(feature={
            'img_raw': tf.train.Feature(bytes_list=tf.train.BytesList(value=[img_raw])),
            'label': tf.train.Feature(int64_list=tf.train.Int64List(value=labels))
        }))
        # 把数据序列化成字符串处理
        writer.write(example.SerializeToString())
        num_pic += 1
        print('the number of pidture :', num_pic)
    writer.close()
    print('writer tfrecord successful')


def generate_tfRecord():
    isExists = os.path.exists(data_path)
    if not isExists:
        os.makedirs(data_path)
        print('the directory was created successfully ')
    else:
        print('directory already exists')


# tfrecords文件的读取
def read_tfRecord(tfRecord_path):
    # 文件从哪里来 tf.train.string_input_producer([tfrecords 文件名])
    filename_queue = tf.train.string_input_producer([tfRecord_path])
    # 创建reader 对象 用来对tfrecords 文件的读取
    reader = tf.TFRecordReader()
    _, serialized_example = reader.read(filename_queue)
    # 上面那个函数它返回的是(key,value)的元祖形式。上面的serialized_example是无法直接查看的，需要去按照特征进行解析

    # 把读出的每个样本保存在 serialized_example 中进行解序列化，标签和图片的
    # 键名应该和制作 tfrecords 的键名相同，
    features = tf.parse_single_example(serialized_example,
                                       features={
                                           'label': tf.FixedLenFeature([10], tf.int64),
                                           'img_raw': tf.FixedLenFeature([], tf.string)
                                       })
    # tf.decode_raw函数的意思是将原来编码为字符串类型的变量重新变回来，
    img = tf.decode_raw(features['imf_raw'], tf.uint8)
    img.set_shape([784])
    # 将转化为字符串的图像转换为无符号整型数据然后进行图像处理为 1行 数据 方便传入神经网络
    img = tf.cast(img, tf.float32) * (1./255)
    # 标签转化
    label = tf.cast(features['label', tf.float32])
    return img, label

def get_tfrecode(num, isTrain=True):
    img, label = read_tfRecord(tfRecord_path)
    # 随机读取一个batch 的数据
    # tf.train.shuffle_batch(
    # tensor                待乱序处理的列表中的样本 [img, label],
    # batch_size,           从队列中提取的新批量大小
    # capacity,             队列中元素的最大数量
    # min_after_dequeue,    出队后队列中的最小数量元素，用于确保元素的混合级别
    # num_threads=1,        排列 tensors 的线程数
    # seed=None,            用于队列内的随机洗牌
    # enqueue_many=False,   tensor 中的每个张量是否是一个例子
    # shapes=None,          每个示例的形状
    # allow_smaller_final_batch=False,   (可选)如果设置，该队列将在多个会话中以给定名称共享
    # shared_name=None,     (可选)如果设置，该队列将在多个会话中以给定名称共享
    # name=None)            操作的名称（可选）
    img_batch, label_batch = tf.train.shuffle_batch([img, label],
                                                    batch_size=num,
                                                    num_threads=2,
                                                    capacity=1000,
                                                    min_after_dequeue=700
                                                    )
    return img_batch, label_batch

def main():
    generate_tfRecord()


if __name__ == '__main__':
    main()

https://blog.csdn.net/qq_27825451/article/details/83301811