使用 feed_dict 比使用数据集 API 快 5 倍以上？

我创建了一个 TFRecord 格式的数据集进行测试。每个条目包含 200 列，名为C1 - C199，每个都是一个字符串列表，和一个label列来表示标签。创建数据的代码可以在这里找到：https://github.com/codescv/tf-dist/blob/8bb3c44f55939fc66b3727a730c57887113e899c/src/gen_data.py#L25

然后我使用线性模型来训练数据。第一种方法如下所示：

dataset = tf.data.TFRecordDataset(data_file)
dataset = dataset.prefetch(buffer_size=batch_size*10)
dataset = dataset.map(parse_tfrecord, num_parallel_calls=5)
dataset = dataset.repeat(num_epochs)
dataset = dataset.batch(batch_size)

features, labels = dataset.make_one_shot_iterator().get_next()    
logits = tf.feature_column.linear_model(features=features, feature_columns=columns, cols_to_vars=cols_to_vars)
train_op = ...

with tf.Session() as sess:
    sess.run(train_op)

完整代码可以在这里找到：https://github.com/codescv/tf-dist/blob/master/src/lr_single.py

当我运行上面的代码时，我得到 0.85 步/秒（批量大小为 1024）。

在第二种方法中，我手动将数据集中的批次获取到 python 中，然后将它们提供给占位符，如下所示：

example = tf.placeholder(dtype=tf.string, shape=[None])
features = tf.parse_example(example, features=tf.feature_column.make_parse_example_spec(columns+[tf.feature_column.numeric_column('label', dtype=tf.float32, default_value=0)]))
labels = features.pop('label')
train_op = ...

dataset = tf.data.TFRecordDataset(data_file).repeat().batch(batch_size)
next_batch = dataset.make_one_shot_iterator().get_next()

with tf.Session() as sess:
    data_batch = sess.run(next_batch)
    sess.run(train_op, feed_dict={example: data_batch})

完整代码可以在这里找到：https://github.com/codescv/tf-dist/blob/master/src/lr_single_feed.py

当我运行上面的代码时，我得到 5 步/秒。这比第一种方法快 5 倍。这是我不明白的，因为从理论上讲，由于数据批次的额外序列化/反序列化，第二个应该更慢。

Thanks!

目前（从 TensorFlow 1.9 开始）使用时存在性能问题tf.data映射和批处理具有大量特征且每个特征具有少量数据的张量。该问题有两个原因：

1. The dataset.map(parse_tfrecord, ...)转换将执行 O(batch_size * num_columns）创建批次的小操作。相比之下，喂养tf.placeholder() to tf.parse_example()将执行 O(1) 操作来创建相同的批次。

2. 批量多tf.SparseTensor对象使用dataset.batch()比直接创建相同的要慢得多tf.SparseTensor作为输出tf.parse_example().

对这两个问题的改进正在进行中，并且应该会在 TensorFlow 的未来版本中提供。同时，您可以提高性能tf.data基于管道通过切换顺序dataset.map() and dataset.batch()并重写dataset.map()处理字符串向量，例如基于喂食的版本：

dataset = tf.data.TFRecordDataset(data_file)
dataset = dataset.prefetch(buffer_size=batch_size*10)
dataset = dataset.repeat(num_epochs)

# Batch first to create a vector of strings as input to the map(). 
dataset = dataset.batch(batch_size)

def parse_tfrecord_batch(record_batch):
  features = tf.parse_example(
      record_batch,
      features=tf.feature_column.make_parse_example_spec(
          columns + [
              tf.feature_column.numeric_column(
                  'label', dtype=tf.float32, default_value=0)]))
  labels = features.pop('label')
  return features, labels

# NOTE: Parallelism might not be as useful, because the individual map function now does
# more work per invocation, but you might want to experiment with this.
dataset = dataset.map(parse_tfrecord_batch)

# Add a prefetch at the end to pipeline execution.
dataset = dataset.prefetch(1)

features, labels = dataset.make_one_shot_iterator().get_next()    
# ...

编辑 (2018/6/18): 回答一下评论里的问题：

1. Why is dataset.map(parse_tfrecord, ...) O(batch_size * num_columns)，而不是 O(batch_size）？如果解析需要枚举列，为什么 parse_example 不采用 O(num_columns)?

当您将 TensorFlow 代码包装在Dataset.map()（或其他函数转换）每个输出的恒定数量的额外操作被添加到函数的“返回”值中，并且（在tf.SparseTensor值）将它们“转换”为标准格式。当你直接传递输出时tf.parse_example()对于模型的输入，不会添加这些操作。虽然它们都是非常小的操作，但执行如此多的操作可能会成为瓶颈。 （从技术上讲，解析does take O(batch_size * num_columns) time，但解析中涉及的常量比执行操作要小得多。）

1. 为什么要在管道末尾添加预取？

当您对性能感兴趣时，这几乎总是最好的选择，并且它应该提高管道的整体性能。有关最佳实践的更多信息，请参阅性能指南tf.data.