pandas pytables 附加：性能和文件大小的增加

我有500多个PyTables每个存储大约包含 300Mb 的数据。我想使用 pandas 将这些文件合并到一个大商店中append如下面的代码所示。

def merge_hdfs(file_list, merged_store):
    for file in file_list:
        store = HDFStore(file, mode='r')
        merged_store.append('data', store.data)
        store.close()

追加操作非常慢（追加单个存储最多需要 10 分钟）merged_store），奇怪的是文件大小merged_store每个附加存储似乎都会增加 1Gb。

我已经指出了预期行的总数，根据文档应该可以提高性能，并且已阅读提高 pandas (PyTables?) HDF5 表写入性能我原本期望写入时间较长，但每 300Mb 几乎需要 10 分钟，似乎太慢了，而且我无法理解为什么会增加大小。

我想知道我是否错过了什么？

如需了解更多信息，请参阅以下 500 个 PyTable 之一的描述。

/data/table (Table(272734,)) ''
  description := {
  "index": Int64Col(shape=(), dflt=0, pos=0),
  "values_block_0": Float64Col(shape=(6,), dflt=0.0, pos=1),
  "id": StringCol(itemsize=11, shape=(), dflt='', pos=2),
  "datetaken": Int64Col(shape=(), dflt=0, pos=3),
  "owner": StringCol(itemsize=15, shape=(), dflt='', pos=4),
  "machine_tags": StringCol(itemsize=100, shape=(), dflt='', pos=5),
  "title": StringCol(itemsize=200, shape=(), dflt='', pos=6),
  "country": StringCol(itemsize=3, shape=(), dflt='', pos=7),
  "place_id": StringCol(itemsize=18, shape=(), dflt='', pos=8),
  "url_s": StringCol(itemsize=80, shape=(), dflt='', pos=9),
  "url_o": StringCol(itemsize=80, shape=(), dflt='', pos=10),
  "ownername": StringCol(itemsize=50, shape=(), dflt='', pos=11),
  "tags": StringCol(itemsize=505, shape=(), dflt='', pos=12)}
  byteorder := 'little'
  chunkshape := (232,)

这基本上就是答案here，我最近回答过。

最重要的是，您需要关闭索引store.append('df',df,index=False)。创建商店时，然后在最后对其进行索引。

此外，合并表时也关闭压缩。

索引是一项相当昂贵的操作，如果我没记错的话，只使用单个处理器。

最后，确保您创建了合并 withmode='w'因为所有后续操作都是追加的，并且您希望从一个干净的新文件开始。

我也不会指定chunksize预先。相反，在创建最终索引后，使用以下命令执行压缩ptrepack并指定chunksize=auto它会为你计算它。我认为这不会影响写入性能，但会优化查询性能。

您可以尝试调整chunksize参数为append（这是写入块大小）也为更大的数字。

显然，请确保每个附加表具有完全相同的结构（如果不是这种情况，则会引发错误）。

我创建这个问题是为了增强“内部”执行此操作的功能：https://github.com/pydata/pandas/issues/6837