使用另一个 pandas DataFrame 更新存储在 Pytable 中的 pandas DataFrame

我正在尝试创建一个函数，用 pandas DataFrame 中的新数据更新我存储在 PyTable 中的 pandas DataFrame。我想检查 PyTable 中是否缺少特定 DatetimeIndexes 的某些数据（值为 NaN 或有新的时间戳可用），将其替换为给定 pandas DataFrame 中的新值并将其附加到 Pytable。基本上，只需更新 Pytable 即可。我可以使用 Pandas 中的 merge_first 方法获取组合的 DataFrame。 下面的 Pytable 是用虚拟数据创建的：

import pandas as pd
import numpy as np
import datetime as dt
index = pd.DatetimeIndex(start = dt.datetime(2001,1,1,0,0), periods = 20000,freq='10T')
data_in_pytable = pd.DataFrame(index=index,data=np.random.randn(20000,2),columns=['value_1','value_2'])
data.to_hdf(r'C:\pytable.h5','test',mode='r+',append=True,complevel=9,complib='zlib')

这样pytable就创建好了。假设我有另一个 dataFrame，我想用它来更新 Pytable：

new_index = pd.DatetimeIndex(start = dt.datetime(2001,5,1,0,0), periods = 10000,freq='10T')
data_to_update=pd.DataFrame(index=new_index,data=np.random.randn(10000,2),columns=['value_1','value_2'])
store=pd.HDFStore(r'C:\pytable.h5',mode='r+',complevel=9,complib='zlib')
store.append('test',store.select('test').combine_first(data_to_update))
store.close()

问题是 PyTable 保留原始值，不更新现有值。我现在有重复的条目（按索引），因为原始值没有被覆盖。

概括： 如何使用另一个 DataFrame 更新 PyTable？

谢谢， 弱电

目前不支持此功能。PyTables确实支持update方法，但没有在 pandas 中实现。

最简单的方法是使用mode='w'并写入一个新文件或

store.remove(key); store.append(.....)

HDF5不是“常规”数据库，更新也不是常见操作，如果您需要，SQL 可能是一个选项。

欢迎提出要求update作为一个问题的增强。