Problem
我有一个数据框,其中包含以 1 分钟为间隔采样的财务数据。有时可能会丢失一行或两行数据。
- 我正在寻找一种好的(简单而有效)的方法来将新行插入到数据框中缺少数据的点。
- 除了包含时间戳的索引之外,新行可以为空。
例如:
#Example Input---------------------------------------------
open high low close
2019-02-07 16:01:00 124.624 124.627 124.647 124.617
2019-02-07 16:04:00 124.646 124.655 124.664 124.645
# Desired Ouput--------------------------------------------
open high low close
2019-02-07 16:01:00 124.624 124.627 124.647 124.617
2019-02-07 16:02:00 NaN NaN NaN NaN
2019-02-07 16:03:00 NaN NaN NaN NaN
2019-02-07 16:04:00 124.646 124.655 124.664 124.645
我当前的方法基于这篇文章 -使用 pandas 查找时间序列数据中缺失的分钟数据 https://stackoverflow.com/questions/47831863/find-missing-minute-data-in-time-series-data-using-pandas?rq=1- 这仅建议如何识别差距。不是如何填充它们。
我正在做的是创建一个 1 分钟间隔的 DateTimeIndex 。然后使用这个索引,我创建一个全新的数据帧,然后可以将其合并到我的原始数据帧中,从而填补空白。代码如下所示。这似乎是一种相当迂回的做法。我想知道是否有更好的方法。也许对数据进行重新采样?
import pandas as pd
from datetime import datetime
# Initialise prices dataframe with missing data
prices = pd.DataFrame([[datetime(2019,2,7,16,0), 124.634, 124.624, 124.65, 124.62],[datetime(2019,2,7,16,4), 124.624, 124.627, 124.647, 124.617]])
prices.columns = ['datetime','open','high','low','close']
prices = prices.set_index('datetime')
print(prices)
# Create a new dataframe with complete set of time intervals
idx_ref = pd.DatetimeIndex(start=datetime(2019,2,7,16,0), end=datetime(2019,2,7,16,4),freq='min')
df = pd.DataFrame(index=idx_ref)
# Merge the two dataframes
prices = pd.merge(df, prices, how='outer', left_index=True,
right_index=True)
print(prices)