如何使用有状态 LSTM 和 batch_size > 1 布置训练数据

背景

我想在 Keras 中对“有状态”LSTM 进行小批量训练。我的输入训练数据位于一个大矩阵“X”中，其维度为 m x n，其中

m = number-of-subsequences
n = number-of-time-steps-per-sequence

X 的每一行都包含一个子序列，该子序列接续前一行上的子序列离开的位置。因此，给定一长串数据，

Data = ( t01, t02, t03, ... )

其中“tK”表示原始数据中位置 K 的标记，序列在 X 中布局如下：

X = [
  t01 t02 t03 t04
  t05 t06 t07 t08
  t09 t10 t11 t12
  t13 t14 t15 t16
  t17 t18 t19 t20
  t21 t22 t23 t24
]

Question

我的问题是，当我使用有状态 LSTM 对以这种方式布置的数据进行小批量训练时会发生什么。具体来说，小批量训练通常一次对“连续”的行组进行训练。因此，如果我使用大小为 2 的小批量，则 X 将分为三个小批量 X1、X2 和 X3，其中

X1 = [
  t01 t02 t03 t04
  t05 t06 t07 t08
]

X2 = [
  t09 t10 t11 t12
  t13 t14 t15 t16
]

X3 = [
  t17 t18 t19 t20
  t21 t22 t23 t25
]

请注意，这种类型的小批量处理与训练并不相符statefulLSTM，因为通过处理前一批的最后一列产生的隐藏状态不是与后续批次的第一列之前的时间步相对应的隐藏状态。

要看到这一点，请注意小批量将按照从左到右的方式进行处理，如下所示：

------ X1 ------+------- X2 ------+------- X3 -----
t01 t02 t03 t04 | t09 t10 t11 t12 | t17 t18 t19 t20
t05 t06 t07 t08 | t13 t14 t15 t16 | t21 t22 t23 t24

暗示着

- Token t04 comes immediately before t09
- Token t08 comes immediately before t13
- Token t12 comes immediately before t17
- Token t16 comes immediately before t21

但我希望小批量对行进行分组，以便我们在小批量之间获得这种时间对齐：

------ X1 ------+------- X2 ------+------- X3 -----
t01 t02 t03 t04 | t05 t06 t07 t08 | t09 t10 t11 t12
t13 t14 t15 t16 | t17 t18 t19 t20 | t21 t22 t23 t24

在 Keras 中训练 LSTM 时实现此目标的标准方法是什么？

感谢您在这里的任何指点。

解决方案 1 - 批量大小 = 1

好吧，既然看起来你实际上只有一个序列（虽然分开了，但它仍然是一个序列，对吧？），你确实必须使用等于 1 的批量大小进行训练。

如果您不想更改或重新组织数据，只需：

 X = X.reshape((-1,length,features))

     #where
         #length = 4 by your description    
         #features = 1 (if you have only one var over time, as it seems)

解决方案 2 - 重新组合长度 = 8

仍在使用一个批量大小为 1，重塑输入数据（在将其传递给模型之前），使其具有双倍长度。

最终结果将与您使用所描述的大小为 2 的小批量进行训练完全相同。（但请确保在模型的输入形状中将批量大小设置为 1，否则这会给您带来错误的结果）。

X = X.reshape((-1, 2 * length, features)) 

这会给你：

X = [
  [t01 t02 t03 t04 t05 t06 t07 t08]
  [t09 t10 t11 t12 t13 t14 t15 t16]
  [t17 t18 t19 t20 t21 t22 t23 t24]
]

解决方案 3 - 仅当您实际上有两个不同的序列时才可能

根据你的描述，你似乎只有一个序列。如果您确实有两个不同/独立的序列，那么您可以制作一批大小为 2 的批次。

如果将序列一分为二（并失去它们之间的连接）不是问题，您可以重新排列数据：

X = X.reshape((2,-1,length, features))

Then:

X0 = X[:,0]
X1 = X[:,1]
...

您可以尝试将其分组在一个数组中：

X = X.reshape((2,-1,length, features))
X = np.swapaxes(X,0,1).reshape((-1,length,features))

Then:

X0 = X[0]
X1 = X[1]
...

你可以尝试通过完整的X只要在模型中明确将批量大小设置为 2 即可进行训练输入形状.