这个问题作为一个问题而存在github问题, 也。
我想在 Keras 中构建一个神经网络,其中包含 2D 卷积和 LSTM 层。
网络应对 MNIST 进行分类。
MNIST中的训练数据是60000张手写数字0到9的灰度图像。每张图像都是28x28像素。
我将图像分为四个部分(左/右、上/下),并按四个顺序重新排列它们以获得 LSTM 的序列。
| | |1 | 2|
|image| -> ------- -> 4 sequences: |1|2|3|4|, |4|3|2|1|, |1|3|2|4|, |4|2|3|1|
| | |3 | 4|
其中一个小子图像的尺寸为 14 x 14。四个序列沿宽度堆叠在一起(无论宽度还是高度都应该无关紧要)。
这将创建一个形状为 [60000, 4, 1, 56, 14] 的向量,其中:
- 60000是样本数
- 4 是序列中的元素数量(时间步数)
- 1 是颜色深度(灰度)
- 56和14是宽度和高度
现在应该将其赋予 Keras 模型。
问题是改变 CNN 和 LSTM 之间的输入维度。
我在网上搜索了一下,发现了这个问题:Python keras如何将卷积层后的输入大小更改为lstm层
解决方案似乎是一个 Reshape 层,它可以展平图像但保留时间步长(而不是 Flatten 层,它会折叠除批量大小之外的所有内容)。
到目前为止,这是我的代码:
nb_filters=32
kernel_size=(3,3)
pool_size=(2,2)
nb_classes=10
batch_size=64
model=Sequential()
model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1],
border_mode="valid", input_shape=[1,56,14]))
model.add(Activation("relu"))
model.add(Convolution2D(nb_filters, kernel_size[0], kernel_size[1]))
model.add(Activation("relu"))
model.add(MaxPooling2D(pool_size=pool_size))
model.add(Reshape((56*14,)))
model.add(Dropout(0.25))
model.add(LSTM(5))
model.add(Dense(50))
model.add(Dense(nb_classes))
model.add(Activation("softmax"))
此代码创建一条错误消息:
ValueError:新数组的总大小必须保持不变
显然,Reshape 层的输入不正确。作为替代方案,我也尝试将时间步传递到 Reshape 图层:
model.add(Reshape((4,56*14)))
这感觉不对,无论如何,错误仍然存在。
我这样做的方式正确吗?
Reshape 层是连接 CNN 和 LSTM 的正确工具吗?
对于这个问题有相当复杂的方法。
比如这样:https://github.com/fchollet/keras/pull/1456TimeDistributed Layer 似乎对后续层隐藏了时间步长维度。
或这个:https://github.com/anayebi/keras-extra一组用于组合 CNN 和 LSTM 的特殊层。
如果简单的重塑就能解决问题,为什么还有如此复杂的解决方案(至少对我来说看起来很复杂)?
UPDATE:
尴尬的是,我忘记了池化和(由于缺乏填充)卷积也会改变尺寸。kgrm建议我使用model.summary()
检查尺寸。
Reshape层之前层的输出为(None, 32, 26, 5)
,
我将重塑更改为:model.add(Reshape((32*26*5,)))
.
现在 ValueError 消失了,取而代之的是 LSTM 抱怨:
异常:输入 0 与层 lstm_5 不兼容:预期 ndim=3,发现 ndim=2
看来我需要通过整个网络传递时间步维度。我怎样才能做到这一点 ?如果我将它添加到卷积的 input_shape 中,它也会抱怨:Convolution2D(nb_filters, kernel_size[0], kernel_size[1], border_mode="valid", input_shape=[4, 1, 56,14])
异常:输入 0 与层 volution2d_44 不兼容:预期 ndim=4,发现 ndim=5