我有一个卷积神经网络，我修改了它的架构。我没有时间重新训练和执行交叉验证（对最佳参数进行网格搜索）。我想要直观地调整学习率。
我是不是该increase or decrease我的 RMS（基于 SGD）优化器的学习率，如果：
- I add more神经元到全连接层？
- 在卷积神经网络上，我在全连接之前删除了子采样（平均或最大池化）层，并增加了该特征图和 softmax 输出之间的全连接单元的数量（以便有more连接到顶部完全连接的神经元的权重）？
添加更多层/神经元会增加过度拟合的可能性。因此，随着时间的推移降低学习率会更好。删除子采样层也会增加参数数量，并再次增加过度拟合的机会。强烈建议，至少通过经验结果证明，子采样层可以帮助模型显着更好地学习。所以避免删除它们。
另外，我建议您通过裁剪图像来生成更多示例，并使用这些裁剪版本来训练模型。这作为正则化器可以帮助模型学习更好的数据分布。然后，您还可以增加层/神经元的数量，从而降低过度拟合的风险。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
