目录
一、ResNet残差神经网络
1.1 提出
1.2 作用
1.3 应用场景
1.4 残差单元的结构
1.4.1 残差网络得名的原因
1.4.2 残差网络可以有效缓解退化现象的原因
1.4.3 数学原理
二、附录
2.1 残差神经网络可以缓解退化现象的数学原理
2.2 为什么直接映射是最佳的
三、参考文献
一、ResNet残差神经网络
1.1 提出
ResNet(Residual Neural Network)[1] 残差神经网络由前微软研究院的 Kaiming He 等4名华人提出,通过使用 Residual Blocks 成功训练152层深的神经网络,在 ILSVRC 2015 比赛中获得了冠军,取得 3.57% 的 top-5 错误率,效果非常突出。
1.2 作用
在深度学习网络的层数增加时,模型的准确率会逐渐饱和甚至开始降低,这个不是过拟合现象因为在训练集上也会有这样的表现,这个现象被称为退化现象,其实更直观的感受来说是层数越多的神经网络模型的训练难度越高。使用ResNet可以有效的避免退化现象,训练出层数更深的深度学习神经网络。
1.3 应用场景
需要训练出一个优秀的深度神经网络时,可以考虑使用残差神经网络。
1.4 残差单元的结构
上图即为残差单元的基本结构,相较于传统神经网络结构,残差单元多了一个将输入x传入后层作为后层输入的连接方式,这种方式被称为Shortcut Connection,使用到的映射方法为identity mapping,这种映射方法使得当x与F(x) 维度不同时,对x进行处理,让其可以与F(x)相加。
1.4.1 残差网络得名的原因
设输出函数为H(x),可知如果没有直接向后层传递的x,则H(x)=F(x),但是由于残差单元的结构可以使x直接传入后面的某层作为输入,所以输出函数变为H(x)=F(x)+x,所以F(x)=H(x)-x,即F(x)为输出和输入的差,而在该网络中F(x)又为学习的目标,故该网络称为残差神经网络。
1.4.2 残差网络可以有效缓解退化现象的原因
残差神经网络的提出主要是为了解决随着神经网络层数增加,网络准确率饱和,甚至下降的问题。我们假设现在有K层的神经网络,拟合的输出为,现增加网络层数,增加为
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)