深度学习——更深层次的神经网络

一个深层次的CNN网络结构

这里使用的卷积层全都是3 × 3的小型滤波器，特点是随着层的加深，通道数变大（卷积层的通道数从前面的层开始按顺序以16、16、32、32、64、64的方式增加）。此外，插入了池化层，以逐渐减小中间数据的空间大小；并且，后面的全连接层中使用了Dropout层。

该网络的结构特点：
①基于3×3的小型滤波器的卷积层。
②激活函数是ReLU。
③全连接层的后面使用Dropout层。
④基于Adam的最优化。
⑤使用He初始值作为权重初始值

为什么使用加深层

好处：
①**减少网络中的参数数量，**可以使用更少的参数达到同等水平的表现力。
②通过加深层，可以分层次地传递信息。
比如


一次5 × 5的卷积运算的区域可以由两次3 × 3的卷积运算抵充。并且，相对于前者的参数数量25（5 × 5），后者一共是18（2 × 3 × 3），通过叠加卷积层，参数数量减少了。

叠加小型滤波器来加深网络的好处是可以减少参数的数量，扩大感受野（receptive field，给神经元施加变化的某个局部空间区域）。并且，通过叠加层，将 ReLU等激活函数夹在卷积层的中间。这是因为向网络添加了基于激活函数的“非线性”表现力，可以表现更加复杂的东西。

VGG网络

它的特点在于将有权重的层（卷积层或者全连接层）叠加至16层（或者19层）。

迁移学习：
将学习完的权重（的一部分）复制到其他神经网络，进行再学习（fine tuning）。比如，准备一个和 VGG相同结构的网络，把学习完的权重作为初始值，以新数据集为对象，进行再学习。迁移学习在手头数据集较少时非常有效。

深度学习的高速化

卷积层中进行的运算可以追溯至乘积累加运算。
深度学习的高速化的主要课题就变成了如何高速、高效地进行大量的乘积累加运算。
———————————————————————————————————
深度学习中需要进行大量的乘积累加运算（或者大型矩阵的乘积运算）。
这种大量的并行运算正是GPU所擅长的。

通过im2col可以将卷积层进行的运算转换为大型矩阵的乘积。这个
im2col方式的实现对 GPU来说是非常方便的实现方式。这是因为，
相比按小规模的单位进行计算，GPU更擅长计算大规模的汇总好的
数据。

参考

《深度学习入门：基于Python的理论与实现 》斋藤康毅