目录
3.4 Global Average Pooling 全局平均池化
学习语义分割理论，学习两个经典的模型VGG & ResNet，记录一些自己认为重要的要点，以免日后遗忘。
计算机视觉研究的分类问题，由简单到复杂经过以下几个阶段：
语义分割是一种稠密估计（Dense Predicttion）。以往的分类问题，最终的估值都是比输入小的，比如输入一张1024×768的图片，输出的或者是框框的坐标(x,y)，或者是实例的像素点，都比输入1024×768。而稠密估计，输出和输入是一样大的，输入是1024×768的图片，输入的也是1024×768的图片，输入的每个像素点都被标记一个label。
VGG本身不是语义分割用的，但是VGG模型的设计思想被沿用至今，我们可以认为VGG的做法都是以后人们在用的做法。VGG模型分成两个部分，一个是特征提取，一个是图像分类。
特征提取都是经过多层的“卷积→激活函数、再池化”来提取出特征值。
VGG大量使用3×3的卷积，3×3卷积有什么好处呢？
VGG每经过一次池化（spatial方向H×W都减半），通道数就会加倍（channel方向增大一倍）。
特征提取结束后，接全连接层。接全连接层，先用flatten将H×W的矩阵拉成一个一维向量。
ResNet模型的出现使网络的深度大大增加。
一般认为，当网络越来也深，其表现能力越强。但是，实际上网络的能力并不会随着深度增加一直增大，会出现网络的退化现象，也就是深度增加其能力反而不如浅层网络（其在测试集和训练集上的准确率都下降），这个不是过拟合（训练集上准确率提高，测试集上准确率下降）。
即使只增加恒等映射层，实验结果也是网络出现退化，随着深度的加深连学习一个恒等映射都变困难。所以，何恺明提出残差网络Residual Net。来解决这个问题。
如果我们要学习一个估值有困难，那么我们就定义残差
，学习残差
相对容易，然后我们用
来学习到原来的估值
。
为什么残差可以解决退化的问题呢？我个人的理解就是，经过深度网络的卷积、池化层操作，输入的信息损失太多。那么把这个损失的信息补回来就解决了退化问题。所以，每2个卷积就对结果加一次x，这样就不会造成输入信息的损失，网络层数可以一直加下去。
因为卷积、池化操作，导致channel发生了变化，所以需要对输入x做channel方向调整，才能做加法。注意里面的加号是张量的加法，不是直接加。
举例，输入的是RGB图像，也就是3×H×W的输入。经过卷积、池化等，就变成了64×H×W的维度，要相加，那么输入x也要变成channel=64。那么，1×1卷积就解决了这个问题。1×1卷积不改变spatial的大小，只改变channel的大小。
随着深度的增加，每一层的参数个数会变的非常大（主要是channel变大，channel每层增大一倍，50层以上channel很大）。上面提到ResNet就是在计算得到的输出上加输入。
256——64——256就像瓶颈一样——BottleNeck。
为了连接全连接层。需要把矩阵拉成一维向量，以前办法是flatten。C×H×W的张量，经过flatten变成了一维向量，有CHW个元素。
而全局平均池化的意思，实际上就是池化的kernel_size和输入大小相同，这样每个channel就只有一个平均值输出。C×H×W的张量，经过全局平均池化变成了C×1×1，有C个元素。
全局平均池化的好处就是，全连接层的参数大大减少，避免过拟合。
为什么conv里面的bias=False？因为，后面有Batch Normalization。如果conv就加bias，卷积后做batch normalization还要再加bias，那么conv的bias就无效了。所以，后面如果有bn就不加bias。
