- CNN权值共享是什么
局部感知：即网络部分连通，每个神经元只与上一层的部分神经元相连，只感知局部，而不是整幅图像。（滑窗实现）
（可行性）局部像素关系紧密，较远像素相关性弱。因此只需要局部感知，在更高层将局部的信息综合起来就得到了全局的信息。
权值共享：从一个局部区域学习到的信息，应用到图像的其它地方去。即用一个相同的卷积核去卷积整幅图像，不同的特征靠多个不同的卷积核实现。
（可行性）图像的局部统计特征在整幅图像上具有重复性（即位置无关性）。
参考：https://www.cnblogs.com/chenshan-crystal/p/7543780.html
-
正则化：
L1范数——Lasso回归；
L2范数——岭回归.
L1正则化产生稀疏的权值, L2正则化产生平滑的权值
原因：https://www.cnblogs.com/tianqizhi/p/9703796.html
-
1*1卷积核作用
（1）降维
（2）保证feature map不变的情况下增加非线性
参考：https://www.jianshu.com/p/04c2a9ccaa75
-
pooling层作用
（1）整合特征，减少计算复杂度
（2）对不同位置的特征进行聚合统计
（3）卷积窗口有重叠，因此得到的结果有大量冗余，用pooling可以消除冗余（pooling会导致微小的局部变形），权重共享可以带来平移不变性。
参考：
https://blog.csdn.net/kele_imon/article/details/79532286
池化层：对输入的特征图进行压缩，一方面使特征图变小，简化网络计算复杂度；一方面进行特征压缩，提取主要特征
-
卷积层作用
（1）相当于一个特征提取器来提取特征
（2）提供了位置信息
（3）减少了参数个数
-
pooling层的反向传播
参考：https://blog.csdn.net/qq_21190081/article/details/72871704（看图即可）
-
relu函数优点：
（1）防止梯度弥散（导数为1）
（2）稀疏激活性（负半轴导数为0，不会更新梯度）
（3）加快计算（导数好计算）
参考：https://blog.csdn.net/qq_21190081/article/details/64127103
缺点：
训练的时候容易die，如果遇到大的梯度流，w变成负的，输出变成负的，梯度为0，之后不再激活（是由于学习率太大引起的）
用leaky_relu改进
参考：
https://www.cnblogs.com/Time-LCJ/p/9235711.html
常用激活函数
sigmoid, tanh, relu
参考：https://blog.csdn.net/u011684265/article/details/78039280
