归一化

归一化方法

1. 线性归一化，也称min-max标准化、离差标准化;是对原始数据的线性变换，使得结果值映射到[0,1]之间。转换函数如下:
   x ′ = x − min ⁡ ( x ) max ⁡ ( x ) − min ⁡ ( x ) x^{\prime}=\frac{x-\min (x)}{\max (x)-\min (x)} x′=max(x)−min(x)x−min(x)​
   这种归一化比较适用在数值较集中的情况。这种方法有一个缺陷，就是如果max和min不稳定的时候，很容易使得归一化的结果不稳定，影响后续使用效果。其实在实际应用中，我们一般用经验常来替代max和min。
2. 标准期化，也叫Z-score标准化，这种方法给予原始数据的均值( mean , μ )和标准差( standard deviation, σ )进行数据的标准化。经过处理后的数据符合标准正态分布，即均值为0，标准差为1，转化函数为:
   x ∗ = x − μ σ x^{*}=\frac{x-\mu}{\sigma} x∗=σx−μ​
3. 非线性归一化，这种方法一般使用在数据分析比较大的场景，有些数值很大，有些很小，通过一些数学函数，将原始值进行映射。一般使用的函数包括log、指数、正切等，需要根据数据分布的具体情况来决定非线性函数的曲线。

自归一化神经网络

来自：飘逸慕嫣然

SELU激活函数
selu ⁡ ( x ) = { λ x , x > 0 λ ( α e x − α ) , x ⩽ 0 \operatorname{selu}(x)=\left\{\begin{array}{ll} \lambda x, & x>0 \\ \lambda\left(\alpha \mathrm{e}^{x}-\alpha\right), & x \leqslant 0 \end{array}\right. selu(x)={λx,λ(αex−α),​x>0x⩽0​

SELU激活函数具有以下特点：

1. 有用于控制平均值的负值和正值；
2. 存在饱和区域(导数接近零)，以减小低层出现较大的方差；
3. 部分区域斜率大于1，如果下层方差太小则增加方差；
4. 是连续的曲线，确保存在一个不动点，且在该点处的方差减幅会被方差增长所补偿。
   这些特点使得深层神经网络在训练中都保持着方差稳定, 从而避免了梯度爆炸与梯度消失。