softmax层_AM-Softmax

回顾一下Angular Softmax ( A-softmax ) ，它是以乘法的方式合并angular margin(角度间隔)

从上式中的

乘性Margin Softmax

本文讲述的AM-Softmax提出了一种更具解释性的方法：将angular margin(角度间隔)引入到softmax loss中，提出一个新的margin。这个margin是用

减去 加性Margin Softmax。它比 A-softmax 更简单（加法比乘法简单）和具有更好的性能。

在讲述AM-Softmax之前，有必要先讲一下Angular Softmax中的

1. Angular Softmax中

original Softmax Loss公式：

其中

target logit (目标逻辑)。

A-softmax loss公式：

作者提出了归一化权重向量

target logit (目标逻辑)从

其中

其中

conventional Softmax、 Angular Softmax和 Hard Margin Softmax。

对于Angular Softmax，图中画了三个参数集的logit曲线。可以看到 Angular Softmax

conventional Softmax和 Angular Softmax Additive Margin Softmax Angular Softmax

2. AM-Softmax

AM-Softmax在此基础上，进一步提出一个特殊的

与L-SoftMax和A-softmax（式子3）中定义的

AM-Softmax 中的

更简单和直观。

归一化是形成 angular margin(角度间隔) 的关键。如果没有归一化，margin

large angular margin(大角度间隔) 。

将特征和权重归一化后的输入

可以看到式子5非常简洁，不需要计算反向传播的梯度，因为

A-softmax相比，它更容易实现。

为了对分离良好的样本产生更高的梯度，以进一步缩小类内方差，使用超参数s缩放余弦值，作者发现如果通过反向传播来学习缩放因子

超参数s定为30（一个足够大的值），以加速和稳定优化。

那么AM-Softmax Loss 变成：

3. AM-Softmax的几何解释

conventional softmax的决策边界在

AM-Softmax，类1的决策边界在

图中标记的距离并不代表实际距离，实际距离通过角度的余弦函数计算。图中使用角度作为距离，以获得更好的可视化效果。使用“center”这个词来表示在最后的内积层中对应类的权向量，图中的

4. 角度间隔与余弦间隔

A-softmax是用

AM-Softmax是用 角度距离，一个是 余弦距离。

对于conventional softmax来说，决策边界的角度距离和余弦距离是等价的， 也就是：

当要试图推动决策边界的时候，角度距离和余弦距离就有所不同了，最终的决策边界是和余弦相关的。角度距离和余弦距离具有不同的密度，当角接近0或π时，余弦值更密集。根据这个性质可以推测，优化角度距离比优化余弦距离更有效果。

作者之所以选择了

5. 特征归一化

作者认为，是否对特征进行归一化，取决于图像的质量。如图3，特征范数与图像质量高度相关，高质量的图片提取出来的特征范数大，低质量的图片提取出来的特征范数小。

考虑到反向传播

经过归一化后，与具有较大范数的特征相比，具有较小范数的特征将获得更大的梯度，如图5所示。

Softmax的目标是尽可能最大化正确分类的概率，所以它会优先拟合容易分类的高质量图片，忽略掉一些比较难分辨的低质量图片。通过反向传播，低质量图片由低范数变成较高的范数，网络将更多地关注低质量的人脸图像。所以说，特征归一化最适用于图像质量很低的任务。

6. 特征分布可视化

作者给出了几个损失函数的特征分布可视化。球面上的每个点代表一个归一化特征。不同的颜色表示不同的类。

从图6可以观察到，AM-Softmax(s=10,m=0.2)模型与最好的SphereFace(m=1，λ=0.5）模型的性能相似。从AM-Softmax(s=10,m=0.5)模型可知，通过设置更大的m可以进一步缩小类内方差。与A-SoftMax相比，AM-SoftMax具有适当的缩放因子

AM-SoftMax可以在不调整过多超参数的情况下，使得特征之间具有 large margin 。

7. 超参数m和特征归一化的影响

作者列出了这么一个表格：

从表中可以看出，损失函数中的主要超参数是margin

此外，作者还提供了不进行特征归一化（即W/O FN）和缩放系数s的损失函数结果。通过对比

可以看到，特征归一化在Megaface等低质量图像上表现得更好，不使用特征归一化在LFW等高质量图像上表现得更好。

---

参考文章：

https://blog.csdn.net/Fire_Light_/article/details/79602310​blog.csdn.net https://blog.csdn.net/weixin_42546496/article/details/88193191#41__207​blog.csdn.net