论文地址：https://arxiv.org/abs/2111.12419
Github:https://github.com/Christian-lyc/NAM
识别不太显着的特征是模型压缩的关键。 然而，它尚未在革命性的注意力机制中进行研究。 在这项工作中，我们提出了一种新颖的基于归一化的注意力模块（NAM），它抑制了不太显着的权重。 它将权重稀疏惩罚应用于注意力模块，从而使它们在保持相似性能的同时具有更高的计算效率。 与 Resnet 和 Mobilenet 上的其他三种注意力机制的比较表明，我们的方法具有更高的准确性。 本文的代码可以在 https://github.com/Christian-lyc/NAM 公开访问。
注意力机制是近年来的热门研究兴趣之一（Wang et al.[2017], Hu et al. [2018], Park et al. [2018], Woo et al. [2018], Gao et al. [2018]。 [2019]）。它帮助深度神经网络抑制不太显着的像素或通道。许多先
