参考论文: SCA-CNN: Spatial and Channel-wise Attention in Convolutional Networks for Image Captioning
image caption是一个image to text的问题,例如图一中需要生成的下一个词我们通过观察可以知道是cake,大概来讲我们人类是如何知道的呢?首先根据文本上下文确定我们要观察的区域,然后只需要观察cake的那块区域即可,识别出来这个区域的东西对应的英文单词是什么。讲这段话的主要意思就是:生成某个词的时候也许不需要观察所有图像,某块图像才是关键点,所以需要把注意力放在这个地方。
![](https://img-blog.csdnimg.cn/20200830054533601.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2FydGlzdGtlZXBtb25rZXk=,size_16,color_FFFFFF,t_70)
图一 image caption问题的例子以及整体框架