有任何的书写错误、排版错误、概念错误等,希望大家包含指正。
在阅读本篇之前建议先学习:
【自然语言处理】Attention 讲解
【自然语言处理】Transformer 讲解
【自然语言处理】BERT 讲解
ViT : Vision Transformer
1. 模型概述
Transformer 已经在自然语言处理(NLP)领域中取得了显著效果,但是在计算机视觉(CV)领域的应用非常有限。在计算机视觉领域,对 Transformer 的应用主要体现在两类方法中:其一是将注意力与卷积神经网络结合;其二是用注意力层替换某些卷积层。显然,这两类方法本质上并不是 Transformer 架构,都没有改变对 CNNs 架构的依赖。
本文作者提出了 Vision Transformer(ViT)模型用于图像分类任务。ViT 模型结构的灵感是,尽可能不改变原始的 Transformer 结构;ViT 模型通过在大型数据集上有监督地预训练,在任务相关的小型数据集上微调的方式进行训练;ViT 模型得出的重要结论是,当拥有充足的数据对其进行预训练时