文末彩蛋：七月在线干货组最新升级的《名企AI面试100题》免费送！
1、为什么BERT在第一句前会加一个[CLS]标志?
BERT在第一句前会加一个[CLS]标志，最后一层该位对应向量可以作为整句话的语义表示，从而用于下游的分类任务等。
为什么选它呢，因为与文本中已有的其它词相比，这个无明显语义信息的符号会更“公平”地融合文本中各个词的语义信息，从而更好的表示整句话的语义。
具体来说，self-attention 是用文本中的其它词来增强目标词的语义表示，但是目标词本身的语义还是会占主要部分的，因此，经过 BERT 的12层，每次词的 embedding 融合了所有词的信息，可以去更好的表示自己的语义。
而 [CLS] 位本身没有语义，经过12层，得到的是 attention 后所有词的加权平均，相比其他正常词，可以更好的表征句子语义。
当然，也可以通过对最后一层所有词的 embedding 做 pooling 去表征句子语义。
这里补充一下bert的输出，有两种，在BERT TF源码中对应：
一种是get_pooled_out()，就是上述[CLS]的表示，输出shape是[batch size,hidden size]。
一种是get_sequence_out()，获取的是整个句子每一个token的向量表示，输出shape是[batch_size, seq_length, hidden_size]，这里也包括[CLS]，因此在做 token 级别的任务时要注意它。
2、BERT的三个Embedding直接相加会对语义有影响吗？
这是一个非常有意思的问题，苏剑林老师也给出了回答，真的很妙：
Embedding的数学本质，就是以one hot为输入的单层全连接。
也就是说，世界上本没什么Embedding，有的只是one hot。
可参考：
https://kexue.fm/archives/4122
在这里想用一个例子再尝试解释一下：
假设 token Embedding 矩阵维度是 [4,768]；position Embedding 矩阵维度是 [3,768]；segment Embedding 矩阵维度是 [2,768]。
对于一个字，假设它的 token one-hot 是[1,0,0,0]；它的 position one-hot 是[1,0,0]；它的 segment one-hot 是[1,0]。
那这个字最后的 word Embedding，就是上面三种 Embedding 的加和。
如此得到的 word Embedding，和concat后的特征：[1,0,0,0,1,0,0,1,0]，再过维度为 [4+3+2,768] = [9, 768] 的全连接层，得到的向量其实就是一样的。
再换一个角度理解：
直接将三个one-hot 特征 concat 起来得到的 [1,0,0,0,1,0,0,1,0] 不再是one-hot了，但可以把它映射到三个one-hot 组成的特征空间，空间维度是 432=24 ，那在新的特征空间，这个字的one-hot就是[1,0,0,0,0…] (23个0)。
此时，Embedding 矩阵维度就是 [24,768]&#x
