4.自注意机制__self-attention

自注意机制也是一个常见的network架构

目前来说，输入都是一个向量，但是如果我们的输入变成了一排向量并且数目可以改变呢？这就是自注意机制解决的问题，现在model每次输入的sequence长度都不一样，如下图

假设network现在要进行文字处理，那么每一个输入的单词都可以用一个向量来表示，所以此时我们的向量长度是可以改变的，因为每个句子的单词数不一样

如何用向量来表示一个单词呢？最简单的我们可以用one-hot-encoding，用一个很长的向量，这个

向量维度和世界上的词汇一样，每一个维度都对应一个词汇，但是这样就有一个问题， 假设每一个词汇之间都没有关系，看不出来cat和dog都是动物，apple是植物

另一个方法是word embedding，我们会给每一个词汇一个向量，这个向量是有语义的，如果把word embedding全部画出来的话，那么可能会发现，所有的动物在一起，植物在一起，所有的动词在一起，word embedding不是本次重点，不讨论