关于Attention 的 秩 和 集中注意力

本文来自 苏神博客 ：Transformer升级之路：3、从Performer到线性Attention

低秩问题

不管是本文的主角Performer，还是之前在《Nyströmformer：基于矩阵分解的线性化Attention方案》介绍的Nyströmformer，它们的思路都是“寻找一个能逼近标准Attention的线性Attention”。那么一个很自然的问题就是：标准Attention有什么好的？哪里值得大家向它对齐？

关于Attention矩阵的秩的理论分析，也有一些论文可以参考，比如《Low-Rank Bottleneck in Multi-head Attention Models》就指出哪怕在标准Attention中，低秩性也是一个严重的瓶颈，增大key_size可以提升性能；上个月的《Attention is Not All You Need: Pure Attention Loses Rank Doubly Exponentially with Depth》则指出，如果没有残差和FFN，那么标准Attention有极大的风险退化为秩等于1的简单变换。连标准Attention这个有“升秩潜力”的模型都有低秩问题，更不用说线性Attention这种本身秩就有上限的模型了。

所以，一句话就是：用线性Attention需要用更大的key_size来维持矩阵的秩。

注意力集中

我们还可以从稀疏性角度来理解标准Attention的好处。直观来想，既然是“注意力机制”，那么肯定需要“集中注意力”，如果太分散，那么可能就相当于平均池化了，而“集中注意力”，意味着每个token应该只能显著地关联到若干个token，用数学的话说，那就是意味着Attention矩阵是稀疏的，或者说至少要具备变得稀疏的可能性。

对于标准Attention来说，它通过softmax来归一化

怎么样验证稀疏的重要性呢？笔者曾经尝试过，将线性Attention的Attention矩阵先算出来，然后强行截断Attention矩阵（也就是每个token只跟前后几个token做attention，变成局部形式的Attention）让它变得稀疏，结果发现这种截断后的线性Attention效果明显好于全矩阵的线性Attention。这就肯定了稀疏的重要性了，当然，这样把Attention矩阵先算出来然后前行截断的方式，使得线性Attention的复杂度不再是线性的了，因此不具备实用价值，仅用于理论验证。

还有一个实验现象可以辅助证明稀疏的重要性，那就是线性Attention做语言模型或者解码器的时候，效果是跟标准Attention差不了多少的，这时候线性Attention变成了单向的RNN（参考《Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention》），等价于Attention矩阵变成了下三角阵，也是更稀疏了。相比之下，如果用不稀疏的双向的线性Attention直接做MLM模型，则掉点会相当明显。

更重要的是，稀疏性和前一节提到的秩是有密切关联的，甚至可以说它们是“一体两面”：适当的稀疏化方法能提高矩阵的秩！比如做语言模型的下三角Attention矩阵，只要对角线元素非零（往往都能达到），那么这时候的矩阵直接就是满秩可逆阵了！还有笔者实验的局部Attention截断，也能增加矩阵的秩，比如极端情况下，每个token只跟自身做attention，那么Attention矩阵就是满秩的单位阵了！