SparseBERT: Rethinking the Importance Analysis in Self-attention

作为Transformer中重要的结构，self-attention一直是研究的热点。之前的工作往往是通过可视化预训练好的Transformer模型来分析注意力矩阵中共同的模式，并基于此提出了一系列稀疏的注意掩码。本文在预训练时动态地研究了注意力矩阵地变化并重新思考了self-attention中位置的重要性。其中一个有趣的结论是注意力矩阵的对角线元素和其他位置相比是最不重要的。为了解释这个现象，我们从通用近似定理的角度上证明了这些位置是可以被舍弃的。为了进一步降低self-attention的计算复杂度，我们提出可微分注意掩码（DAM）算法，可以用于指导 SparseBERT的设计。

https://www.zhuanzhi.ai/paper/2764524507c1fa4028fcaa8f4aea61a3