Effective attention
O(n²)
复杂度的自注意力一直是计算瓶颈。一个改进方向是稀疏注意力:不对所有 KV
token 求注意力,只对少数重要的求注意力。其代表作是 MoBA 与 NSA。
注意力操作可表示为:
P = softmax(QKᵗ), O = PV
注意力矩阵常是稀疏的。那么我们怎么估算哪些 qk 是有用的?
MoBA 来自 MoE,其用一个 W(dim, k) 输出 k 个 expert 的分数迁到
sequence 上,无法陏着 seqlen 的变长动态变化。MoBA 通过 q
与分块后平均池化的 k 相似度取 top-k,代替 MoE 的 gating 来路由。通过增加
seqlen 的方式训练。NSA 除了选择注意力还有 global compressed attention 与
sliding window atttention,更加工程。
LLSA 讲的故事是分块仍会导致 O(n²) 复杂度。LLSA
则是类似跳表的逐级过滤。
径向注意力是为视频生成设计的。Attention sink 是一个小
trick,特殊关照首帧。