Lexicon Matlinae

Effective attention

O(n²) 复杂度的自注意力一直是计算瓶颈。一个改进方向是稀疏注意力:不对所有 KV token 求注意力,只对少数重要的求注意力。其代表作是 MoBA 与 NSA。

注意力操作可表示为:

P = softmax(QKᵗ), O = PV

注意力矩阵常是稀疏的。那么我们怎么估算哪些 qk 是有用的?

MoBA 来自 MoE,其用一个 W(dim, k) 输出 k 个 expert 的分数迁到 sequence 上,无法陏着 seqlen 的变长动态变化。MoBA 通过 q 与分块后平均池化的 k 相似度取 top-k,代替 MoE 的 gating 来路由。通过增加 seqlen 的方式训练。NSA 除了选择注意力还有 global compressed attention 与 sliding window atttention,更加工程。

LLSA 讲的故事是分块仍会导致 O(n²) 复杂度。LLSA 则是类似跳表的逐级过滤。

径向注意力是为视频生成设计的。Attention sink 是一个小 trick,特殊关照首帧。