注意力机制的困境与新突破
注意力机制自2017年谷歌提出Transformer架构后，便开始主导大语言模型（LLM）的发展。然而，它存在计算复杂度与输入序列长度N呈平方关系（O(N²)）的“先天顽疾”，这成为了长序列建模中的算力瓶颈。为缓解这一问题，研究界不断探索高效替代方案，如线性注意力、状态空间模型以及长卷积模型等。

近日，Mamba作者Tri Dao、华人AI领域大牛Eric P. Xing等联手MIT、普林斯顿、CMU等机构的研究人员，提出了全新的注意力机制——对数线性注意力（Log - Linear Attention），为解决这一难题带来了新的曙光。

对数线性注意力的特点与优势
高效的计算与推理性能
对数线性注意力具有训练效率为对数线性时间、推理性能达到对数级别的时间和空间复杂度的特点。并且，它利用Triton内核实现高效执行，能无缝对接线性注意力家族，让Mamba - 2、DeltaNet等全员提速，跑分全面开花，使长序列处理迈入log时代。

统一的理论框架
研究人员引入了新理论框架，统一了不同高效注意力机制的分析视角。他们将交互矩阵A与掩码矩阵M拆分开，揭示了大量不同模型之间的结构共性。掩码矩阵M的结构决定了高效算法的实现，提升效率的关键在于M本身是否具备合适的结构。

特殊的Fenwick树划分结构
对数线性注意力机制在掩码矩阵M上引入了特殊结构，即类似Fenwick树（树状数组）所使用的分层方式，将输入序列按2的幂大小划分为一系列区段。这种结构能让查询操作只需关注少量隐藏状态，以不同时间粒度捕捉历史上下文信息，实现了对时间上下文的层级压缩建模。同时，输出向量表达式中可区分的权重赋予了模型捕捉多尺度时间结构的能力。

高效的训练算法
对数线性注意力机制的分块计算算法在原有线性注意力的基础上，仅引入了对数级别的额外开销。它将掩码矩阵Mⁿ的非对角区域分解为仅在块内部有效的对角矩阵D和第ℓ层的跨块依赖关系Mⁿ，通过类似树状结构的方式压缩较远位置之间的关联。该方法包括块内计算和块间计算两个阶段，在保持高效性的同时提升了表达能力。

对数线性注意力在不同模型中的应用与实验结果
对Mamba - 2和门控DeltaNet的推广
研究团队将得到的模型称为对数线性Mamba - 2和对数线性门控DeltaNet。他们在H100 GPU上进行实验，在序列长度超过8K时，对数线性Mamba - 2的定制内核性能超越了FlashAttention - 2；在序列长度达到32K时，其吞吐量依然超过了Transformer。

多方面的实验评估
多查询关联回忆（MQAR）：随着序列长度和键值对数量的增加，DeltaNet性能显著下降，而对数线性DeltaNet依然保持高准确率。
语言建模：在Long - Data - Collections数据集上进行学术规模的语言建模预训练，对数线性Mamba - 2在困惑度和一半的常识推理任务上优于其线性版本；对数线性门控DeltaNet表现更突出，在困惑度和除一项推理基准外的所有任务上都超过了其线性版本，且在所有指标上优于层数匹配的Transformer，在一半指标上优于参数量匹配的Transformer。
逐位置损失：将Mamba - 2和门控DeltaNet扩展到对数线性版本后，损失在不同位置上均持续降低，表明长距离上下文利用能力有所提升。
大海捞针：在RULER中的“大海捞针”基准测试中，对数线性Mamba - 2和门控DeltaNet在不同指标上均有改进。
上下文检索：在现实世界的任务评估中，对数线性Mamba - 2在大约一半任务上有所改进，对数线性门控DeltaNet表现更为稳定，在除DROP之外的所有任务上均匹配或优于门控DeltaNet。
长上下文理解：在LongBench上，对数线性Mamba - 2和门控DeltaNet在14个评估任务中的8个上均优于基线模型。
研究的局限性与未来展望
虽然对数线性注意力在许多情况下优于线性注意力，但仍存在一些局限性。在不少任务中它的表现未能超越线性注意力的基线，与Transformer相比也存在显著的性能差距。此外，其工程复杂性较高，块间计算和块内操作需要专门的实现，反向传播过程更为复杂，Fenwick树分区的使用引入了归纳偏差。

不过，对数线性注意力的提出为解决注意力机制的算力瓶颈问题提供了新的思路和方法。未来，研究人员可能会进一步优化该机制，探索不同的参数化方式，以提升其性能，使其在更多任务中超越现有的注意力机制，推动大语言模型的发展进入新的阶段。华人研究团队在这方面的突破也展示了华人学者在人工智能领域的卓越贡献。