无限上下文？月之暗面开源Kimi Linear架构

大家好，我是讯享网，很高兴认识大家。这里提供最前沿的Ai技术和互联网信息。
 <p>2025年10月31日，国内AI公司月之暗面（Moonshot AI）发布了一款名为“Kimi Linear”的新架构，根据官方的介绍，该架构通过混合线性注意力机制，可以大幅压缩KV缓存并提升解码吞吐量，从而让超长上下文处理与大规模高并发推理的实现，在经济性和部署便捷性上都得到了显著改善。</p><p>如果大模型要处理百万字级文档，或者要完成复杂的多步推理任务的时候，传统的Transformer架构存在无法兼顾计算成本和准确率的问题。全注意力机制可以获取到最细致的语义关联，但这会导致算力与显存消耗会随着序列长度呈平方级增长，这个代价过于沉重了。如果采用线性注意力机制，虽然计算效率更高，但却容易在处理长序列的过程中丢失关键信息，这反而会降低任务的准确性，有些得不偿失了。</p><p>Kimi Linear架构的核心亮点在于，它通过全新的线性注意力机制，在保持长文本理解精度的同时，还能够大幅降低算力与显存开销，从而兼顾了效率与性能。下面详细介绍一下该架构的亮点：</p><ul><li><strong>引入KDA线性注意模块</strong>：Kimi Linear架构引入了名为Kimi Delta Attention（英文简称KDA）的线性注意模块，并且将它和传统的多头潜在注意力（MLA）混合使用。</li><li><strong>采用3:1混合层级设计</strong>：这是Kimi Linear架构的核心亮点，即：每3层线性注意力层（KDA）后插入一层全局注意力层（MLA）。不过在实际应用中，这种3:1的固定比例是否适配所有任务场景呢？我们从下面的架构图可以看出一点端倪。KDA模块左侧标注的是字母“N”，而不是数字“3”，这说明这种混合层级设计并非固定式3:1的比例，但何种比例在实际应用场景中才能有较好的收益，或许还需要月之暗面的工程师给开发者提供更多的参考案例。</li></ul><ul><li><strong>大幅降低KV缓存开销</strong>：Kimi Linear的技术报告显示，与对应的全注意力架构相比，Kimi Linear的KV缓存使用量最多可以缩减75%左右。也就是说，在百万token这种极长序列的推理工作中，缓存和显存的压力会大幅降减小。</li><li><strong>解码吞吐显著提升</strong>：在超长文本或者高并发的推理场景下，Kimi Linear在响应速度和单次输出效率方面的优势非常明显。例如，在100万token的上下文长度测试中，Kimi Linear的解码吞吐量可以达到全注意力架构的6倍之多。从实际部署的角度来看，降低KV缓存开销和提升解码吞吐量都具有很重要的应用价值。</li><li><strong>可替代全注意力架构</strong>：Kimi Linear在训练流程、模型卡、权重架构方面兼容全注意力模型，并且开源了KDA核心内核。因此，Kimi Linear可以作为全注意力架构的直接替代品，开发者就能直接采用Kimi Linear架构来改进现有模型，无需进行大规模的重新设计和训练，从而有效降低开发成本和计算资源成本。</li></ul><p>在月之暗面发布Kimi Linear架构后不久，vLLM就官宣支持该架构，并且不少从业者也分享了自己对于线性注意力、全局注意力以及混合注意力架构的看法。</p><p>首先需要明确的是，Kimi Linear并非是要接替Transformer成为主流架构，而是在长上下文以及复杂多轮推理场景下，为开发者提供了一个兼顾算力成本和准确率的解决方案。成为传统架构的另一个选择，只是Kimi Linear的阶段性目标，项目核心贡献者Zongyu Lin在社交平台上表示，“无限上下文模型”才是Kimi Linear终极目标。这让我们看到了一个新的趋势：当大模型的参数规模逼近物理极限的时候，架构创新就成了推动大模型能力持续进化的新思路。此前Qwen已经在押注线性注意力，MiniMax则是坚守全注意力路线，而Kimi Linear的出现，无疑会让这场技术路线的竞争更具看点。</p>
无限上下文？月之暗面开源Kimi Linear架构

相关推荐
