Kimi Linear: 표현력이 강하고 효율적인 주의력 아키텍처

材料称，月之暗面推出混合线性注意力架构 Kimi Linear，其 3B 激活参数模型在所列评估任务上优于全 MLA，KV cache 使用量最多降低 75%，并在 1M 上下文下实现最高 6 倍解码吞吐量。

该内容属于论文研究，公开材料来自 Hacker News 热门内容的 buzzing.cc 中文翻译，原文指向 arXiv。材料还称，月之暗面已开源 KDA 内核、vLLM 实现及模型权重。

Aioga 判断，Kimi Linear 的关注点不仅是评估表现，也包括长上下文推理中的缓存占用与解码吞吐量。不过，现有摘录未提供任务清单、实验设置及对照细节，不能据此推断其在所有实际部署中均占优。

Aioga 判断，若论文报告的结果可在相同条件下复现，该架构可能为长上下文模型降低 KV cache 压力并提高解码效率提供新选择。值得关注的是，材料仅陈述最高值，尚不足以判断不同上下文长度下的稳定收益。 建议下一步核对论文中的评估任务、全 MLA 对照配置、硬件环境、吞吐量计算方式及 KV cache 统计口径，并结合已开源的 KDA 内核、vLLM 实现和模型权重开展独立复现。