搜索
月之暗面推出全新注意力架构Kimi Linear
2025-10-31
Kimi Linear架构的核心是Kimi Delta Attention（KDA）线性注意力模块，该模块通过精细门控机制，有效利用了循环神经网络的有限状态记忆。Kimi Linear模型在任务处理上表现出色，效率实现显著提升。与full attention模型相比，KDA模块能减少75%的Key-Value（KV）缓存使用，处理百万级长文本时解码吞吐量提升6倍，可作为全注意力架构的“即插即用”替代品，提升性能并增强效率。
