搜索
月之暗面提出Attention Residuals架构，优化Transformer模型
1 天前
品玩3月17日讯，Moonshot AI近日推出名为Attention Residuals（AttnRes）的创新架构，旨在改进基于Transformer的大语言模型信息处理方式。传统残差连接中，各层输出等权叠加，导致信息模糊。AttnRes通过引入深度注意力机制，使网络层能够动态选择并加权组合先前层级的信息。该方法将模型深度视为序列维度，允许各层主动检索历史特征，而非被动接收混合信号，有效解决了深层网络中隐藏状态冗余及缺乏选择性访问的问题，显著提升了模型在长上下文推理中的稳定性与效率。作为Kimi系列模型背后的技术突破，AttnRes体现了将注意力机制扩展至网络层级结构的趋势。Moonshot AI持续通过架构创新推动大模型发展，其万亿参数混合专家系统已应用于复杂推理任务。AttnRes的提出标志着即使是最基础的残差组件，仍在向更高效、自适应的方向演进，为构建下一代高效能AI系统奠定理论基础。
