搜索
马斯克点赞Kimi新架构 Kimi幽默回应：你的火箭也不错
3 天前
特斯拉CEO埃隆·马斯克近日公开点赞中国AI公司Kimi的最新研究成果，Kimi官方账号幽默回应称：“你的火箭造得也不错！”Kimi团队发布的技术报告提出了全新的Attention Residuals（注意力残差）机制，对深度学习领域沿用近十年的传统残差连接进行了颠覆性重构，引发了全球关注。该机制通过为每一层配备“智能筛选器”，使模型能够动态筛选此前各层的有用信息，提升传递效率，并解决了传统残差连接导致的浅层信息稀释和训练效率低下等问题。实测显示，48B参数模型训练效率提升了1.25倍，科学推理和数学题作答成绩分别提升了7.5%和3.6%。
