搜索
罗福莉官宣小米 MiMo-V3 将采用全新架构 核心 HySparse 2 发布
1 天前
小米MiMo大模型负责人罗福莉宣布，MiMo-V3将采用全新架构，其核心HySparse 2已正式发布。该架构能实现更少的预填充、更小的KV缓存以及更出色的长上下文检索能力。在1M Token长度下，预填充计算量可降低5.02倍，KV缓存缩小4.5倍。同时，MRCRv2和RULER-v2评分有所提升，而AgentPPL和LongPPL则更低。HySparse 2架构针对智能体推理工作负载特性设计，包含KV桥接、KV重用等核心机制。此外，该架构还进行了两项改进：一是用Token级别选择替代块级选择，二是用近期Token强制窗口替代独立SWA分支。这些改进使得本地和全局Token能够共享同一个KV缓存，且预填充在自解码器完成时即可停止。此前，小米已发布并开源了MiMo-V2.6系列原生全模态模型，这是其探索递归自我改进路径的重要一步。
