搜索
MemT 1.0 发布：迈向递归自我改进，让记忆成为模型内生能力
15 小时前
MemT 1.0作为业内首个记忆原生基座模型正式发布，提供两个不同参数规格版本，是目前业内最大的开源参数化记忆模型。该模型突破了传统外挂式记忆模式，将历史信息编码为可动态更新的内部记忆状态，在Transformer层中并行处理原有注意力机制与参数化记忆模块。通过动态局部记忆与超记忆协同工作，结合多类门控与混合存储机制，实现记忆的原生读写和跨会话延续。这一设计避免了重复注入历史文本或频繁微调基座模型的需求。训练过程采用三轨数据流水线与蒸馏对齐技术，在智能体任务、多语言处理及记忆基准测试中均超越现有参数化记忆基线模型。尤其在长历史场景下，其推理速度和存储效率显著优于完整上下文方案，实现单会话持久状态与历史长度增长的解耦，使模型随使用持续优化成本。该模型填补了大规模模型记忆架构的空白，使经验积累可直接参与后续推理过程，为AI递归自我改进奠定架构基础，同时帮助部署方积累专属模型资产，开拓了大模型发展的新路径。
