搜索
上智院开源 1.9B 记忆模块 REMORY 可驱动小模型多日递归改进
56 分钟前
上海科学智能研究院研究员夏翰宸（第一作者）与复旦大学教授朱思语（通讯作者）团队推出开源RSI模型REMORY。该模型仅用1.9B可训练参数、两张H800实现完全自监督训练：通过拟合上下文压缩产生的记忆残差，生成软记忆残差token附加到概要后供主模型使用；训练全程冻结基模权重，分两阶段仅更新记忆模块参数。评测显示，该技术大幅减少工具报错与重复输出，降低生成开销，提升不同架构主模型的任务表现；还可驱动自动化科研智能体在跨数日的长周期科研任务中跨上下文边界延续记忆，支撑递归自改进，产出接近GPT-6.1-Terra的效果。
