搜索
全球公开做预训练 RSI 的仅两家：一家在 40 亿美元公司，一家在 801 教室
2 天前
目前全球公开将递归自我改进（RSI）应用于从零开始的前沿预训练的主体仅有两家：估值40亿美元的美国明星创业公司Recursive，以及上海801教室相关团队。该团队联合发布了首份完整公开的预训练级RSI技术报告、801-30B base模型及高质量轻量SFT数据，仅用三个月便训练出跻身同尺寸开源基座第一梯队的模型。团队将传统难以直接闭合的RSI大循环拆分为三类可快速闭合的小循环，并借助共享生产记忆沉淀经验，解决了多个跨团队疑难问题，显著提升训练效率与模型效果。评测显示，该模型在多维度对比中表现突出，仅经轻量SFT即可与多家厂商完整后训练的模型正面竞争。将RSI落地到预训练层面，可使AI参与制造AI的核心工序，推动基座模型生产方式变革，实现预训练经验的复利增长，对算力受限主体提升单位算力智能产出尤为关键。
