搜索
让决策模型学会「难题多想」：Lev 用循环代替思维链，一份权重覆盖多个深度
3 小时前
多所高校及研究机构的研究者提出循环决策模型Lev。该模型以原生循环语言模型为底座，让同一组解码层重复运行多圈，每圈输出选项概率，并通过各圈联合训练使同一份权重支持任意深度作答；再由轻量停止器根据题目情况决定循环圈数，形成兼顾低延迟与难题多投入计算的System 1.5模式。实验显示，同一份Lev权重随循环深度增加准确率逐步提升，额外计算主要作用于难题；基于“当前答案与最深圈答案是否一致”目标训练的停止器，可在准确率损失不到1个百分点的前提下减少15%-24%的计算量。在50毫秒以内低延迟区间，小号Lev比同延迟的普通密集模型和级联方案准确率更高。相关论文、代码、模型与数据集均已公开。
