搜索
LeCun 新论文论证 next-token 预测路线效率低下
3 小时前
Yann LeCun团队将柏拉图表征假说转化为数学定理，提出可操作的充分条件。研究采用基于JEPA的「好视图」训练方式，让模型学习同一场景不同描述背后的共同内容，并加入约束避免表征坍塌。相比下一token预测路线，该方式样本对齐效率提升42倍，按实际读取文本token计算效率差距约14倍；仅1.09亿参数的模型表征对齐效果超过720亿参数大语言模型，还可通过简单线性映射连接独立训练的视觉与文本模块，完成图像描述等任务。该研究为世界模型路线的表征学习奠定基础，验证训练目标对学习效率的关键影响，表明next-token预测路线效率较低，无需一味扩大规模也能取得更优效果。
