搜索
斯坦福等提出大模型新文本生成范式 速度最高快 31 倍
8 小时前
斯坦福大学与Together AI的研究者提出了Next-Concept Modeling（NCM，下一概念建模）这一文本生成新范式，它不同于自回归和扩散模型，借鉴了图像领域的下一尺度预测方法。NCM先让模型并行生成概念大纲，再逐层并行填充细节以形成完整文本。NCM通过两阶段训练达成：先训练多尺度残差VQ-VAE，获得可逐层补充信息的多层离散文本编码；再冻结该系统，训练Transformer预测下一层编码。实验表明，NCM在生成质量相近或更优的情况下，生成速度比扩散语言模型快10-31倍，且训练所需token量大幅减少。在数独等推理任务上，NCM的表现优于自回归和扩散基线，还可通过多生成候选挑选来进一步优化。目前，NCM的模型参数规模有限，其扩大规模后的表现、精确文本与长篇内容生成能力还有待验证。不过，NCM模拟了人类先构思再动笔的写作模式，有望改变未来文本生成的发展路径。
