搜索
清华大学自动化系黄高团队获国际机器学习会议（ICML）2026杰出论文奖
7 小时前
2026年7月6日，清华大学自动化系黄高团队牵头完成的论文《灵活性陷阱：反思扩散语言模型中任意顺序的价值》荣获第43届国际机器学习会议（ICML）杰出论文奖。该论文由清华大学与阿里巴巴合作完成，针对扩散大语言模型（dLLM）的“任意顺序生成”特性提出反直觉观点：在数学、编程等通用推理任务中，这种灵活性反而会降低模型推理能力。研究发现，模型会利用生成顺序的自由度，刻意绕开不确定性高但对探索至关重要的内容，导致推理空间过早坍缩。为此，团队提出“JustGRPO”训练方法，在强化学习阶段强制模型按从左到右顺序生成，推理阶段仍保留任意顺序生成的优势。实验结果显示，采用JustGRPO训练后，模型在GSM8K测试集上的准确率达到89.1%，显著超越现有扩散语言模型后训练方法。该论文挑战了扩散语言模型领域的主流假设，为未来研究提供了新的方向。
