搜索
OpenAI发布研究报告：揭示大语言模型“幻觉”现象背后的成因
2 天前
OpenAI近日发布研究报告，深入剖析了语言模型中普遍存在的‘幻觉’问题。报告指出，尽管语言模型能力不断提升，但模型自信生成不真实答案的‘幻觉’现象仍难以根除。OpenAI的最新论文揭示，这一问题的根源在于当前主流的训练和评估体系更倾向于奖励模型的‘猜测’行为，而非鼓励其在面对不确定性时承认知识的局限。例如，在SimpleQA评估中，旧版OpenAI o4-mini模型虽在准确率上略胜一筹，但其错误率（即幻觉率）高达75%，远高于新版gpt-5-thinking-mini模型的26%。这表明，鼓励模型在不确定时猜测，虽可能提升准确率，却会大幅增加幻觉。研究进一步指出，幻觉的根源在于模型的预训练方式，即通过预测海量文本中的下一个词来学习，但这一过程缺乏‘真/假’标签的校正，导致模型在处理低频、任意性事实时难以准确回答，只能基于统计概率进行‘创作’，从而产生幻觉。OpenAI建议，解决这一问题的关键在于改革现有评估体系，对自信的错误答案施加更重的惩罚，同时奖励模型表达不确定性。
