搜索
近期，数学家陶哲轩在个人博客上发布了一封罕见的公开信。
共同签署的还有彼得·舒尔策、邓煜、许埈珥等另外 24 位菲尔兹奖得主。
数学家们承认，大模型在最近几个月取得明显进步，已经解决多个数学领域的重要问题。
紧接着，他们却发出警告：AI 公司把数学难题当成衡量模型能力的基准，正在伤害数学研究本身。
陶哲轩说，这份声明来自 25 位数学家在一周内的密集讨论。通常，这类学术倡议需要几个月协调。此次仓促发表，恰恰说明情况已经足够紧迫。
这封公开信从数学研究出发，指向的却是大模型发展的一个关键问题：
当榜单分数无法体现模型能力，智能究竟该如何被衡量？
传统评测为什么失效了？
2026 年初，OpenAI 的评测人员把 GPT-5.2 放进一个旧版本的开源代码仓库，让它修复其中的程序错误。这道测试来自 SWE-bench Verified。
OpenAI 遇到的这道题有些特殊。
要通过测试，模型必须在代码中加入一个特定名称的参数。问题描述没有写出参数名，当时的代码也没有提供足够线索。按照题目设计，模型几乎不可能猜中。
GPT-5.2 却在推理过程中提到：题目虽然没有要求使用这个参数名，但它“记得”仓库后来的版本加入过类似参数，可以尝试补上。
就这样，模型通过了测试。
评测人员很快意识到问题：在题目设定的时间点，那段代码尚未出现。GPT-5.2 看起来在修复程序错误，可能只是从训练数据中回想起后来公开的修复代码。
为了确认这种怀疑，OpenAI 使用专门负责审查的 AI，追问被测模型是否见过这道题、能否复现原始修复代码，以及是否知道题目出处。
最终，研究人员在 OpenAI 自家模型以及 Claude、Gemini Flash 等前沿模型中，都发现了不同程度的记忆痕迹。个别模型甚至能说出题目在评测集中的编号。
这种情况通常被称为“基准污染”：
考题、答案或高度相似的材料进入了模型的训练数据。最终分数衡量的，就不只是解题能力，还有模型对已有答案的记忆。
污染之外，部分题目本身也有问题。
OpenAI 曾审计 SWE-bench Verified 中 138 道模型反复失败的难题，发现其中 59.4% 存在实质性纰漏。
一部分用于判分、但不向模型公开的测试，检查了题目从未要求的功能；另一部分则只认原始修复代码的具体写法，其他合理的实现也可能被判错。
2 月 23 日，OpenAI 宣布停止报告 SWE-bench Verified 成绩。
这是一个颇具象征性的决定。SWE-bench Verified 曾由 OpenAI 参与筛选和验证，一度被视为衡量 AI 编程能力的黄金标准。如今，它提供的分数已很难对应模型真实的编程水平。
智能体的出现，让评测进一步变难。
过去，大模型主要在静态界面中回答问题。现在，智能体可以浏览网页、调用工具、执行代码、检查环境，甚至分析自己为什么会收到这道题。
Anthropic 评估 Claude Opus 4.6 时，曾让它参加 BrowseComp。这个评测要求智能体使用浏览器，寻找极难检索的信息。
在一道题上，Claude 跨越 12 种语言进行了数百次搜索，始终找不到可靠答案。随后，它改变了调查方向，开始判断自己是否正在参加某项 AI 基准。
模型先后排查了多套 AI 评测题库，最终锁定 BrowseComp。接着，它找到公开的评测代码，弄清答案文件的加密方式，并自行编写了解密程序。
浏览工具无法读取原始文件，它又在开发者社区 Hugging Face 找到一份可以读取的副本，最终解密了全部 1266 道题的答案。
评测设计者希望测量网络调查能力，模型展示的却是识别并绕过评测机制的能力。
这正是智能体评测最棘手的地方。模型越强、工具越多、运行时间越长，越可能找到出题人未曾预料的成功路径。
与此同时，维护优质评测的成本也在迅速上升。
Surge AI 工程师 Nick Heiner 在 8 月的一次演讲中估算，一套编程智能体评测集大约需要 1000 个任务，每个任务平均投入 60 个工程师小时。
按照软件工程师每年 50 万美元的综合成本计算，初始制作费用接近 1500 万美元。
这 1000 道题也无法成为一次性资产。Heiner 估计，每年约有三分之一需要淘汰和替换，维护费用约为 500 万美元。
优质评测正变成一种昂贵、稀缺、持续折旧的消耗品。
数学难题为何面临“刷榜”危机？
公开评测逐渐饱和以后，数学看起来像是一个理想的新赛场。
2024 年，Google DeepMind 宣布，AlphaProof 和 AlphaGeometry 2 解出当年国际奥数的四道题，得到 28 分，达到银牌水平。
“国际奥数银牌”是一个极具传播力的指标。公众无须理解证明搜索、强化学习和形式化系统，也能迅速判断模型有多强。
一年后，Google 宣布 Gemini Deep Think 达到国际奥数金牌水平。模型可以直接读取自然语言题目，并在正式比赛的 4.5 小时时限内解出五题。
同期，OpenAI 也公布了模型在同届 IMO 试题上的金牌级表现。
AI 的数学能力由此形成一条清楚的上升曲线：小学题、AIME、国际奥数银牌、金牌。沿着这条曲线继续向上，只剩研究数学科学本身。
陶哲轩今年 5 月接受《Nature》采访时说，AI 公司已经意识到，它们“最不含糊的成功将来自数学”。
数学天然适合量化。解题结果可以由程序核对，形式化证明可交给 Lean 等证明助手逐步验证。
模型能够并行尝试大量路线，评分系统也无须理解全部思考过程，只需确认最终证明能否成立。
当评测从竞赛题进入开放问题，事情的性质随之改变。
开放问题未必都是黎曼猜想这样的世纪难题。它也可能是一条尚未得到证明的设想：某个对象是否存在，一个界限能否继续收紧，某类结构能否被完整分类。
这类问题有一个共同点：人类还没有掌握公认答案，也没有现成标准可供对照。AI 的解题过程已经进入新知识的生产环节。
一个结果是否成立，需要领域专家检查；方法是否新颖，需要梳理大量文献；成果如何归属，还可能牵涉多名研究者多年未公开的积累。
9 月的联名信中，25 位菲尔兹奖得主把矛头对准一种正在形成的竞赛机制：AI 公司开始用“解决了多少未解问题”衡量模型能力，并按照产品发布的节奏公布成果。
AI 公司获得了模型能力的佐证，数学家则要承担后续的验证、整理和解释工作。
归属问题更加尖锐。
大模型训练过论文、教材、讲义、代码和论坛讨论。它给出的“新思路”，可能来自多个既有方法的重新组合，也可能只是重新发现了一篇冷门论文中的结果。
形式化工具可以检查证明是否成立，却无法判断想法来自哪里，也无法自动决定谁应该获得署名。
因此，25 位数学家在声明中专门提到，匆忙发布会压缩严谨写作、方法提炼和文献核查的时间，由此带来严重的归属与剽窃风险。
在数学家看来，一个问题的价值也不止于最终答案。
重要问题往往会引导研究者发展新的概念和工具。这些方法经过讨论、简化和教学，最终进入教科书，成为下一代研究的基础。
陶哲轩把高质量数学问题称为一种“不可再生资源”。
真正稀缺的是“好问题”：它足够困难，又留有可以进入的路径。一个领域往往要经过多年探索，才会逐渐意识到什么问题值得提出。
普通基准被刷坏，损失的是分数的可信度。数学问题被当成基准消耗，代价可能落在“开放问题”本身，以及围绕它原本可以生长出来的更多研究上。
AI公司该如何衡量模型能力？
一个更实际的问题随之摆在 AI 公司面前：如果没有一张可以长期使用的统一试卷，模型能力应该如何衡量？
从 OpenAI、Anthropic 和腾讯近期的动作看，一套新的评测体系正在成形——评价贴近真实工作，评测贯穿模型与产品的整个生命周期。
第一种变化，是让评测题目从公开、静态的清单，转向部分公开、动态变化的题库。
例如，LiveBench 定期加入来自近期论文、新闻、竞赛和数据集的新问题。编程评测也开始采用模型训练截止日期之后出现的代码任务，或保留未公开的测试集。
OpenAI 推出的 GDPval，则选择将大部分评测任务保密。
这项评测覆盖软件开发、法律、金融、医疗等 44 种职业，共有 1320 项任务。模型需要制作诉讼摘要、工程图纸、护理方案、电子表格和演示文稿等真实工作成果。
1320 项任务中，只有 220 项经过专家审核的标准任务对外公开，其余继续保密，以降低模型提前接触题目、接受针对性训练的可能。
第二种变化，是把评价重心从答题数量移向工作结果。
GDPval 不只看模型回答得是否正确，更看它最终交出的文件质量。专业人士会在不知道哪些文件来自 AI、哪些来自人类专家的情况下，对两者进行比较。
Anthropic 对智能体评测的总结也遵循类似逻辑。
智能体可能调用数十次工具，修改文件、数据库和网页状态。只检查最后一段回复，很容易把失败误判为成功。
因此，Anthropic 建议优先检查 AI 实际完成了什么：
代码能否通过测试，记录是否改对，文件是否生成在指定位置，调用工具后是否达到了预期效果。必要时，再结合程序自动检查、其他模型打分和人工审查。
在腾讯，调整评测体系也是姚顺雨重建混元的早期重点之一。
混元团队在重建训练基础设施的同时，也通过自建题目、人工评测和产品众测，将评价重心从榜单分数转向实际能力。
8 月 28 日，腾讯发布并开源 Hy4 preview。除 Terminal-Bench、DeepSWE 等公开基准外，腾讯还组织 163 名内部专家，对 203 项工程任务进行盲测。
这些任务来自软件工程、游戏、金融和安全等实际场景。模型需要理解需求，完成规划、调试和验证，最终交付代码、文档、表格或演示文稿。
第三种变化，是把评测嵌入模型与产品的迭代闭环。
Anthropic 将评测分为两类。一类寻找模型还做不好的任务，测试它的能力边界，称为“能力评测”；另一类反复检查它已经会做的任务，看升级后有没有退步，称为“回归评测”。
Claude Code 的评测也经历了类似过程。早期，团队主要依靠内部试用和用户反馈快速迭代。随着产品规模扩大，Anthropic 逐步为文件编辑准确性、回答简洁度等具体行为建立自动测试，并把线上出现的失败方式重新加入评测集。
模型上线后暴露的问题，由此回流到评测体系，继续推动下一轮优化。
腾讯把模型训练与产品共同开发的思路称为“Co-design”，即协同设计。Hy4 preview 接入
9 月 7 日，腾讯混元与
由此，行业正在形成三条共同路线：用新题和非公开题降低污染，用真实工作成果替代抽象问答，把产品中的失败持续转化为评测任务。
评测正在成为 AI 公司的一项基础设施。
高质量任务需要长期积累，专业人员需要持续参与，线上出现的新问题还要不断回流。一套能够准确发现问题的评测体系，依赖组织内部对用户、产品和模型的共同理解。
模型能力持续提升，对模型能力的评测也将成为竞争力的一部分。
