搜索
ScienceVision 评测：前沿大模型三维科学理解能力表现不佳
2 小时前
此前，GPT-6 Astra生成CAD的视频引发热议，其BenchCAD跑分达95.9%，引发关于CAD工程师就业的讨论。但专业工程师指出，这类生成结果看似逼真，却未必符合工程实际要求。近期推出的跨学科视觉三维理解与推理基准ScienceVision，覆盖生物、化学、医学影像、建筑、机械CAD五个科学领域共22个子领域，包含250道基于真实三维数据构建的题目，由66位领域专家累计投入近500小时打造。该基准采用确定性规则核验答案，无需语言模型充当裁判，还可直接作为强化学习环境。它模拟各领域专家真实的3D观察操作场景，要求模型自主操作三维对象完成观察、测量与分析，以检验AI的三维科学观察与理解能力。当前12款前沿大模型参与评测，得分最高的GPT-6-Astra搭配Codex仅得0.53分，没有模型能在五个学科同时领先；即便配备交互检视工具，多数模型表现提升也十分有限，暴露出当前前沿大模型在真实科学任务的三维观察与推理能力上仍存在明显短板。该基准首次在统一框架下衡量出AI三维科学观察的能力边界，填补了体系化科学3D推理评测的空白。
