搜索
Sebastian Raschka 详解 GPT-6 Astra：循环 Transformer 与思维链争议
15 小时前
近期，OpenAI推出的新模型GPT-6 Astra备受瞩目，该模型在3D渲染、图形处理及计算机操作任务上展现出卓越性能。为进一步提升模型的计算机操作能力，OpenAI采购了数万台Mac设备，用于强化学习训练。据报道，Astra采用了创新的循环Transformer设计，该设计通过让中间表示多次通过同一批Transformer块，有效提升了模型的有效深度。循环Transformer设计存在多种变体，包括固定循环次数的Nanbeige、支持自适应停止的Universal Transformer和Ouro，以及通过路由决定循环次数的Mixture-of-Recursions等。这些架构设计能够在固定的算力预算下，显著提升模型的整体性能。针对循环Transformer可能遮蔽推理轨迹的质疑，有观点指出，更短的推理轨迹实际上是模型能力更强、错误率更低的表现，与循环架构本身并无直接关联。OpenAI首席科学家也对此进行了澄清，表示架构变化并非导致推理轨迹监控性下降的原因。此外，研究还涉及了潜在推理、知识检索与推理的区分、算力对齐下的循环以及全带宽Transformer等相关领域。
