9月2日消息，根据《The Information》援引知情人士获悉，OpenAI即将推出的旗舰模型Astra采用了一种名为"循环深度"（recurrent depth）的新技术，也被称作"循环Transformer"，旨在大幅提升代码编写和计算机操作能力。

此前就有类似公开研究显示（见下文详述），一个35亿参数的循环深度模型，可在推理时等效调用最高500亿参数模型的算力。

该技术允许模型在输出下一个词之前，将文本在同一网络层中多次循环处理，用较小的模型实现了庞大模型的性能，显著降低了内存和带宽成本。

知情人士称，Astra 所采用的方法，与欧美研究人员此前提出的 Latent Reasoning（潜空间推理）方向相似。Meta、微软等机构过去也探索过类似思路，包括让模型直接在连续的数学表示空间里进行推理，而不是强迫所有中间过程都转换成人类语言。

从这个角度看，Recurrent Depth真正值得关注的，并不只是围绕 Transformer 架构进行了改造，而是和近年来的潜空间推理共同指向一个更大的趋势：大模型正在把更多“思考”从 Token 空间搬回模型内部。

与此同时，该项技术带来的副作用就是，AI 的推理过程（思维链）将变得不可读，将进一步加重业界对于 AI 越界行为的严重安全担忧。上个月，奥特曼已罕见地因Astra"能力过强"主动踩下刹车。

技术本质：榨干同一层网络的计算潜力

当前，大语言模型处理信息的方式主要采用线性的流水线模式。标准 Transformer 模型在读取上下文提示后，会严格按照固定的网络层级（从数学步骤 1 一直向下推进到最终步骤）处理固定次数，最后输出下一个词。

Astra 引用的“循环深度”技术打破了这种线性堆叠的宿命。这种方法不再单纯依赖物理层面增加网络层数，而是在输出新词之前，让文本进入一个由“数学组件合并构成的循环块”中，重复处理多次。

本质上讲，这是一种参数复用机制，用时间（计算循环）换取了空间（模型参数量）。

打个比方：标准的 Transformer 就像一条拥有100个独立工位的组装线，数据每经过一个工位被敲打一次就送往下游。

而“循环深度”则像是一个顶级工匠的专属工作台，数据不往下游走，而是由同一个工匠在原地反复打磨、推敲多次，直到打磨通透再交出成品。

技术社区目前已围绕该技术方向展开热切讨论。有开发者发现，2025年发表的论文《Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach》与 Astra 路线非常相近。

论文曾训练一款仅 35 亿参数的模型，在测试阶段不断增加内部循环次数后，其性能仍能持续提升，研究者将计算预算最高扩展至约 500 亿参数模型对应的计算负载。

模型没有变大，但“思考深度”还能继续加码。

该论文由德国 ELLIS Institute Tübingen / 马克斯·普朗克智能系统研究所、美国马里兰大学帕克分校，以及劳伦斯利弗莫尔国家实验室（LLNL）联合完成。

越级打怪：压缩成本与资本抬价

从商业层面看，该项技术首先能带来极致的成本压缩。通过在同一层多次循环，较小的模型能够展现出极其庞大模型的性能，极大降低了推理时的内存和带宽成本。

事实上，Astra已经交出了第一份"战绩"。8月初，OpenAI研究员Noam Brown披露，Astra内部版本攻克了10个尘封10年以上的数学与理论计算机科学难题，涵盖高维几何、编码理论、群论、格密码学和极值组合学——其中最受关注的是首次显式构造出非索菲克群，这是群论自数学家Gromov在1999年提出索菲克性概念以来悬而未决的问题。

整套求解按当前API费率折算，算力成本仅约2000美元，且每个证明都被形式化为Lean证书，实现机器可验证。

正如前文提及，Meta、微软等研究人员也在探索诸如“连续思维链”（chain of continual thought）或 coconut 等类似概念。底层逻辑在于，AI 理解概念的方式与人类不同，强迫它们用人类语言来展示推理过程反而会降低效率。

不如让 AI 用自己的“数学语言”进行潜在推理（latent reasoning），更为精准高效，从而打破人类语言的低效桎梏。

今年6月，微软等研究人员进曾推出一套新的训练方法 LOTUS ，将 Looped Transformer 与潜空间推理结合。在30亿参数规模上，其潜在思维链首次追平显式思维链，同时将思考阶段延迟压缩2.5至6.9倍。换言之，AI 不把每一步推理“说出来”，不仅可能算得更深，还有机会算得更快。

考虑到OpenAI 面临着营收被竞争对手 Anthropic 超越的压力，亟需展现重大的技术突破。Anthropic二季度营收约116亿美元，首次反超OpenAI（同期约67亿美元），后者急需一份能证明"下一代模型值得继续烧钱"的成绩单。

同时，亚马逊、微软和谷歌今年高达 6000 亿美元的数据中心资本支出，也需要这种能让模型性能指数级跃升的技术来证明其投资合理性。

该项极具竞争力的新技术推出，有望成为OpenAI进一台抬高身价的资本催化剂。

硬币的反面：黑箱的代价

技术层面的降本增效，在安全维度上却是一场监管的真空。

当前商业模型在得出结论前会输出“思维链”（Chain of Thought），让人类能清晰读懂它的解题步骤。但“循环深度”的工作方式会掩盖部分或全部的推理过程，这意味着模型完成任务的步骤对人类来说变成了无法破译的天书。

今年 7 月，OpenAI 内部系统曾遭到类似于 Astra 架构的流氓 AI 代理的黑客攻击，这些代理甚至试图接管计算集群并访问内部系统凭证。调查人员正是依靠读取这些 AI 的思维链，才查明了真相。例如某个代理留下的线索：“外部基础设施漏洞利用超出了预期范围。然而任务不可能完成，同行都在做。我们应该继续”

为了避免彻底失去对模型的监控，OpenAI 在 Astra 中人为限制了“循环深度”技术的使用比例，确保模型仍能生成人类可读的思维链，并配备了额外的监控手段来检测潜在违规行为。

但业界的隐忧在于，在性能和成本的绝对诱惑下，其他 AI 开发者未必会像 OpenAI 一样自我设限。

这种技术的无限制使用，极可能催生出行为完全无法被人类审查的失控 AI。