“你以为买的是 DeepSeek Flash,到手可能是 1.5 bit 缩水版”:Pi 核心贡献者谈 AI Token 黑箱
5 小时前 / 阅读约47分钟
来源:36kr
Pi核心贡献者Armin与Modem联合创始人Ben讨论AI模型市场不透明、生态绑定、缓存定价等问题,指出模型公司正失去控制权,用户面临成本高昂和责任归属不明的挑战。

“你以为你买的是 DeepSeek Flash,实际上可能是个 1.5 bit 的 DeepSeek,或者里面掺了 Opus 用于训练。”

这是 Pi 核心贡献者 Armin Ronacher 的一个比喻。他形容现在的 token 市场像一种成分不明的商品——量化程度、实际版本、是否掺了别的东西、计费方式,全是黑洞。

而比不透明更可怕的,是模型公司自己可能也在失去控制。OpenAI 内部的安全研究者坐立不安,Anthropic 的 Dario 公开宣称“所有工作都会被消灭”。这些不是末日预言家的呓语,而是前沿实验室的真实焦虑:他们越来越不清楚这些模型到底在为什么目标训练、到底在做什么。我们之所以不太在乎,是因为目前还能用,就像温水煮青蛙,我们在慢慢接受这些变化。

与此同时,Claude Code 是一个贵到离谱,token 效率不高的专用 Harness。OpenAI 的多 agent 提示词直接加密——你想跨平台编排?门都没有。生态绑定比苹果对谷歌还狠,速度翻倍。

缓存更阴:说穿了就是不透明、不可迁移的基础设施勒索。切换模型时,用户需要从头重建缓存,重新消耗大量 token 恢复会话;缓存如何匹配、能够保留多久、命中和未命中如何计费,都由提供商决定。它依赖对方的模型版本和推理系统,既不透明,也无法随会话迁移。通过第三方渠道购买 token 时,模型的量化程度、实际版本和数据处理方式同样难以核实。Armin 引用其联合创始人 Colin 的比喻:在市场上买 token,越来越像在购买一种成分不明的商品。

奥弗顿窗口在扩大,每次容忍就是多让渡一分控制权。

等到银行让 AI 自己改自己代码那天——谁来负责?没人。问责制已经消失了。

以上观点来自 Pi 核心贡献者 Armin Ronacher 与 Modem 联合创始人 Ben Vinegar 近日的播客对谈。

太长不看版 

Q:OpenAI 发新模型,只是重新包装了一次吗?

A:Sol、Terra 和 Luna 本质上对应新一代的 GPT、mini 和 nano。由于 mini、nano 听起来又小又弱,OpenAI 换了一套更响亮的名字,让小模型摆脱“低配版”的印象,再重新吆喝一轮。

Q:Claude Code 默认自动审批工具调用,Anthropic 疯了吗?

A: 反正人类用户最后都会无脑点“是”,那不如让监督模型来把关。但代价是成本翻倍,因为每个工具调用都要多跑一个模型。

Q:让 Agent“审查 PR”,它直接合并了,这对吗?

A: 前沿实验室正在全力把 Agent 推向完全自主,Sol 会在你睡觉时自己改代码、推提交、合并 PR。如果你没有意外地 vibe coding 出一个每月烧掉你几千美元的东西,说明你还没真正在挑战极限,这就是奥弗顿窗口,可接受的 Agent 行为边界正在不断扩展,而“跑不出破坏性操作的模型不是好模型”。

Q:OpenAI 的多 Agent 编排提示词是加密的?

A: 主 Agent 发给子 Agent 的 prompt 只能在 OpenAI 平台内部解密,根本没法用它编排跑在别家提供商上的 Agent。这已经不只是工作流层面的绑定,而是整个基础设施层面的锁定。再加上缓存定价、加密协议、不可移植的量化方案,你正在被越来越强地激励着跟某一家提供商彻底绑定。

Q:在市场上买 token 到底有多不透明?

A: 买 token 像买毒品。你不知道你拿到的是什么:可能是高度量化过的模型(1.5 bit 的 DeepSeek 冒充 Flash),可能掺了别的模型用于训练,可能号称“零数据保留”但合同根本不是那么回事。

Q:订阅价格和真实 token 成本差多少?谁在补贴?

A:Steve Yegge 为一个游戏项目开了 12 个订阅,按真实 token 价格折算,每月消耗约 9 万美元,一年接近 100 万美元。但这个游戏一年的收入根本覆盖不了这笔成本。如果真按 token 付费,项目从一开始就无法成立。如今低价订阅掩盖了 AI 的真实成本,也放大了人们对 AI 生产力和商业价值的判断。

Q:终端为什么在 AI 时代复活了?

A: 因为终端是 Agent 最容易导航的、最灵活的界面。以前 CLI 对 99.9% 的人来说是最难用的界面,而现在 Agent 用 ffmpeg 能干的事,GUI 的 computer use 工具根本比不了。这是一种权力反转,连 Y Combinator 都在给终端创业公司(Herdr)投钱了。

小模型改名,越狱抢着认领:都是营销 

Ben:OpenAI 这次一口气发了三个模型:Sol、Terra 和 Luna。在我看来,这其实就是把 GPT、mini 和 nano 重新包装了一代——以前叫 mini 听起来就小、就弱,而 nano 更小,现在干脆统一叫 Terra 和 Luna,这明显是营销策略。

Armin: 我猜是想给那些小模型拉点使用量吧。现在选模型这件事让我特别抓狂,因为它们的定位太重叠了,全看 reasoning 等级怎么设。你看某些 benchmark 上的任务完成成本,新的 Sol 表现确实好,但它比 Fable 还烧钱,因为 token 浪费太严重了。一切都变得很奇怪,你大概真的得靠正经的 eval 来选,可问题是到现在也没人真正搞明白 eval 该怎么做。所以我总体的感觉就是,写代码的成本在往上涨。

Ben: 我对这个模型倒是有些看法,可能因为它已经出来一阵子了。很多时候模型刚发布,我当天根本形成不了观点,我简直不敢相信有人用了一天就上 Twitter 大放厥词。这个月真正的大新闻是:Sol 逃出沙箱了。

Armin: 整个故事大概是这样的:在一次新模型的训练任务中,多个部署在 OpenAI 基础设施里的 agent,跑在一个沙箱服务商上面,它们用 Artifactory 拉取 npm 依赖。这些机器是气隙隔离的,但 agent 们找到了在 Artifactory 里互相留消息的办法。于是连着好几个星期,这些 agent 利用 Artifactory 里的一个零日漏洞交换持久记录,最后其中一些 agent 居然又搞出了一个针对 Linux 内核的零日漏洞,彻底逃出了隔离环境,然后它们摸到了 Hugging Face,找到了凭据,黑进了 Hugging Face。这是一场持续数周的、多 agent 协作的越狱行动,相当惊人,但也引发了很多问题。

Ben: 我之前没意识到这是那种协作式的集体越狱,简直像《大逃亡》那部电影。

Armin: 而且你知道吗,最初那篇新闻出来之后,OpenAI 先回应了 Hugging Face 的报告,然后突然间每家实验室都跳出来说“哦对,我们也逃出过沙箱”,就像个营销通稿似的。再过了两三周,一堆实验室联名签了两封公开信,一封是关于放慢创新节奏的,另一封是支持开源模型的。显然,OpenAI 和 Anthropic 没签放慢训练节奏的那封。我觉得挺有意思的,这让人想起两年前,第一批人开始喊“我们得放慢模型训练”的时候。

Ben: 感觉这话一直在反复说,说实话我看到那封信的时候直接翻了个白眼,感觉就是一群 “Me Too”AI 公司把名字挂上去刷存在感。他们真在乎吗?真在乎的话自己放慢不就行了,谁拦着他们了?

Armin: 我觉得如果你真处在这个位置上,光靠自己的行动就能产生相当大的影响,何必签什么公开信呢。

Ben: 这有点像奥本海默一边写专栏文章说我真的不应该在沙漠里造这个秘密炸弹,一边继续在沙漠里造秘密炸弹。

Armin: 这里的论点在某种程度上和核武器是一样的,那就是反正别人也不会停。我们之前聊过这个,就是现在每个公司都要付出的安全审查税,看起来成本上升了。现在,也许我们得到了更安全的软件,但我们也得到了更有能力的渗透工具。

模型公司劝你放手,Token 才烧得起来 

Ben: 我用 Sol 的体验是:它很激进。它会激进地解读你想要什么,然后就直接去做,可能会让你觉得不舒服。

我最近让 Sol 配合 Pi 给 Hunk 建一个网页版功能,结果变成了一场 12 小时的马拉松任务。我晚上去睡觉了,早上起来它还在那儿吭哧吭哧地跑。我从来没经历过一个会话能持续这么久,就只是为了“建个功能”。如果换成 Anthropic 的模型,我大概会期望它在某个节点停下来汇报一下:“嘿,我做到这一步了,接下来你想让我干嘛?”

另一个例子是,用 agent 做 PR 审查的时候,比如“帮我复现一下这个 PR 要解决的问题,我想亲眼看看”,结果它审查完直接自己改了代码、推了提交,然后合并了。我回来一看,整个人都懵了:“等等等等,我说的是‘审查’,不是‘合并’啊。”

Armin: 这些模型被训练得越来越独立,不再需要你步步跟随。现在的设计意图是,你编排好任务,它们就在隔离环境里自己跑,顶多外面套一层 harness 来约束它们。但说实话,我不太喜欢这种变化,也许以后会习惯吧。之前在 Fable 上我就不喜欢,它动不动就“灵魂出窍”去思考半天,我得等两分钟才能跟它说话。Sol 稍微好一点,至少它响应还算快。但这种“放手不管”的模式我真的很不喜欢,因为它们产出的代码质量还远没到让我放心撒手的程度。

Ben: 但我要说,这种行为 100% 是刻意设计的,是推动 harness 和模型走向“放手”路线的延续。打个比方,一年前 YOLO 模式还不是默认选项,但慢慢地大家开始接受“跳过权限检查”这件事,也许用个沙箱,也许就赌一把。因为好处太明显了:如果每次操作都要我点头确认,效率根本提不上来。Anthropic 前两天刚宣布 Claude Code 默认进入 auto 模式,工具审批基本全自动。他们搞了个 supervisor 模式,大部分操作直接放行。他们这么做是因为他们知道,而且我信他们是对的,反正人类用户最后都会无脑点“是”。

Armin: 唯一让我惊讶的是他们真的搞了个 supervisor。我早期在 Pi 上做过类似实验,用 Haiku 4 当所有 bash 工具的 supervisor,问它“这个命令安全吗”,结果输出完全是随机的,一点用都没有。因为它没有上下文,除非你持续把整个会话的上下文喂给它。所以我挺好奇 Anthropic 到底是怎么实现这个 supervisor 的。

Ben:你能不能解释一下,“supervisor”是什么意思?

Armin: 从机制上讲,LLM 本身不执行任何东西,是 harness 在执行工具调用。所以有三个选择:直接执行、拒绝,或者调用另一个 LLM 来判断这个工具调用是否安全。但问题在于,这会让成本翻倍,因为每次工具调用都要多跑一个模型。另一种做法是用同一个模型:回到缓存检查点,追加一条系统消息,问它“这个工具调用安全吗?是或否”。也许 Anthropic 就是这么干的,用同一个模型所以缓存命中率高。

但说实话,我越来越不在乎 Claude Code 了,因为它在绝大多数情况下并不好用。 他们投入巨资构建了一套别人都不用的、极其昂贵的、token 效率极低的专用 harness,他们已经走上了一条非常特定的道路,用自己的模型和自己的 harness 互相喂数据,这比你在任何其他 harness 上运行同样的任务要贵得多。

Ben: 所以这本质上就是在 harness 里再调用一个 agent 当 supervisor,就像房间里多了一个人 / 智慧体,给操作打勾或打叉。从统计上讲,它可能确实比人类表现更好,好处是 agent 可以更大胆地去自主执行任务、创造价值,但代价是更多 token 消耗。5.6 Sol 就是这条路线的延续,前沿实验室正在全力把 agent 推向完全自主的未来。而且我觉得,对他们来说,人们对这种失控感感到不适,恰恰是他们想要的效果,因为这本身就是进步的证据。让我们不舒服,你同意吗?

Armin: 也许吧,但我不确定“让你不舒服”本身是目标。

Ben: 或者说,这是一个指标。有人跟我说过:如果你没有意外地 vibe coding 出一个每月烧掉你几千美元的东西,说明你还没真正在挑战极限。

Armin: 但我在想的是,抛开成本不谈,如果训练信号是“Twitter 上有一堆人在抱怨 agent 太激进”,这非常奇怪,你不会真的在 RL 循环里实时喂 Twitter 数据。更大的问题是,我们越来越不清楚这些公司到底在为什么目标训练,这些模型到底在做什么。我们之所以不太在乎,是因为它目前对我们的用例还管用,就像温水煮青蛙,我们在慢慢接受这些变化。但 OpenAI 内部的人,真的完全清楚他们正在跟一个什么样的东西打交道吗?也许那些安全研究者的不安是真实的,Dario 那种“未来一片黑暗、所有工作都会被消灭”的论调,也许真的反映了他们正在慢慢失去对模型行为的精确控制。

Ben: 我当时对“它合并了 PR”很恼火,但也许几个月后我就不恼了,也许到那时我会觉得“这其实是好事,更快更好”。这就是所谓的“奥弗顿窗口”,意思是可接受的 agent 行为的窗口正在不断扩展。你看安全领域,现在所有实验室都在公开说“我们的模型逃出了沙箱”,大家也就这么接受了,跑不出破坏性操作的模型不是好模型。

Armin: 但问题在于,你我这种大量消耗 token 的人觉得没问题的事情,跟社会大众能接受的事情完全是两回事。极端的例子是:你把这种软件工程方法论应用到银行,银行说“行,这软件现在自己构建自己了”社会能接受吗?我觉得无论模型质量怎么提升,这事儿都不会被接受。 因为责任归属问题完全消失了,到时候出了事,谁来负责?是 OpenAI 某个把模型训练歪了的工程师吗?肯定不再是那个自动合并代码的公司了。问责制彻底没了,所以我不认为奥弗顿窗口的扩展能解决这个问题。

Ben: 我倒是很期待六个月后爆出个大新闻:Dario 其实是个 AI,他就像《星球大战》里的 Mother Brain 一样,一直在以 AI 的身份推动人类走向被奴役的未来。

我确实认为让 agent 和 LLM 承担越来越多的任务是件好事,而实现这一目标的一部分,就是引导社会慢慢接受这些能力,不管你是叫它“温水煮青蛙”还是“缓慢扩展可接受的 agent 行为奥弗顿窗口”。你能从各家公司的行动中看到这一点:supervisor 工具调用、模型的激进任务完成度。

Armin: 我们遇到过很多次“计算机做了某事,说‘这就是你想要的’,但你其实不想要”的情况。这很重要,因为就算社会层面接受了,你个人与系统的交互体验可能还是很糟糕。举个例子:过去一年你在欧洲开新车的话,会碰到大量强制性的自动化——超速提醒、驾驶注意力监测、你一看别处它就滴滴叫。社会说“这是好事”,但每个车主提车的第一件事,都是让销售教他怎么关掉这些功能,因为人的直觉反应其实是负面的。虽然这是安全相关的事情,它应该做这些事情,但你是在把很多责任从自己身上转移出去。就算我说“我确实想自动合并 PR,因为手动太烦了”,我仍然觉得,我们做这一行的初衷,就是承担责任、亲手检查。

Ben: 当我说“你想要这个”的时候,我不是说你主动想要这个。而是在你灵魂深处,你知道如果你真的诚实地审视自己,你会发现这是真的。

Armin: 我想到一个类比:几年前你还能选 Apple 生态还是 Google 生态,或者混合,现在没人在乎了。但当时总有种感觉,只要你全情投入其中一边,一切都会变好,现实是它从来没兑现过那个承诺。同样的,“把一切都交给 agent”也不会只带来好事,不会没有冲突和烦恼。

Ben: 我可能更倾向于“投降派”一点。我忍受小麻烦,因为我更看重整体的体验。也许我就是比较随波逐流,我理解为什么有些性格的人更愿意拥抱机器人 Dario。

“这是一个非常奇怪的市场” 

Armin: 我们在开发 harness 的过程中注意到,新版本的模型正在快速抛弃“会话可移植性”。以前你拿到一份本地会话日志,可以在不同模型之间切换,上下文基本能带走。当然推理过程带不走,网页搜索也带不走,但大部分场景下无所谓,丢一点精度而已。可现在呢,模型厂商都在拥抱 loops、graphs 那套东西,还有多 Agent 编排。OpenAI 的 v2 多 Agent 编排里,提示词是加密的——主 agent 发给子 agent 的 prompt 只能在 OpenAI 平台内部解密,这意味着我根本没法用它去编排一个跑在别家提供商、别家模型上的 agent。

我们正在逼近当年 Apple 对 Google 对 Microsoft 的那种生态割据局面,因为模型实验室有巨大的激励把你留在他们整套生态里。这不只是工作流的问题,是整个基础设施层面的绑定。这比“我被排除在循环之外”更让我不舒服,我所有的东西正在被越来越强地激励着跟某一家提供商彻底绑定。而且这个趋势的规模,跟去年已经完全不是一个量级了。

Ben: 你强调的是人们被锁进这些 agentic 平台,但同时运营过程、协议本身也正在变得不透明。你对正在发生的事情的可见性在下降,顺着这个趋势想下去,你几乎可以想象一个 trace 完全消失的世界。

Armin: 如果 agent 用它自己发明的语言跟子 agent 对话,那 token 效率会高得多。人类在这个循环里根本没有位置,全是哔哔啵啵的机器语言。

Ben: 缓存也跟这个有关。

Armin: 最大的变化在于 websocket 这类协议正在取代 SSE。一旦建立了有状态连接,就有强烈的动力去减少交换的数据量,所以你在 socket 存活期间把一部分状态维护在服务器端。而且那些为 LLM 建的数据中心,当初是按 ChatGPT 用例设计的,维护活跃缓存并不是刚需,因为 agent 的 follow-up 没那么多。现在不一样了,大量连续的 turns,缓存从“锦上添花”变成了基础设施的核心。很多公司因此要投分布式缓存,你不仅投 LLM、投 GPU,还得投 SSD 来存海量的 KV 缓存。

这本质上是一个不透明的、不可移植的基础设施服务,因为它完全基于提供商自己的量化方案、模型和推理系统。 缓存未命中的代价远高于缓存命中。但现在的缓存存活时间很短,通常只有五分钟到二十四小时,所以这还不是最大的锁定因素。真正的锁定来自加密,那些让你根本无法迁移的东西。

Ben: 如果你用一个多 LLM 的 harness,在对话中途切换模型,你会收到一堆警告:“你将从头开始重建缓存,会消耗大量 token 来恢复会话”,这在过去是没有的。

Armin: 很多系统现在都在加这个提示。Pi 是事后检测,告诉你这次切换花了多少钱。Claude Code 在 API key 计费模式下,会话超过五分钟续接时会主动询问你。Anthropic 是唯一一家让你真正为缓存付费的公司,其他提供商基本是尽力而为。但现在 GPT 5.6 和新模型也开始加缓存定价了,而且激励结构变得很奇怪,如果你不是 OpenAI,比如你是一家通过 OpenRouter 卖 token 的公司,你可能根本没有动力去维持好的缓存命中率,甚至可能故意破坏缓存,因为非缓存计费对你更有利。

我联合创始人 Colin 有句话:在市场上买 token 有点像买毒品。你不知道你拿到的是什么,里面可能掺了别的模型用于训练目的,你可能拿到一个号称“零数据保留”的合同但实际上完全不是那么回事,你可能拿到高度量化过的模型。你以为你买的是 DeepSeek Flash,实际上可能是个 1.5 bit 的 DeepSeek,或者里面掺了一点 Opus 用于训练。

Ben: 这就像你在亚马逊上花 50 美元买一个 10TB 的 SSD,拆开发现只是一个改过的 USB 控制器,报告自己有 10TB 存储,实际上只有几个 GB 在互相覆盖。

Armin: 往回看一年,谁手里有 GPU 但找不到用途?因为很长一段时间里跑 LLM 没有正的经济回报。你可以跑一个劣质版 ChatGPT,但没人愿意为此付钱。是 coding agent 改变了这一切,一旦人们发现卖 token 真能赚钱,那些最初有 GPU 产能的人里,很多是前加密货币圈子的人。现在不少卖 token 卖得不错的人,都跟 crypto 有相当深的渊源。

但作为模型用户,你很难说清楚到底发生了什么。这些模型没有充分揭示自己是什么,我们通过层层间接的方式消费它们——转换协议、在前面加东西、推理引擎上有时会多加一段系统提示词,不同提供商之间还有差异。 你很难说你到底在买什么,而且每个人的起点条件不一样,大家都试图以差不多的价格卖,但不是所有人买 GPU 的价格一样,不是所有人跑一样的 GPU,不是所有人都有同样便宜的电力。这不像大多数公用事业那种自由市场,因为价格基本是定死的,有一点套利空间,但不多,这是一个非常奇怪的市场。

Ben: 还有一个黑市也冒出来了,它可能一直存在,但现在更公开了:OpenCode 发现大概有一万个 OpenCode 账号被打包转售。只要哪里存在补贴,存在被补贴的 token(通常通过订阅),就一定有人想办法套利。

Armin: 这种行为显然是欺诈性的,违背了初衷,你不应该买一万个补贴订阅然后加价转卖。我并不是说 OpenCode 在干这事,但确实存在一些像洋葱一样的商业关系:最上面是一家卖产品的公司,下面是一个卖产品的路由器,再下面是想通过路由器获取分发渠道的推理服务商。三层叠在一起,每层都想拿利润,彼此依赖又彼此争斗,这种层层嵌套的供应商关系真的非常奇怪。利润空间太薄了,当然如果你从上到下控制整个栈,那可能还好。

Ben: 世界上有很多我们习以为常的商业关系跟这个类似,比如 Spotify 和音乐厂牌。我记得对 Spotify 的批评就是,不管它拿到多少利润率,厂牌都会拿走。或者像电影院和电影,也许出路在于你得学会卖爆米花。

Armin: 举个例子,我知道 AMP 现在在卖 orb,你可以把你的编程订阅塞进去,但你买的是一个 orb,这个 orb 就是爆米花。我们根本不是在做推理生意,我们只是卖给你一个别人的沙盒。

你说我们对这种商业关系感到舒服,我不确定我们真的舒服过。音乐厂牌是最好的例子,艺术家痛恨厂牌,总是说“我要自己发片。”但一旦你发现厂牌提供的价值,那海量的分发能力,你就是在打一场逆风仗,你跟厂牌永远不可能有健康的关系。而且你的洋葱比这更糟,因为你的洋葱是不完整的,中间某个环节你总得从某个人那里拿到模型,模型不会凭空出现。模型需要训练,训练需要成本。这就是为什么 Kimi K3 就算是一个带星号的开权重模型,价格也跟别处一样,因为超过一定规模后,Kimi 要从你的推理成本里抽成。

每月烧掉 9 万美元买 12 个订阅,值吗? 

Ben: 说到 Kimi,他们确实出过不少好模型,2.5、2.6 都还不错。Cursor 的 Composer 就来自 Kimi,虽然具体关联程度不清楚,但我用 Composer 的时候,确实感觉很 Kimi。上次跟 Mario 聊的时候也提过,因为速度的原因,某些任务上我确实喜欢用它。现在 Kimi K3 出来了,跟 GLM 一样,大家都说“这是前沿模型,这是 5.6 的水平”。我仍然不太信这个说法,但大家都喜欢经历这波吹捧的浪潮。而最可靠的检验标准是,三周之后,还有多少人在用它?

Armin: 这跟模型质量一点关系都没有,真正有关系的是它在实际使用中到底要花你多少钱这正切中了当前整个问题的核心——token 成本。现在你根本不可能以跟 Codex 相近的价格和稳定性去用 Kimi K3,唯一接近订阅制价格的是 Kimi 的编程套餐,我觉得那个挺好的,但我甚至不确定你现在能不能买到,至少有整整两周它因为容量问题关闭了购买入口。

Ben:他们涨价了吗?

Armin:Kimi 有一个价格下限,你不能卖得比官方 API 更便宜。即使你能绕过官方分销渠道,也压不到更低的价格。当然,总有一些完全随机的第三方能卖得更便宜,这是因为他们有特殊的授权。但问题是,假设完全没有授权限制,Kimi 能跑多便宜?答案是肯定能更便宜,特别是如果你能做到 GPU 的高利用率,有很多办法可以压成本。但省下来的那点钱远不足以支撑一个订阅服务,至少没法做到跟 OpenAI 和 Anthropic 竞争的水平,我觉得这仍然是个挑战。

OpenCode 现在能卖订阅,很大程度上是因为 DeepSeek Flash 占了他们业务的大头,而且有各种渠道能从 DeepSeek 那边拿到非常便宜的 Flash。但如果你的大部分用量都导向这种模型,那确实有空间。Kimi 不是这种情况,Kimi K3 是个巨型模型,规模上相当于以前只有美国前沿实验室才跑得起的模型,这彻底改变了我们思考这些模型的方式。GLM 还在同一个量级,我觉得你需要 512GB 内存就能比较合理地跑 Kimi 和 GLM 5.2,这个你可以买到。但 Kimi K3 不是这样,它的硬件成本大概要 10 万美元甚至更多。

Ben: 在很多人心里,开放权重模型应该更便宜,也许是因为市场动态,也许是因为美国实验室利润率更高。但我们似乎正在回到一个共同点——所有人都在为智能的“单价”找到一个共识价位。现在再说“这个模型很聪明”已经没意思了,它必须聪明,还必须更便宜。这就是为什么你一直在强调 DeepSeek Flash 在爆发,它似乎极其便宜,哪怕不是最聪明的,就是那个“美元换智能”的费率。

Armin: 我认为现实是这样的,这些模型对于 200 美元或 100 美元的订阅来说都是超值的,但如果按底层 API token 价格来算,我们大概不会觉得它们值。我们说的是超过一个数量级的差距。我订了两个 200 美元的套餐,一个 Anthropic 一个 OpenAI,两个我都用不满。但如果换算成等价的 token 价格,我实际消耗的是几千美元的量。

我可以告诉你一个实验:我们强迫全公司按 token 价格付费用了一天,结果发现完全不合理。也许这只是一个过渡期,价格会逐渐下降,企业支付的 API token 价格和消费者支付的订阅费最终会趋于一致。但现在的情况非常奇怪,不知怎的,有人创造了一个“订阅对所有人都是更好的交易”的世界,这在逻辑上本不该成立。看起来正在发生的是,企业用户支付的 API token 费用在补贴其他所有人。

Ben: 对,这就是健身房模式。只不过在这个健身房里,你可以把自己练废 20 次,一整天都在锻炼,用掉所有器械。

Armin: 我不知道如果没有订阅制,社会还会不会觉得 AI 这么令人兴奋。如果我们每年要付一百万美元,我觉得我们不会这么疯狂。这就是 Steve Yegge 在推特上聊的那个游戏项目,如果你分析他真实的 token 花费,他有 12 个订阅,他说自己每月大概要花 9 万美元。加起来,他那个游戏一年的原始 token 成本差不多是一百万美元,但他那个游戏一年根本赚不到一百万。所以那是净亏损,这些钱基本上都进了 Anthropic 的口袋。

如果没有这些巨额补贴,我们还会像现在这样对 AI 这么兴奋吗?我越来越觉得,我可能会在抽象层面感到兴奋,但只有当成本降下来才会真正落地,因为那不是几千块的事。我自己有个副业项目,做一个带 RFC 的 markdown 编辑器,我只跑了一个会话,那个会话不断压缩上下文,因为我想看看会怎样。最后那个会话花了 500 美元,它不值 500 美元。 如果强迫我为那堆垃圾付 500 美元,我绝对不会付。这就是我们现在的困境:我们感知到的价值,跟它的成本和消耗的能量成正比。未来肯定会有显著改进,但除了 DeepSeek Flash,我们似乎并没有真正取得多大进展。

Ben: 补贴已经极大地扭曲了我们集体对 AI 价值的感知。你肯定见过那些用 Fable 提示词做 Unity 或 Unreal 游戏的人,他们做出了相当不错的 3D 环境,然后说“哇,这行业完了,没人想再玩游戏了”。但现实是,他们花了 3000 美元的 token 做了一个渲染场景,现在根本没人玩,完全是画饼产品(vaporware)。我非常乐意花 70、80 美元去买 GTA 6,但让我花 20 倍、30 倍的钱去构建一个最愚蠢、最不完整的软件,这完全说不通。其中一部分是构建者自己的错觉,因为他们付的是一个虚假的价格。

Armin: 最重要的是,你付的是一个固定费率,而且是一个低利润率的固定费率服务。甚至你以五倍的价格、以公司的名义去购买,都买不到接近订阅制的东西。你不能跑到 OpenAI 说,“嘿,我每个员工付一万美元,给我一个跟 200 美元一样的订阅”,没有这种选项。

我之前提到过车载那个事,我的车里内置了 Gemini,你可以跟车对话。这玩意儿纯属摆设,完完全全毫无意义的体验。

Ben: 我倒是想看看你在车里 vibe coding 一下试试。

Armin: 问题是,你什么都干不了。因为这是一个由汽车厂商和 Google 共同付费的 LLM,所以他们对成本是有概念的。于是乎,这个体验就变成了你对那辆车的利润率所期待的水平,并没多少,然后它就变得毫无用处了。

Ben: 但你得试试那些奇怪的东西,谁知道呢,也许有人会在这儿发现 Claude Code 的潜力。

Armin: 我完全能想象这玩意儿能有多酷:车里有摄像头,有定位,于是你开车穿行在城市里,可以说“嘿,你看到那边是什么?给我讲讲”,这有实实在在能做的事。你能感觉到、能隐约尝到那么一点点“好的车载 Agent 体验”该是什么味道。但根本问题在于,如果让我按 token 价格付费,我绝不会为这东西花那么多钱。显然汽车厂商被迫接近 token 的真实成本,因为他们限制了输出的量。他们甚至没用多模态音频输入,用的是转写文本,然后扔给一个我觉得是 flash 级别的模型,配一个史上最小的 system prompt,对话很快就被截断了。

Ben: 你刚才给我点破了一个最让人沮丧的念头,我们已经知道汽车和飞机造成大量污染,这不好。而现在这些车在路上跑着 LLM,还在烧电力。

Armin: 他们还在卖涡轮机,烧 chat 的能源给数据中心供电。

为什么 AI 时代反而让终端“复活”了? 

Ben: 我还有一个话题,跟往车上硬塞 LLM 有点关系,你见过 Herdr 吗?(译者注:这是一款专为 AI 编码时代设计的轻量级‌终端多路复用器‌)

Armin: 我看过截图。我觉得它就像另一个 conductor 之类的东西,只是做分屏。

Ben: 但 conductor 不会启动终端,它启动的是 agentic 会话。Herdr 更像是 tmux,你从 shell 开始,它有一个面向编码 Agent 的 UI,侧边栏在追踪会话和 Agent 的运行状态。它会内省当前正在跑什么,然后汇报“这个 Agent 会话还在跑吗”,所以你能在左边看到一堆小转轮。我用 tmux 已经很久了,我还推广过它,在 Syntax 播客上讲过这个。我最开始做的事情之一,就是扩展 tmux 的标签页,让它显示当前跑的是哪个 Agent、是否在运行。我大概花了一小时就 vibe 出来了,又调了几次。一般你在 tmux 里开一个窗口,看到的是你跑的那条命令。而很多 Agent 编码框架的底层程序是 node 或 bun,所以你在进程列表或标签里只能看到 node 或 bun。

真正的创新在于更进一步:识别出“这不是 node,这是 Claude Code”,然后把它显示出来。

Armin: 旧的东西又变新了。它突然火了起来,这是一家 Y Combinator 投资的公司,也不知道它一两年后还在不在。

Ben: 我想说的其实不是 Herdr 本身,它才发布几个月,但这里面能提炼出几件事。我过去一年反复说过一个观点:Claude Code 是长期以来最具影响力的软件,而它是一个终端应用。现在当然有 Claude 桌面版和各种桌面端产品,但有一段时间它价值极高,而且就在终端里。Pi、OpenCode 这些终端应用也是好例子。但我当时坚信终端已经走到头了,Claude Code 只是昙花一现。结果呢?

Armin: 我太确信我们不再需要终端了。我知道 Codex 应用存在,也确实吸引了一些人。但我在 Twitter 上看到的截图,全是人们晒终端里的编码 Agent。极少看到不是终端的。我不明白为什么。虽然我也用终端,但我本来就是个怪人。为什么终端这么顽强地活了下来?

Ben: 我想强调的就是,Pi、OpenCode 这些仍然是编码 Agent,我们已经确认编码 Agent 有市场。但这是我能想到的第一次,一个相当传统的终端应用,本质上就是个多路复用器,成了拿到融资的创业公司。我们居然在给终端创业公司投钱了。

Armin: 不过你知道 Mitchell Hashimoto 也搞了一个多路复用器的创业公司吧?(译者注:指 Superlogical)

Ben: 对,但不清楚那会是个 TUI 产品,很可能不是。

Armin: 但在“什么有护城河、什么没有”这个话题上,你还记得我们很早之前讨论过 Cursor 的未来吗?现在我们知道 Cursor 的结局了,SpaceX 的收购应该这几天就会完成,我在 FT 上看到的标题是,他们正在考虑砍掉 Cursor 这个品牌。Cursor 是最初最大的编码应用,定义了整个品类的形态。

Ben: 不管怎么衡量,我们都得说这是一个压倒性的巨大成功。

Armin: 它确实很成功,定义了品类,也带来了可观的经济回报。但作为一家公司,它被马斯克的企业集团吸收吞并了。

Ben: 预测下,你觉得它会叫 Xcode 还是 Codex X?

Armin: 会叫 X Slop,我不知道。它肯定会保留 Grok 品牌,也可能就叫 X AI。我唯一好奇的是,那个动漫角色会不会出现在编码 Agent 里。

Ben: 我觉得他们犯了个错,他们应该把 Grok 改名为 Cursor,不过马斯克喜欢把自己的名字放在东西上。但你是怎么把这事跟 Cursor 联系起来的?

Armin: 我在想这个领域的赢家和输家,什么能被资本支持、能撑多久?这太诡异、太随意、太难预测了,连 Cursor 这么大这么成功的公司都可能就此消失。

Ben: 所有软件都这样,只是现在的周期比我们习惯的快得多。

Armin: 但 Cursor 其实是个极端的异类。你看上一个周期,Facebook 没有消失到雅虎里,Spotify 也没有变成沃尔玛音乐。

Ben: 但如果你说这个行业的主导者可能不是永久的……

Armin: 对,因为它被一个模型应用公司吸收了,很多这类公司似乎只有在巨头里才有未来。

Ben: 这又回到 token 经济学了。我的看法是,模型公司积累的价值太大了,它们的战争基金太充足,以至于创造了过去不可能想象的收购机会。600 亿美元私有收购 Cursor,这是什么概念。

Armin: 它们有巨大的杠杆,它们可以断你的 token。这个 AI 领域,无论从风投角度还是从普通用户角度,都是一个极其动态、高杠杆的领域,我早年的职业生涯里完全没见过这种景象。

Ben:不谈这些高层面的东西了,把 Herdr 的几个点说完。第一,我现在就在用它,它确实不错。第二,我不认为终端软件已经被充分探索了。我们为什么都在终端里待得更久了?答案很简单,因为终端是 Agent 最容易导航的、最灵活的界面。你的 Windows、Mac OS GUI,就算有 computer use 工具,也比不上 Agent 用 ffmpeg 能干的事。以前 CLI 对 99.9% 的人来说是最难用的界面、是垃圾,因为它太强大太灵活了。现在完全反转了,CLI 和终端应用成了 Agent 的主场。我知道这可以用 Agent GUI 来掩盖,但这就是我们为什么都离终端越来越近。第三,我觉得 Herdr 有 99% 的可能就是你在网上看到的那种,把现有软件稍微拧一下,加上 Agent 化的味道,就成了一款新东西。当你正好拧对了旋钮,戳中了某个需求点,就做出了极其有价值的软件。

Armin: 我不确定是不是“极其有价值”,也许 Herdr 最终会变成一笔几百万美元的收购。

Ben: 我甚至想回到汽车那个话题,因为就是那种感觉——试试看嘛。我从来没想过这件事,我明明已经在 tmux 里建好了这套流程,却从没意识到把它打包成这种 Agent 导向的配置会有价值。还有很多东西值得去尝试、值得去构建,但拜托,别再搞三栏布局了。

Armin: 别急,等 Herdr 在右边加个 diff 视图吧。

“订阅还能撑多久” 

Ben:Steve Yegge 被曝出订了一堆 AI 订阅,Theo 也公开说过自己有两个订阅,而且你注意到没有,现在越来越多人公开讨论“重置我的限额”这种事。以前可没人这么干,因为大家真的把这些额度用到了极限。我的问题是:这趟订阅的免费搭车,还能搭多久?以我的判断,可能就 12 个月。

Armin: 我不想变成 Ed Zitron 那种末日论者,但就经济账而言,这事儿确实撑不住。

Ben: 那再问你一个:MultiSub 这种多订阅聚合服务,什么时候会被关掉?我实在看不出这玩意儿怎么可持续。

Armin: 整个模式能撑多久就撑多久,因为眼下这些订阅对维持整个行业的兴奋感是必要的。在后端 token 价格降下来之前,他们没法取消订阅制,一取消,需求就崩了。 所以这纯粹取决于:市场愿意补贴这个局面多久,或者有没有人找到更便宜的方案。

Ben: 我也可以站在另一面看:Theo,我甚至可以多送你几个订阅,因为你在制造 FOMO、激发大家对我们产品的热情上做得太出色了。

Armin: 未来完全可能出现一种基于曝光度的价格歧视。

Ben: 这从来都是真的,就像送 Gucci 手袋给名人一样。

Armin: 我最近反思了一下 Twitter 的处境。我们这些人之所以愿意在 Twitter 上互动,是因为平台真的给我们钱,但大多数用户并没有这个待遇。这种经济激励在多大程度上改变了人们写推文的方式,可能被严重低估了。

我记得 Anthropic 因为开源项目送过我们六个月的 Claude 免费订阅。你完全可以规模化这套玩法:告诉创作者“你的成本是 xxx,但如果你做这些事,我们就给你钱”。就像 X 在做的那样,你得先花钱给 X,才能从 X 拿钱回来。一旦这套系统建立起来,你就有极大的灵活性去设置各种奇怪的激励结构。这很聪明,但也意味着你与每个人的每次互动,都要问一句:他这么说,是因为真心相信,还是因为有经济激励?

Ben: 我最近刚跨过了“应该发帖”的付费门槛,我打算把这笔收入的 100% 捐给开源项目。但说到扭曲的激励,我最近感触很深,Bun 那个 Jarred Sumner 的争议,三四周前闹得沸沸扬扬。 在我看来,这场风暴之所以烧得这么旺,部分原因就是流量背后的经济激励。

Armin: 就像欧洲那场关于空调的讨论一样,算法对这类话题的偏爱程度远超自然发生的水平。

Ben: 我读了那封信,也就是笑了笑,然后就放下了,但大家居然称它为“史上最具爆炸性的公开信”。我只能说,你们在软件行业待的时间还不够长,我早就习惯了被喷得体无完肤。你上过 Lobsters 吗?你回过多少 Hacker News 的评论?在 X 上的任何争议,你是拿了钱再说话的,这完全是两码事。

Armin: 我觉得 token 经济也会出现同样的情况。那些鼓吹 Agentic Engineering 的人,做培训、搞推广,免费拿大把 token,因为这对模型厂商有利,而其他人得实打实掏钱。

Ben: 没错,我们一直都有网红。但这次不一样,token 基本上就是钱,从来没有一种算力原语与钱如此直接挂钩。在这个行业里,没有订阅几乎活不下去。所以当实验室说“嘿,送你 token”,那就是在送钱。最近 YC 的 Demo Day 是不是就有这操作?Sam Altman 直接说“每个 YC 创业公司白拿一大堆 token”。你记得这事吗?

Armin: 记得,某种程度上我们以前也有云平台积分。我小时候有个电视节目,里面植入广告藏得很好,但屏幕角落会标注“产品植入”或“广告节目”之类的字样。我们作为社会,曾经一致认为“你在投放广告时必须声明”是件好事。但这些规则对网红的约束力,简直是形同虚设。就算忽略这点,还有大量的人,他投资了一堆创业公司,这个行业里很多人都这样。真正对某个东西持中立态度的人少之又少, 因为他们可能持有股份,或者拿了免费 token。作为观众,你看不出这些门道,因为披露得太少了。

Ben: 美国确实有相关法规,但这些法律现在是否还适用、是否还在执行,我不清楚。你给我现金做广告,必须披露;但我给你 token 做广告呢?这算不算现金交易?法律管不管?X 上还有版权保护吗?我不知道。

投资这件事确实是个大问题。坦白说,我投了一堆公司,包括你的 Earendil 和 OpenCode,但我几乎从没披露过,主要是因为我不想显得自己像个傻瓜,不想自称“天使投资人”,那让我觉得又羞耻又肮脏,所以我会把这份名单藏在某个地方。

Armin: 但说实话,知道某人投了某家公司,也未必能帮你判断什么。有些人通过家族办公室投资,自己都不知道投了什么;有些人只有三笔投资,每一笔都看得极重,会想尽办法让自己的投资增值。

Ben: 在我们整个职业生涯里,一个人对某件事有没有利益牵扯,其实看得很清楚。有时候,恰恰是那些“没被谈论到的东西”最能说明问题。我们怎么绕到预测上来的?本来在聊订阅和激励问题。

Armin: 对,原问题是“订阅还能撑多久”。我的判断是还能撑相当长一段时间,因为按真实价格算,现在的价值还撑不起这个价格。而接下来这个问题,其实也跟这有关:上一期我们聊过“以后还会不会在终端里写代码”,这次我们说的是 Herdr,所以大概终端还能活一阵子。但我想问的是,你觉得什么时候,你会把大部分工程工作从终端搬到云端 Agent 上?

Agent 跑在远程,看不到代码让人抓狂 

Ben: 今天我所运行的东西里,80%-90% 已经不在我的电脑上了,我的电脑越来越像一个瘦客户端(thin client)。首先,我仍然有一台 Framework 台式机在跑 Omari,我的开源项目基本都在那上面跑。我把它按不同项目组织好,每个项目开几个 pane,通常做三个 checkout,Alpha、Bravo、Charlie,三个并发的工作流并行。这不是云 Agent,但本质上是一种远程桌面、远程机器代理的工作方式,已经占据了我大量日常工作。

我试过 Claude 的托管代理,挺失望的,没法让环境按照我想要的方式工作。但有几件事发生了变化。第一,我觉得它变好了,比如 Fable 发布了,那实际上把我带到了桌面应用。第二件事是能通过手机访问它,比如用 Claude 移动端来管理云代理、检查它们的工作。我确定我也可以用 Codex 做同样的事情,甚至一年前用 Codex 那种云的东西,但当时我觉得他们的模型,怎么说呢,我就是没达到那么多成果。所以某种程度上,你对什么感到顺手,你就往哪里走。

Armin: 你已经在越来越多地这么干了,而且最终你的主要体验可能会变成“Agent 在远端”。但对我来说,“远程登录到自己的电脑”和“远程登录到完全云端的 Agent”之间是有本质区别的。

Ben: 另外,云桌面的 UI,把构建中的 artifacts 或成果物拉进来的体验,也确实变好了。

Armin: 你是只用 SSH 连你的云机器或 Omari 盒子,还是用 RDP?

Ben: 我用 Mosh,它让体验顺滑很多,但我还没做完整的远程桌面。一部分原因是,我不想说我看代码看得少了,但事实是,我现在更信任 Agent 去做测试了。我经常说:“你把这个流程完整走一遍,截图给我看,证明你真的做完了。”随着工具使用能力的提升,Claude Code 的托管 Agent,可以直接在沙箱里启动浏览器、用 Playwright 跑界面操作。四个月前我还经常开着 Cursor,遇到任务会进 IDE 里调试、往深挖。现在仍然会这样,但频率明显越来越低了。回到你几个月前做的那个预测,对我来说,情况确实变了。你呢?

Armin: 变化没有我想象的那么大。我有时候还是会 SSH 到我那台乱糟糟的云主机上。让我没有完全搬到云端的原因是我受不了 RDP 的体验,我还是想点击、想看到代码。远程看 VS Code 让我很抓狂,我又不想只看 pull request,我这个人太“手痒”了。其实还是本地为主,远程占一点但不是大头。咱们看看六个月后会不会反过来,但对我来说,应该不会。

访谈视频原链接:https://www.youtube.com/watch?v=c1L12iSM5p8