刚刚,这样一个消息在 Reddit 上引发热议:硅谷似乎正在从昂贵的闭源模型转向更便宜的开放源替代方案。
被称为“SPAC 之王”的知名美国企业家和投资人 Chamath Palihapitiya 公开表示,其团队是 Bedrock 的前 20 大用户,但现在已将大量工作负载迁移至 Groq 平台上的中国模型 Kimi K2,因为该模型的性能显著更优,且比 OpenAI 和 Anthropic 都要便宜得多。
Kimi K2 是由月之暗面团队开发的混合专家(MoE)大型语言模型,总参数量达 1 万亿,激活参数量为 320 亿。此前,知名云端开发平台 Vercel、AI 编码助手 Cline 和 Cursor、Perplexity 和 GensparkAI 应用也都接连宣布接入 Kimi K2 模型。
“最终决定切换到开源模型,核心就是成本考量。”Palihapitiya 透露,其使用的编程工具仍然通过 Anthropic 的系统运行,Anthropic 的技术很棒但成本太高。而 DeepSeek 模型一推出就便宜很多,但要切换过去得花费几周甚至几个月时间。“AI 模型迭代这么快,要突然把所有提示词切换到不同的大语言模型上并不容易,因为这些模型需要经过微调与工程适配,才能在同一个系统里正常工作。”
在谈及模型所有权及风险问题时,Palihapitiya 介绍,Groq 接入中国模型的做法是:拿到这些模型的源代码,进行部署、分支开发,最终把模型部署在美国本土,由美国人在美本土的数据中心里操作。服务模式上,由于 Groq 是把开源模型部署在自有基础设施上,他们通过开放的 API 就能实现 “token 进、token 出”。
有网友将此举称为“疯狂的举动”,还有人评价道,“真正的结构性转变”,“打赌 OpenAI 没有预见到这种情况的到来”,“性能和成本正在改写 AI 堆栈游戏!”
不过,也有网友认为,“Palihapitiya 持有 Groq 公司相当多的股份,他之所以推动这件事,不过是为了给自家投资站台罢了。”
而该消息最早出自 Palihapitiya 近期参与的一档播客节目,当时的对话嘉宾还包括白宫首位人工智能主管、前 PayPal 首席运营官 David O. Sacks 以及企业家 David Freeberg、知名天使投资人 Jason Calacanis。节目中,他们还探讨了 DeepSeek 等这类中国优秀开源 AI 模型给美国 AI 产业带来的压力和困境。
以下为对话内容,InfoQ 在不改变原意的基础上进行了编辑和删减:
Jason Calacanis: 中国大语言模型公司 DeepSeek 发布了新开源的 DeepSeek 3.2 EXP 模型,这款新模型给美国 AI 行业带来了压力。该模型速度更快、成本更低,还搭载了一项名为 DSA(DeepSeek 稀疏注意力机制)的新功能,能加快大型任务的训练与推理速度。最关键的是,它能将 API 成本降低高达 50%。新模型的收费标准为:每百万次输入 28 美分,每百万次输出 42 美分。而 Anthropic 公司的主流模型 Claude(很多开发者和初创公司都在使用),同类服务收费约 3.15 美元,价格是 DeepSeek 新模型的 10 到 35 倍。显然,现在各家都在快速降价。
另外要说明的是,这个模型是开源的,大家要清楚,它已经可以在亚马逊云科技和 GCP(谷歌云)上使用了,至少 3.1 版本是这样。我不知道 3.2 版本现在是否也能在这些平台上用,但我从很多初创公司那里听说,他们正在测试、试用这个模型,有些甚至已经投入使用,原因就是它太便宜了。
Kimi 模型是由月之暗面开发的,这是该领域另一家中国初创公司。
David Freeberg: 我认为当前 AI 领域正在进行全面的架构重构,而且从成本和能耗角度看,我们还处于 “每 token 成本优化” 的初期阶段。据我了解,美国的实验室目前也在推进类似方向的研究,预计会取得相近的成果。或许中国在这方面稍占先机,但我们更该关注整个技术发展的趋势。我在想,如果未来几个月内,这些架构革新真能让成本和能耗降低 10 倍、100 倍、1000 倍甚至 1 万倍,那从模型的能耗需求和每 token 成本来看,会带来怎样的影响?
Chamath Palihapitiya: 我们是 Bedrock(亚马逊云科技 AI 服务平台)的前 20 大用户,所以我来跟大家说说实际情况。我们已经将大量工作负载转移到了 Groq 平台上的 Kimi K2 模型,因为它的性能确实强得多,而且说实话,比 OpenAI 和 Anthropic 的模型便宜太多了。但问题在于,我们使用的编程工具必须通过 Anthropic 的系统运行,Anthropic 的技术确实很棒,但成本实在太高。
现在的难题是,AI 模型迭代这么快、互相追赶,要突然把所有提示词切换到不同的大语言模型上并不容易,因为这些模型需要经过微调与工程适配,才能在同一个系统里正常工作。比如,我们为了优化 Kimi 或 Anthropic 模型的代码生成(codegen)或反向传播(back propagation)效果所做的调整,没法直接切换到 DeepSeek 模型上。即便 DeepSeek 模型一推出就便宜很多,要完成切换也需要几周甚至几个月时间。所以这就像一场复杂的 “博弈”,作为用户,我们一直很纠结:是该直接切换,承受过程中的麻烦?还是等着其他模型迎头赶上?
但说实话,目前还没法让切换变得简单。周末有一家拥有大型模型的公司来找我们,提前展示了他们的下一代模型。模型本身确实很出色,但周一早上我和团队开会时就懵了:“我们该怎么办?” 完全没头绪。是放弃现有方案?还是转而投入资源,把所有工作负载重构后迁移到新模型上?这是个非常棘手的问题,而且我们处理的任务越复杂,这个问题就越难解决。
David O. Sacks: 我觉得开源这个话题其实非常有意思。我本人很支持开源软件,因为它在某种程度上能制衡大型科技公司的权力。回顾科技史,我们会发现,很多重要的技术领域最终都会被一两家科技巨头垄断,它们掌握着绝对的权力和控制权。而开源提供了另一条路径,对吧?开源开发者社区会把技术成果公开,任何人都能拿过来在自己的硬件上运行,不再依赖巨头。 可以说,这是一条通往 “软件自由” 的道路。从这一点来看,开源是很好的。
但现在的问题在于,如今所有领先的开源大模型都来自中国。中国在开源领域的投入力度非常大,比如 DeepSeek 就是首个主流的中国开源大模型,Kimi 也是,还有阿里巴巴的通义千问 Qwen。所以如果希望美国在 AI 竞赛中获胜,我们其实都很矛盾:一方面,有开源方案能替代闭源的专有模型,这是好事;但另一方面,这些优秀的开源模型全来自中国。当然,美国也有一些重要的尝试,比如 Meta 就为 Llama 模型投入了数十亿美元。但 Llama 4 模型发布后,很多人都觉得不尽如人意。而且有消息称,Meta 可能会放弃开源,转向纯闭源的专有模式。OpenAI 也发布过开源模型,但性能远不及他们的前沿模型。
也有一些初创公司在做尝试。比如有家叫 Reflection 的公司,前景看起来不错,他们正在开发一款美国本土的开源模型。但目前来看,在 AI 领域,开源模型可能是美国唯一落后于中国的板块。至于技术栈的其他所有环节,闭源模型、芯片设计、芯片制造、半导体制造设备,乃至数据中心 ,我认为美国都是领先的。但开源这一个领域,确实有点让人担忧。
Jason Calacanis: 有两点值得一提。第一,OpenAI 名字里的 “Open”(开放),原本意味着要做开源,现在想来还挺讽刺的。第二,苹果目前在 AI 领域落后于所有同行,却推出了一款很有意思的开源模型。所以规律似乎是:落后的时候就搞开源,比如现在的苹果,还有之前的中国;领先了就关起门来,比如后来凭借 ChatGPT 占据优势的 OpenAI。对了,我跟你说过苹果的 Open ELM 吗?是苹果的 “高效语言模型”(Efficient Language Models),这个模型值得关注。
Chamath Palihapitiya: 我能告诉你什么会让开源与闭源的竞争更激烈:本质上,这已经成了美国和中国的对抗。美国走闭源路线,中国走开源路线,至少在具备规模效应、能实际落地的模型上是这样。
David O. Sacks: 但其实不一定非要这样,对吧?因为美国也可以推出开源模型。
Chamath Palihapitiya: 没错,你说得对。我只是想说,就当下的实际情况来看,高性能闭源模型都是美国的,高性能开源模型都是中国的。那接下来会面临什么问题呢?Freeberg 之前提到过,就是生成输出 token 的能耗和成本。昨天我和一位大型能源企业的负责人聊过,情况不太乐观。这位能源 CEO 跟我说:“未来五年的趋势基本定了。如果找不到有效的解决方案,电价未来五年肯定会翻倍。” 现在你想想,消费者会怎么看待 AI 的使用?像我们这样的公司,为了尽量降低下游成本,都在找最便宜的模型用。
但很快,成本问题会变成能耗问题,事情会变得很复杂。而且,他还提到,这对科技巨头来说也是个巨大的公关危机。本来大家对科技巨头的印象就不好,要是再把电价翻倍的锅扣到它们头上,说 “就是这些公司让我五年内电费涨了一倍”,那它们就麻烦了。必须赶紧找条出路,不然形象会一落千丈。电费翻倍甚至可能让人们丢了工作,对吧?确实太糟了。不管事实是不是这样,大家都会这么想。
他提出了两个解决方向,我觉得值得考虑。第一个是 “交叉补贴”,简单说就是让科技公司按更高的费率缴纳电费, 以它们的现金流完全承担得起, 而且这个费率要明显高于当地其他用户。这样一来,普通家庭的电费能保持稳定甚至下降,数据中心的电费则提高,由 Meta、谷歌、苹果、亚马逊云科技这些手握数千亿现金流的巨头来承担。第二个办法是建立一套机制,在数据中心周边的每户家庭都安装电池之类的储能设备。这样这些家庭就能更好地应对电价上涨,不用多花钱。
Chamath Palihapitiya: 对,没错。我之前一直在说,选择开源模型的经济逻辑更合理, 毕竟我既付不起 3 美元一个输出 token 的费用,也承担不起后续的其他成本。
David O. Sacks: 能不能解释下你们在用 Kimi 这类模型的时候,具体是怎么运作的?因为我觉得很多人对 “开源模型” 的理解有误区。不少人觉得,中国公司发布的模型,就算公开了,所有权还是属于他们。但事实不是这样的。一旦模型发布,所有权就不再归他们了,任何人都能获取代码使用。而且你不用在中文云上运行,数据也不会传回中国,而是把模型拿到自己的基础设施上运行。你能详细说说这个过程吗?
Chamath Palihapitiya:我刚开始做 8090 公司的时候,唯一的选择是 Bedrock, 那是亚马逊云科技提供的一项服务,简单说就是 “推理即服务”。当时我们开发产品需要用到推理功能、需要推理 token,所有需求都是 Bedrock 来承接的。它有点像 AI 领域的亚马逊云科技,专门做 AI 垂直领域的支持。他们有自己的服务器,都放在美国的数据中心里,由美国人管理。他们会筛选一批模型,确保能支持这些模型的使用。我们最初就是这么起步的。但和所有业务一样,我们得控制成本、优化运营模式,所以一直在找亚马逊云科技之外的其他模型和服务方来满足需求。 说实话,亚马逊云科技的收费太高了。
后来我参与孵化了另一家公司,叫 Groq。他们有自己的云平台,一开始是和 Llama 合作,后来又和 OpenAI 合作,把后者的开源模型接入平台。除此之外,他们还接入了几款中国的模型。他们的做法是:拿到这些模型的源代码,进行部署、分支开发(反复分支优化),最终把模型部署在美国本土,由美国人在美本土的数据中心里操作。简单说,中国提供的相当于 “施工蓝图”(技术路线图和架构方案),而我们美国公司负责 “盖房子”(落地部署),然后推出服务。
所以我们最终决定切换到开源模型,核心就是成本考量,它确实便宜太多了。而且 Groq 对我们这种应用公司(8090)来说,就像第二个亚马逊云科技。他们会提供 API 接口,和 OpenAI、ChatGPT 这类闭源模型的模式一样:你提交提示词,他们返回结果,本质就是 “token 进、token 出”。不同的是,Groq 是把开源模型部署在自己的基础设施上,再把 API 开放给我们,我们通过他们的 API 实现 “token 进、token 出”。对我这种用户来说,选哪个平台根本不用想别的, 纯看价格,哪里便宜选哪里。这和上一代互联网的逻辑没区别:以前用亚马逊云科技,后来会对比 GCP、Azure,问 “哪家更便宜”。因为说到底,你只是要个数据库服务,或者 Snowflake 这类工具,不管服务来自哪里,选最便宜的供应商就行。
David O. Sacks:首先,就像你说的,只要懂技术,自己搭基础设施运行模型会更便宜。其次,企业也喜欢用,因为可定制性强,以后肯定会有大量针对特定场景的开源模型微调,这是毫无疑问的。而且企业通常想把模型部署在自己的数据中心,因为这样能把自家数据留在自己的基础设施里,更安全。但现在的问题来了:这些模型经过分支开发后,已经不再是 “中国模型” 了。这些模型现在由美国公司运营,但源头是中国,而且它们可能会用于一些关键基础设施, 这就带来了问题。Groq 是怎么测试这些模型是否安全、是否存在后门的?他们是怎么考虑这个风险的?
Chamath Palihapitiya: 他们有一套完整的流程来处理这个问题,但具体细节我不清楚,因为我没问过他们具体做了哪些测试。
David O. Sacks: 很多人觉得,运行中国模型就一定会把数据传回中国,但只要你在自己的基础设施上运行,就不会有这个问题。我觉得真正的担忧更多是理论层面的:中国模型会不会预先植入后门、漏洞或可被利用的缺陷?
Chamath Palihapitiya: 嗯,如果你用的是(模型的)编译版本,那确实有可能,但如果是拿开源代码自己部署,就不会有这个问题。要是有人真的发现了漏洞,肯定会很快在社区里广泛分享。现在,所有大型安全公司、云服务商和主流模型开发商都在想方设法证明其他公司的模型更差、有缺陷。这种竞争循环其实很有价值,最顶尖的计算机科学家都在盯着这件事。
就在昨天,我和一个意大利人聊过,他是某家模型公司的首席安全专家,负责安全业务。他们会测试所有内容,就是为了找出漏洞,因为这样能拖慢竞争对手的进度。这让我挺乐观的,目前这些模型还没出现任何问题,说明大家到目前为止都还算负责任。
David O. Sacks: 说到底,AI 首先是一款消费产品,会越来越普及。所以问题就来了:既然如此,我们该如何应对它带来的国家安全风险?但几年前,政策制定者认为 “可以阻止 AI 发展,只让两三家公司掌控”,这种想法即便现在看来也很荒唐。他们当时的思路太集中化了,但现在事实很清楚:不管有些政策制定者怎么想,AI 已经高度去中心化了。美国有五家主流闭源模型公司,中国有八款主流模型,还有无数初创公司在入局。未来的 AI 会高度去中心化、垂直化,而且绝大多数 AI 应用都是无害的,无非是商业解决方案、消费产品、热门视频之类的,根本谈不上 “核武器” 那种威胁。
参考链接:
https://www.youtube.com/watch?v=ddAwgZ6ietc&t=2704s
https://www.reddit.com/r/LocalLLaMA/comments/1ohdl9q/silicon_valley_is_migrating_from_expensive/
