
(图片来源: AWS)
亚马逊网络服务公司(Amazon Web Services,简称AWS)正加强对工程师使用EC2实例的内部管理。据《The Information》报道,今年5月,AWS与工程师团队召开会议,要求他们减少CPU资源的浪费,以确保AWS拥有足够的CPU计算容量来满足客户需求。这一举措的背景是,数据中心对CPU的需求愈发旺盛,GPU与CPU的比例正从传统的八比一或四比一逐渐趋向平衡。
(图片来源: Tom's Hardware)
EC2实例作为现代互联网的重要组成部分,同时也被广泛应用于私人部署场景。传统上,AWS工程师可以自主启动实例进行开发工作,利用网络基础设施中相对较低的CPU利用率来运行更多的虚拟机。然而,现在工程师们反映,他们需要等待数天才能获得实例访问权限,而以往这一过程仅需数小时。一位工程师向《The Information》透露,即使在亚马逊工作多年,也从未遇到过如此长时间的等待。
亚马逊在EC2实例中部署了多种类型的CPU,包括AMD和英特尔的产品,以及其相对较新的Graviton5芯片。Graviton5是亚马逊迄今为止性能最强的CPU,它采用了基于Arm的架构,与英伟达的Vera CPU和Arm自家的AGI有异曲同工之妙。
AI智能体的兴起是推动CPU需求增长的关键因素,这是一种全新的生产力模式,即便是亚马逊这样的大型企业也在积极应对。例如,上个月,一个编码智能体在亚马逊内部消耗了高达180万美元的代币成本,超出了开发预算的860%。
当前,许多AI基础设施都是围绕推理任务设计的,这是一种由GPU加速的工作负载。在以往四比一的比例下,CPU仅负责为GPU提供数据。然而,智能体工作负载的复杂性远超以往,它们通常需要在CPU上运行工具调用,并对GPU上的推理任务进行更为复杂的编排。这正是CPU在智能体时代成为核心要素的原因。英特尔、AMD等公司均表示,正如我们过去几个月从内存和存储公司那里所了解到的,CPU的需求极为旺盛,大多数公司都会抓住一切机会获取CPU资源。
主要行业参与者正积极利用这一市场机遇。AMD最近发布了其面向数据中心的Zen 6“威尼斯”CPU系列,这是AMD几十年来首次在客户端市场之前在数据中心领域推出新架构。英伟达也将其宣传重点从加速器转向了其全新的Vera CPU,试图在不断扩大的智能体AI基础设施市场中占据有利地位。
尽管亚马逊正在努力解决内部工程师和外部客户的CPU容量问题,但《The Information》报道称,短缺问题主要出现在竞价实例方面。一位顾问向该媒体表示,合同容量并未出现任何短缺情况。
在谷歌新闻上关注Tom's Hardware,或将我们添加为首选新闻来源,以便在我们的新闻推送中获取最新资讯、深度分析和专业评论。
