搜索
英伟达展示 DSX MaxLPS 技术，AI 工厂每兆瓦 token 吞吐量最高提升 40%
1 天前
在AI基础设施峰会上，英伟达展示了其专为AI工厂设计的DSX MaxLPS功耗调度系统。该系统能够显著提升能效，使每兆瓦的token吞吐量最高提升40%。目前，该技术已被Emerald AI集成到其Conductor平台中。其中，DSX Flex功能可根据电网状态动态调整数据中心的用电需求，已成功接收200次电网状态信号，且全程无需用户干预。经过Lambda测试，该功能在固定功率预算下，实现了token吞吐量24%的提升。此外，英伟达还透露，Vera Rubin和Groq 3 LPX机架在相同站点功耗范围内，GPU数量最多可增加40%，token吞吐量最多可提升35%。特别地，Groq 3 LPX在特定工作负载下，达到了每位用户每秒2529个输出token的惊人性能。多家企业对Vera CPU进行了测试，结果显示，其在性能、吞吐量、查询任务吞吐量等方面均有大幅提升。同时，不同企业的测试还发现，该CPU在安全沙箱启动速度、编排步骤延迟、整体延迟以及分析查询性能等方面也实现了显著优化。
