搜索
英伟达宣布推出Groq 3 LPU推理芯片
3 天前
Rubin平台现已集成新款芯片——英伟达Groq 3 LPU，这是一款专为推理加速设计的芯片，能显著提升系统以低延迟、大批量方式处理并交付令牌的能力，从而在人工智能模型领域实现高度交互性。作为回应，英伟达计划打造包含256个Groq 3 LPU的Groq 3 LPX机架。英伟达超大规模业务副总裁Ian Buck表示，Groq LPX将作为Rubin平台的协处理器，优化“AI模型每一层在每个令牌上”的解码性能。这一举措将使Rubin平台能够支持人工智能的下一个发展阶段：多智能体系统。这些系统需在推理数万亿参数模型的同时，在数百万token的上下文窗口中保持交互性能。
