亚马逊 AWS 将部署 Cerebras 晶圆级 AI 芯片 CS-3,与自家 Trainium 配套使用
7 小时前 / 阅读约2分钟
来源:IT之家
亚马逊AWS与晶圆级AI芯片企业Cerebras宣布,Amazon Bedrock平台将部署结合双方芯片的混合AI推理系统,结合CS-3系统和Trainium芯片,通过EFA连接,发挥各自长处,提供最佳用户体验。
感谢IT之家网友 软媒用户1238620 的线索投递!

IT之家 3 月 16 日消息,亚马逊 AWS 与晶圆级 AI 芯片企业 Cerebras 美国当地时间本月 13 日宣布,亚马逊的 Amazon Bedrock 平台在未来数月将部署结合双方芯片产品的混合 AI 推理系统,带来最快的负载处理速度。

这一解决方案将结合 Cerebras 的 CS-3 系统、亚马逊 AWS 的 Trainium 芯片和亚马逊 AWS 的 EFA 弹性网络适配器,由 Trainium 芯片负责推理的预填充(提示处理),而 CS-3 则承担解码(输出生成任务),两者通过 EFA 连接在一起。

IT之家了解到,推理预填充属于并行工作负载,要求大算力和适中的内存带宽;推理解码本质上是串行的,算力要求较小但内存带宽要求高。组合使用 Trainium 和 CS-3 能发挥两款 AI 芯片各自的长处,提供最佳的最终用户体验。