近日,EXO实验室展示了其最新成果:通过将两台NVIDIA DGX Spark与一台搭载M3 Ultra芯片的Mac Studio组合,在AI大语言模型推理测试中实现了相较单独使用Mac Studio提升2.8倍的整体性能。该方案基于EXO实验室开发的开源框架EXO,通过自动分配工作负载,使不同设备构成类似WiFi Mesh网络的“AI Mesh”架构,实现算力整合。实验中,DGX Spark负责计算密集型的预填充任务,而M3 Ultra则处理带宽敏感的解码任务,通过实时传输KV缓存实现并行处理。在Meta Llama-3.1 8B模型的基准测试中,这一混合架构显著提升了系统吞吐效率。目前,EXO 1.0版本仍处于早期实验阶段,尚未公开发布。
