搜索
摩尔线程开源 vLLM-MUSA，通过 MUSA 软件栈对 CUDA 接口兼容
2024-11-06
摩尔线程公司宣布，已推出大语言模型高速推理框架vLLM的MUSA移植版，并附上基于其全功能GPU的开源MUSA移植范例。vLLM是一个高效易用的大语言模型推理和服务框架，现通过MUSA软件栈兼容CUDA接口，提高应用移植效率，加速开发进程。开发者可利用摩尔线程GPU和vLLM-MUSA进行进一步开发和升级。
