搜索
决策模型也有专用推理引擎了：StartLux 开源 Prism，单卡最高提速 5.3 倍
3 小时前
近期，两家中国AI公司先后开源了针对自家模型优化的推理系统，将优化焦点从模型本身扩展至推理系统。其中，StartLux开源的专用推理引擎StartLux-Prism，针对决策模型无需逐Token生成长文本、仅需计算有限候选选项概率的特点，实施了四项核心优化：一是仅计算候选答案的输出分数，降低输出层开销；二是将共享同一输入材料的多问题任务组织成“森林”结构，复用公共上下文计算结果；三是利用INT8 Tensor Core与INT32累加实现确定性计算，确保不同并发条件下输出概率逐位一致；四是让生成思考过程的长任务与直接输出结果的短任务共享GPU资源，避免长任务阻塞短请求。测试表明，在单张NVIDIA H200 GPU上运行StartLux-Decision v1.1 27B模型时，Prism的推理速度是原有vLLM方案的1.2至5.3倍，特定场景下加速效果尤为显著，高并发下吞吐量提升约17%。同时，量化后的模型准确率与原始精度基本一致，还支持张量并行与数据并行组合部署。针对特定模型和场景的专用推理优化，正逐渐成为AI领域的新竞争点。
