搜索
KIMI 开源发布中间件Checkpoint-Engine
2 天前
据KIMI官方消息，其已推出专为大语言模型（LLM）推理引擎设计的开源轻量级中间件Checkpoint-Engine。该中间件通过创新技术架构，在数千块GPU集群环境下约20秒内完成万亿级参数模型的权重更新，支持广播与点对点两种更新模式，并采用流水线优化技术最大化硬件利用率。其轻量级设计与灵活部署特性可降低大规模集群的资源消耗与运维成本，为企业级LLM推理部署提供标准化解决方案，项目已正式开源。
