搜索
月之暗面开源 Checkpoint Engine 中间件，实现万亿参数模型 20 秒热更新
2 天前
中国人工智能企业月之暗面（MoonshotAI）发布了专为LLM推理引擎设计的开源中间件Checkpoint Engine。该中间件具备模型权重原地热更新技术，适用于强化学习场景。它能在20秒内完成1万亿参数的Kimi-K2模型权重同步，支持数千个GPU并行操作。Checkpoint Engine与vLLM框架深度耦合，采用Apache 2.0协议开源，可扩展兼容SGLang等框架，能有效提升运算效率并缩短研发周期。
