搜索
重大技术突破！传OpenAI提升技术助推理成本砍半，GPU用量骤降至数百颗
2 天前
知情人士透露，OpenAI本月早些时候展示了一项重大技术突破：通过全新优化方案，成功将模型推理成本削减超50%，同时大幅提升算力效率。该方案已应用于无账号访客的ChatGPT场景，所需GPU数量大幅下降。具体技术细节尚未公开，但可能涉及量化压缩、键值缓存、批量处理及轻量化模型分流等优化手段。
