搜索
MIT携手英伟达开发TLT技术，推理大模型训练效率最高提速210%
3 小时前
麻省理工学院联合英伟达等机构发布了“驯服长尾”（TLT）技术，该技术可显著提升推理大语言模型（LLM）的训练效率。在强化学习训练中，推理大模型算力与能耗消耗大，其中“推演”阶段就占据了85%的训练时间，且不同处理器完成任务的时间差异形成了效率瓶颈。TLT方案采用“投机解码”技术，通过训练“草稿模型”来预测大模型的输出，再由大模型进行批量验证。TLT系统还引入了“自适应草稿训练器”和“自适应推演引擎”，确保草稿模型与大模型同步，且不会增加算力开销。测试结果显示，TLT技术在保持准确率的同时，将多个推理大语言模型的训练速度提升了70%到210%。训练得到的草稿模型可用于后期高效部署。未来，研究团队计划将该技术融入更多框架，以降低AI开发成本并提高能源利用率。
