搜索
张一鸣在内部会议上反对通过蒸馏手段来提升字节 AI 模型能力
4 小时前
张一鸣在字节跳动Seed团队全员大会上表示，公司不会将蒸馏技术作为提升AI模型能力的捷径，并愿意为长期目标牺牲短期收益。字节跳动是国内主要AI公司中，几乎全采用专有模型的企业，其坚持不用蒸馏技术，被外界视为大语言模型发展相对滞后原因之一。团队内部关于是否采用蒸馏技术的争论已久，国内竞品开源模型的快速发展更是加剧了这一分歧。蒸馏技术可节省训练时间和算力，使新模型直接学习前沿模型的推理步骤。
