搜索
LeCun团队开源首个代码世界模型：能生成代码还能自测自修
4 天前
Meta FAIR推出的代码世界模型CWM，是一个拥有320亿参数、上下文长度达131k token的密集语言模型，专为代码生成与推理设计。作为全球首个将世界模型系统性引入代码生成的语言模型，CWM通过沙箱环境模拟代码执行过程，预测代码运行后果，显著减少潜在错误并提升调试效率。该模型采用64层decoder-only Transformer架构，支持长上下文输入，并在通用编程与数学任务中展现出强大性能。目前，Meta已开放模型在中间训练、SFT和RL阶段的检查点，供研究人员使用。
