视频生成也能查资料、做模拟:8B 智能体学会自主调用工具
4 小时前

研究团队基于Qwen3-VL-8B-Instruct模型,开发了VideoGen-Agent多模态智能体。该智能体能够自主调用检索、生成、验证等工具,以完成视频生成任务。它先通过监督微调获得工具使用能力,再利用多任务强化学习优化决策。在自研的VABench基准测试中,该智能体在Toolset 1配置下得分为75.6,比基础视频生成器高出19.1分。升级生成工具后,得分提升至86.1,且无需重新训练智能体策略。在人类评估中,84.3%的受访者更偏好其生成的视频。此外,该智能体还能自主组合工具处理未接触过的复合生成需求,并可扩展接入新工具链,以适应机器人操作视频生成等场景。其通过在生成前补全缺失信息的决策模式,有效提升了复杂要求下的视频生成质量。