近日,OSWorld团队推出了首个全面评估计算机使用代理产品的基准测试工具——OSWorld-MCP,旨在为开发者和用户提供真实环境下的产品能力评测服务。该工具综合衡量模型的多方面能力,涵盖了158个经过验证的MCP工具,支持七个常用应用程序,并设有25个用于鲁棒性测试的工具。此外,它还设定了250项工具适用性任务,通过多轮调用设置,有效提升了模型的准确率和效率。该项目已开源,相关详细信息可访问其官方网站和GitHub页面。OSWorld-MCP不仅为产品评估提供了有力工具,也为未来技术的发展奠定了坚实基础。
