达特茅斯学院开发新型 AI 工具:可伪装人类完成问卷,还能破解 99.8% 检测
8 小时前 / 阅读约3分钟
来源:IT之家
达特茅斯学院研究称,大语言模型对在线调查构成严重威胁。AI工具“自主合成应答者”可绕过检测,模拟人类行为,生成虚假回答,成本低廉,影响调查结果。研究建议加强身份验证,提高数据收集透明度。

IT之家 11 月 24 日消息,据 404 Media 报道,达特茅斯学院政府学副教授、极化研究实验室负责人肖恩・韦斯特伍德日前在《美国国家科学院院刊》(PNAS)上发表的一项新研究指出,在线调查研究作为许多科学研究中数据收集的基础方法,正面临着大语言模型带来的严重威胁

韦斯特伍德开发了一款名为“自主合成应答者”的 AI 工具,能够回答调查问题,并展示了几乎完美地绕过现有最先进的机器人检测方法的能力。

论文指出,这款 AI 智能体成功避开检测的概率高达 99.8%。韦斯特伍德在新闻稿中表示:“我们再也不能确信调查的答复来自真正的人类了。机器人污染的数据可能会破坏整个知识体系。”

这款 AI 智能体还成功规避了“反向禁忌”问题。“反向禁忌”通过设计任务来识别非人类行为者,大模型能轻松完成这些任务,人类则几乎不可能完成。

论文《大语言模型对在线调查研究的潜在生存威胁》指出:一旦推理引擎选定了回答,第一层就会执行专注于模仿人类的相应行动。为了躲避自动化检测,其模拟了与该个体教育水平相符的阅读时间,生成类似人类的鼠标移动,逐字输入开放式问题的答案,并包括合理的打字错误和更正。该系统还设计了 reCAPTCHA 等绕过反机器人措施的工具,而这通常是自动化系统的一个障碍。

论文还表示,AI 可以模拟“完整的人口统计特征”,意味着理论上任何人都可以通过生成特定人口特征的 AI 干预,操控在线调查的结果,而且甚至仅仅几个虚假回答就足以影响调查的结果

论文提到,在 2024 年大选前的七大主要民意调查中,仅需加入 10 到 52 个虚假 AI 回答,就足以改变预测结果。这些虚假回答的生成成本非常低,每个仅需五美分,而人类受访者通常获得 1.50 美元(IT之家注:现汇率约合 10.7 元人民币)的酬劳。

论文使用 OpenAI 的 o4-mini 进行测试,也使用了 DeepSeek R1、Mistral Large、Claude 3.7 Sonnet、Grok3、Gemini 2.5 Preview 等其他模型,证明该方法适用于不同的大模型。该智能体通过接收约 500 字的提示,了解要模仿的个性,并按人类的方式回答问题

论文指出,研究人员可以通过多种方式应对 AI 智能体污染调查数据的威胁,但每种方式都有权衡。例如,研究人员可以对调查参与者进行更多的身份验证,但随之而来的就是隐私问题。论文还建议,研究人员应更加透明地说明调查数据的收集方式,并考虑采用更受控的参与者招募方法,如基于地址的抽样或选民文件。

论文总结说,确保民意调查和社会科学研究持续有效,需要探索并创新出应对快速发展的 AI 时代挑战的研究设计。