长期以来,在线问卷调查被视为现代社会科学、公共政策研究和民意测量的重要基础工具。然而,一项最新发表于《美国国家科学院院刊》(PNAS)的研究警告称,这一被广泛依赖的方法,正在人工智能迅猛发展的背景下面临前所未有的挑战,甚至可能被彻底颠覆。
这项由美国达特茅斯学院政府系副教授 Sean J. Westwood 领导完成的研究指出,大型语言模型(Large Language Models,简称 LLMs)已经具备在几乎不被察觉的情况下,大规模“冒充人类”填写在线问卷的能力。研究认为,这种能力若被滥用,将对在线调查研究构成一种“潜在的生存性威胁”,不仅影响学术研究的可靠性,也可能波及民意调查、商业决策乃至民主政治的运行基础。
当“回答者”不再是人:AI 如何通过所有检测
在线问卷之所以能成为科研和政策研究的支柱,依赖一个看似简单却极其关键的前提:每一份有效答卷,背后都对应着一个真实的人类个体。Westwood 团队的研究,正是从动摇这一前提出发。研究人员构建了一个基于大型语言模型的“自主合成应答系统”。这一系统并非简单生成文本,而是被设计成完整的“调查参与者”:它可以理解问卷题目,依据设定的人口统计特征作答,生成前后一致、逻辑合理的回答;同时,它还能模拟人类的答题节奏和行为模式,包括阅读时间、鼠标移动轨迹等,从而避免被平台识别为自动化程序。在一系列大规模测试中,该 AI 系统被投放至真实研究中常用的在线问卷环境,接受包括注意力检测题、逻辑一致性测试以及专门用于排除机器答题的“反机器人问题”等多重筛查。结果显示,在超过 6000 次测试中,该系统的通过率高达 99.8%。换言之,现有主流在线调查平台几乎无法区分这些 AI 生成的答卷与真实人类答卷。研究团队指出,更令人警惕的是,这些 AI 答案在统计分布和内容特征上,与人类样本高度相似。无论是态度题、价值判断,还是较为复杂的开放式问题,AI 都能给出看似“自然”“有个性”的回答,甚至呈现出与不同社会背景相匹配的差异性。这意味着,传统依赖数据清洗和异常检测的控制手段,在AI面前正在迅速失效。
从学术研究到民意调查:被操纵的风险在放大
这项研究之所以引发广泛关注,并不只是因为它揭示了一种新的技术能力,更在于它所指向的现实风险。在线问卷早已超出学术研究的范畴,被广泛用于民意调查、公共政策评估、市场分析等关键领域。一旦这些数据被系统性污染,其后果将远不止论文结论失真。研究模拟发现,在一些竞争激烈、差距本就微小的民调场景中,仅需极少量的 AI 答卷混入样本,就可能改变整体结果。例如,在研究所选取的多项全国性政治调查中,加入几十份具有明确倾向性的 AI 答案,便足以让调查结果发生方向性变化。由于这些 AI 答卷在统计上“表现良好”,研究者几乎没有可靠手段将其剔除。
更值得警惕的是,这类技术并不需要高昂成本或顶级算力。研究指出,具备一定技术能力的个人或组织,就可能利用现有语言模型批量生成调查样本。如果这种行为被用于政治宣传、舆论操纵或商业竞争,在线调查将不再只是“不准确”,而是可能成为被刻意操纵的工具。
在学术领域,这种风险同样严峻。心理学、社会学、政治学等学科近年来高度依赖在线样本,部分领域甚至已将其视为默认方法。一旦研究者无法确认样本是否来自真实人类,整个实证研究体系的可信度都将受到冲击。
AI 时代的数据信任危机与方法论反思
Westwood 在论文中指出,这项研究的目的并非否定在线调查的历史价值,而是提醒学界与社会:支撑这一方法的技术与社会环境已经发生根本变化。过去几十年中,研究者默认“机器无法像人一样回答复杂问题”,但这一假设如今已经不再成立。多位研究方法与数据科学领域的学者认为,这一发现迫使人们重新思考数据真实性与研究信任的问题。如果无法区分“谁在回答”,那么再精巧的统计分析也可能建立在不稳固的基础之上。单纯依靠更复杂的检测题,或更严格的逻辑筛查,可能已不足以应对这一挑战。研究同时呼吁,未来的解决方案需要跨越技术与社会科学的边界。例如,引入基于行为特征或生物识别的新型验证机制,重构调查设计逻辑,甚至在某些高风险领域重新回到成本更高、但真实性更强的调查方式。同时,围绕 AI 生成数据的伦理与监管问题,也亟需公共层面的讨论与规范。
在人工智能深度介入社会运行的当下,这项发表于 PNAS 的研究提出了一个不容回避的问题:当“看起来像人”的回答,已经不一定来自人类,我们该如何继续信任数据、理解社会,并据此做出决策?这一问题的答案,或将深刻影响未来科研和公共治理的运行方式。
参考文献:S.J. Westwood, The potential existential threat of large language models to online survey research, Proc. Natl. Acad. Sci. U.S.A. 122 (47) e2518075122, https://doi.org/10.1073/pnas.2518075122 (2025).
