研究方法论

LLM 合成受访者靠谱吗?一项覆盖 182 项研究的系统综述

Qualitati 研究团队

2026-07-08

7 分钟阅读


大语言模型能替代真实的研究受访者吗?一项 2026 年对 182 项研究的系统性文献综述给出的结论是:基本不能。根据 Kuric、Demcak 和 Krajcovic(2026)的研究,LLM 生成的"合成受访者"与人类的拟合度仅为中等;在其最具代表性的情况下,它们往往只是在随机"鹦鹉学舌"式地复述训练数据,而不是再现真实的人类差异性。

最后更新:2026 年 7 月 8 日

这项研究考察了什么?

该综述为 Eduard Kuric、Peter Demcak 和 Matus Krajcovic 撰写的《大语言模型生成的合成受访者:系统性文献综述》(Research Square 预印本,2026),通过数据库与参考文献相结合的混合检索方式和严格的质量筛选,整合了 182 项研究的发现。截至目前,它是关于用 LLM 模拟问卷填答者、访谈对象和可用性测试用户的规模最大的证据综合之一。

作者没有停留在"合成回答准不准"这个狭窄的问题上,而是构建了一张概念地图,说明合成受访者如何偏离真实受访者,让研究者在信任 AI 生成样本之前就能推演其失效模式。

合成受访者的四大核心问题是什么?

根据 Kuric 等人(2026)的研究,LLM 生成受访者的问题可归为四个基本类别。理解这四类问题,是判断某个合成样本能否安全用于特定决策的最快方法。

问题类别含义对研究意味着什么
认知错位LLM 的"推理"和决策模式与人类实际的思考和选择方式不同。行为预测(点击、选择、权衡取舍)可能出现系统性偏差。
失真差异性减弱、人格被扁平化、刻板印象和文化偏差。合成样本比杂乱的真实人群看起来更均一、更"干净"。
误导性的可信感输出流畅、合理,不论准确与否读起来都很可信。可信感会给错误结论披上虚假的可靠性外衣。
过拟合 / 数据污染输出复述的是预训练或微调数据,而不是独立的回答。你测量的可能是模型的训练语料,而不是你的用户。

合成受访者的实际表现如何?

对于任何希望用其替代人类样本的人来说,核心发现都令人清醒。综述指出,尽管该领域尝试了不同的 LLM、提示工程技术以及受访者或环境建模方法,所展示出的拟合度提升仍然有限。作者写道,在最具代表性的情况下,LLM"可能只是在随机复述其预训练或微调时所用的数据"。

更广泛的分析中还有两点细微之处值得注意:

  • 可信感不等于效度。综述提醒,当可信感让误导性输出看起来值得信赖时,它"可能弊大于利"。
  • 模型更大并不自动更好。证据并未显示出一条清晰的规模定律,即更大的模型能可靠地缩小与人类的差距;失效模式在各种规模的模型中持续存在。

那么研究者还应该使用合成受访者吗?

作者并不主张放弃这种方法,而是主张重新定位它。他们的建议是把合成受访者当作启发式工具:适用于早期、低风险的探索和刺激材料生成,而不是在有分量的决策中替代真实的人类证据。

由该综述可以引出一条实用的经验法则:

  1. 用合成输入来探索——在招募受访者之前,用它来头脑风暴问题措辞、浮现候选主题,或对访谈提纲进行压力测试。
  2. 用真人来决策——凡是将驱动产品、政策或投资决策的内容,都要用真实受访者加以验证。
  3. 绝不把合成输出当作人类数据来报告——数据污染和失真的风险使之成为效度隐患。

Qualitati 的定位

Qualitati 将合成研究与人类研究视为互补而非互换的关系。我们的合成焦点小组和数字孪生受访者面板定位于探索性工作——生成假设、对概念进行压力测试、起草研究工具——而 AI 主持访谈和对话式问卷则为真正重要的决策收集真实的受访者数据。这正呼应了综述的"启发式工具"框架:合成受访者让你的思考更敏锐,而人类负责验证。

结论

这项迄今同类规模最大的综述发现,用 Kuric 等人(2026)的话说,LLM 合成受访者对人类的拟合度仍然只是"有限的",存在四种反复出现的失效模式,并倾向于复述训练数据。用它们来探索,用真人来下结论。

常见问题

什么是合成受访者?
合成受访者是由大语言模型生成的 AI 替身,用于模拟问卷填答者、访谈对象或可用性测试用户,以代替招募真人。

LLM 能替代人类研究受访者吗?
不能可靠替代。这项 2026 年对 182 项研究的综述发现,LLM 与人类的拟合度仅为中等,并存在四种系统性失效模式,因此建议将合成受访者视为启发式工具而非替代品。

合成受访者的主要风险有哪些?
根据 Kuric、Demcak 和 Krajcovic(2026),主要风险包括认知错位、失真(低差异性、刻板印象)、误导性的可信感,以及来自训练数据的过拟合或数据污染。

什么情况下可以使用合成受访者?
用于早期、低风险的探索——起草问题、生成假设、对研究设计进行压力测试——前提是最终决策要用真实的人类数据加以验证。

本文是对第三方研究的独立编辑摘要。内容反映的是所引用的预印本(尚未经过同行评审)及作者报告的发现;读者应查阅原始论文以了解完整细节。最后更新:2026 年 7 月 8 日。


免费试用 Qualitati

立即开始 AI 辅助定性研究,无需信用卡。

免费开始
相关文章