{"slug":"do-llm-synthetic-participants-work-2026","title":"LLM 合成受访者靠谱吗？一项覆盖 182 项研究的系统综述","description":"一项 2026 年对 182 项研究的系统性综述发现，LLM 合成受访者大多只是在复述训练数据。这对合成研究样本意味着什么？","keywords":"LLM 合成受访者,合成受访者,合成用户,AI 研究受访者,合成焦点小组,数字孪生受访者面板,AI 用户研究效度","date":"2026-07-08","author":"Qualitati 研究团队","category":"研究方法论","readTime":"7 分钟阅读","content":"\n<p><strong>大语言模型能替代真实的研究受访者吗？</strong>一项 2026 年对 182 项研究的系统性文献综述给出的结论是：基本不能。根据 Kuric、Demcak 和 Krajcovic（2026）的研究，LLM 生成的\"合成受访者\"与人类的拟合度仅为中等；在其最具代表性的情况下，它们往往只是在随机\"鹦鹉学舌\"式地复述训练数据，而不是再现真实的人类差异性。</p>\n\n<p><em>最后更新：2026 年 7 月 8 日</em></p>\n\n<h2>这项研究考察了什么？</h2>\n<p>该综述为 Eduard Kuric、Peter Demcak 和 Matus Krajcovic 撰写的<a href=\"https://www.researchsquare.com/article/rs-9057643/v1\" target=\"_blank\" rel=\"noopener noreferrer\">《大语言模型生成的合成受访者：系统性文献综述》</a>（Research Square 预印本，2026），通过数据库与参考文献相结合的混合检索方式和严格的质量筛选，整合了 <strong>182 项研究</strong>的发现。截至目前，它是关于用 LLM 模拟问卷填答者、访谈对象和可用性测试用户的规模最大的证据综合之一。</p>\n\n<p>作者没有停留在\"合成回答准不准\"这个狭窄的问题上，而是构建了一张概念地图，说明合成受访者<em>如何</em>偏离真实受访者，让研究者在信任 AI 生成样本之前就能推演其失效模式。</p>\n\n<h2>合成受访者的四大核心问题是什么？</h2>\n<p>根据 Kuric 等人（2026）的研究，LLM 生成受访者的问题可归为四个基本类别。理解这四类问题，是判断某个合成样本能否安全用于特定决策的最快方法。</p>\n\n<table>\n  <thead>\n    <tr><th>问题类别</th><th>含义</th><th>对研究意味着什么</th></tr>\n  </thead>\n  <tbody>\n    <tr><td><strong>认知错位</strong></td><td>LLM 的\"推理\"和决策模式与人类实际的思考和选择方式不同。</td><td>行为预测（点击、选择、权衡取舍）可能出现系统性偏差。</td></tr>\n    <tr><td><strong>失真</strong></td><td>差异性减弱、人格被扁平化、刻板印象和文化偏差。</td><td>合成样本比杂乱的真实人群看起来更均一、更\"干净\"。</td></tr>\n    <tr><td><strong>误导性的可信感</strong></td><td>输出流畅、合理，不论准确与否读起来都很可信。</td><td>可信感会给错误结论披上虚假的可靠性外衣。</td></tr>\n    <tr><td><strong>过拟合 / 数据污染</strong></td><td>输出复述的是预训练或微调数据，而不是独立的回答。</td><td>你测量的可能是模型的训练语料，而不是你的用户。</td></tr>\n  </tbody>\n</table>\n\n<h2>合成受访者的实际表现如何？</h2>\n<p>对于任何希望用其替代人类样本的人来说，核心发现都令人清醒。综述指出，尽管该领域尝试了不同的 LLM、提示工程技术以及受访者或环境建模方法，所展示出的拟合度提升仍然<strong>有限</strong>。作者写道，在最具代表性的情况下，LLM\"可能只是在随机复述其预训练或微调时所用的数据\"。</p>\n\n<p>更广泛的分析中还有两点细微之处值得注意：</p>\n<ul>\n  <li><strong>可信感不等于效度。</strong>综述提醒，当可信感让误导性输出看起来值得信赖时，它\"可能弊大于利\"。</li>\n  <li><strong>模型更大并不自动更好。</strong>证据并未显示出一条清晰的规模定律，即更大的模型能可靠地缩小与人类的差距；失效模式在各种规模的模型中持续存在。</li>\n</ul>\n\n<h2>那么研究者还应该使用合成受访者吗？</h2>\n<p>作者并不主张放弃这种方法，而是主张重新定位它。他们的建议是把合成受访者当作<strong>启发式工具</strong>：适用于早期、低风险的探索和刺激材料生成，而不是在有分量的决策中替代真实的人类证据。</p>\n\n<p>由该综述可以引出一条实用的经验法则：</p>\n<ol>\n  <li><strong>用合成输入来探索</strong>——在招募受访者之前，用它来头脑风暴问题措辞、浮现候选主题，或对访谈提纲进行压力测试。</li>\n  <li><strong>用真人来决策</strong>——凡是将驱动产品、政策或投资决策的内容，都要用真实受访者加以验证。</li>\n  <li><strong>绝不把合成输出当作人类数据来报告</strong>——数据污染和失真的风险使之成为效度隐患。</li>\n</ol>\n\n<h2>Qualitati 的定位</h2>\n<p>Qualitati 将合成研究与人类研究视为互补而非互换的关系。我们的<a href=\"https://qualitati.com/focus-group\" target=\"_blank\" rel=\"noopener noreferrer\">合成焦点小组</a>和<a href=\"https://qualitati.com/digital-twins\" target=\"_blank\" rel=\"noopener noreferrer\">数字孪生受访者面板</a>定位于探索性工作——生成假设、对概念进行压力测试、起草研究工具——而 AI 主持访谈和对话式问卷则为真正重要的决策收集真实的受访者数据。这正呼应了综述的\"启发式工具\"框架：合成受访者让你的思考更敏锐，而人类负责验证。</p>\n\n<h2>结论</h2>\n<p>这项迄今同类规模最大的综述发现，用 Kuric 等人（2026）的话说，LLM 合成受访者对人类的拟合度仍然只是\"有限的\"，存在四种反复出现的失效模式，并倾向于复述训练数据。用它们来探索，用真人来下结论。</p>\n\n<h2>常见问题</h2>\n<p><strong>什么是合成受访者？</strong><br>合成受访者是由大语言模型生成的 AI 替身，用于模拟问卷填答者、访谈对象或可用性测试用户，以代替招募真人。</p>\n\n<p><strong>LLM 能替代人类研究受访者吗？</strong><br>不能可靠替代。这项 2026 年对 182 项研究的综述发现，LLM 与人类的拟合度仅为中等，并存在四种系统性失效模式，因此建议将合成受访者视为启发式工具而非替代品。</p>\n\n<p><strong>合成受访者的主要风险有哪些？</strong><br>根据 Kuric、Demcak 和 Krajcovic（2026），主要风险包括认知错位、失真（低差异性、刻板印象）、误导性的可信感，以及来自训练数据的过拟合或数据污染。</p>\n\n<p><strong>什么情况下可以使用合成受访者？</strong><br>用于早期、低风险的探索——起草问题、生成假设、对研究设计进行压力测试——前提是最终决策要用真实的人类数据加以验证。</p>\n\n<p style=\"font-size:0.9em;color:#666;margin-top:2em;\">本文是对第三方研究的独立编辑摘要。内容反映的是所引用的预印本（尚未经过同行评审）及作者报告的发现；读者应查阅<a href=\"https://www.researchsquare.com/article/rs-9057643/v1\" target=\"_blank\" rel=\"noopener noreferrer\">原始论文</a>以了解完整细节。最后更新：2026 年 7 月 8 日。</p>\n","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}