合成受访者（synthetic users）指的是：给 LLM 输入一份人口统计画像，让它像真人一样回答问题。2026 年 7 月的一项跨领域基准研究用真实问卷数据测试了四个模型，发现两类到处重复出现的失败：在个体层面，没有任何模型能胜过一个简单的统计基线；而且所有模型都把人口统计特征当成了远比现实中更强的态度预测因子。
\n\n研究把同一套协议，跑在两批相互独立的真实人类作答数据上。根据 Chen、Zhu 和 Zheng（2026）的报告，该基准对四个 LLM 使用了统一的问卷模拟协议——这四个模型横跨两个模型家族，能力区间从 8B 一直到前沿模型——并以美国综合社会调查（General Social Survey）中的社会态度数据、以及世界价值观调查（World Values Survey）中的跨文化价值观数据作为评测对象。
\n\n关键的设计选择在于对照组。研究没有去问 LLM \"看起来是否合理\"，而是把每个模型都拿去和一组在留出（held-out）真人数据上拟合的非 LLM 基线做对比——也就是仅凭人口统计变量预测某个人作答的普通统计模型。这就把一个含糊的问题（\"合成受访者好不好用？\"）变成了一个可证伪的问题：LLM 到底提供了回归模型给不了的东西吗？
\n\n两类失败在两个领域、四个模型、两个模型家族上都复现了。
\n\n| 失败类型 | 论文的报告内容 | 为什么重要 |
|---|---|---|
| 个体层面毫无优势 | \n没有任何 LLM 能胜过最强的非 LLM 基线；在跨文化价值观数据上，每个模型都明显低于该基线。改用距离敏感的评分和恰当评分规则后，这一差距依然存在。 | \n如果你需要知道这个具体的人会怎么回答，模型并没有带来任何额外信息。 | \n
| 人口统计特征被过度决定 | \n模型系统性地把身份标签当成远比真人现实中更强的态度预测因子——这一现象几乎出现在所有\"问题×群体\"组合上，且在换用编码不变（coding-invariant）的度量后依然稳健。 | \n合成受访者表现得像刻板印象：群体内部过于一致，群体之间差异过大。 | \n
对研究者而言，第二个发现后果更严重，因为它是一种有方向的系统偏差，而不是噪声。真实人类的态度只被年龄、性别、收入或国籍弱弱地分层；大部分变异其实落在人口统计群体内部。一个吸收了\"标签—观点\"文化关联的模型，会把这种关联复现得比现实更干净利落。
\n\n不能。作者报告说，换用更大、能力更强的模型并不能修复这两类失败中的任何一个。这可能是最该改变研究团队规划方式的结论，因为业界普遍假设合成受访者的质量是一个规模问题，下一代模型发布就会解决。按照这份证据，并非如此——它看起来是人口统计提示（demographic prompting）这一做法本身的结构性问题，而不是背后算力和能力够不够的问题。
\n\n论文中的决策影响分析，是最值得拿给业务方看的部分。在一个细分人群定向任务上——也就是团队日常问\"哪个人群最在意某件事\"的场景——Chen、Zhu 和 Zheng（2026）报告说，这些模型：
\n\n注意这三点的共同模式：所有误差都朝着\"自信、整洁、看起来可执行\"的方向推。而这恰恰是最容易在评审会上蒙混过关的失败模式。
\n\n诚实的解读不是\"合成受访者毫无用处\"，而是：总体分布问题和个体预测问题，是两个不同的问题，而合成受访者在后者上要弱得多。由此有几条实操结论：
\n\n对于需要快速拿到方向性信号的团队，可行的做法是小规模真实样本，而不是大规模模拟样本。从数量不多但真实的受访者那里获得定性深度——用 AI Interviewer 或 AI 问卷把单次访谈成本压低——你拿到的才是真实存在的变异。如果你确实要跑 Digital Twin Panel 或合成预研，请把它用于正式投放前压力测试你的问题措辞，并在任何人据此行动之前，先拿真人验证结论。
\n\n这是一篇预印本，其适用范围有几点重要边界。研究结论成立的前提，是作者所测试的人口统计提示与问卷模拟协议——更丰富的条件化策略、访谈式的引导，或在真人作答数据上做微调，都不在本次基准范围内。两个领域都是封闭式态度问卷，因此结论针对的是结构化作答预测，而非开放式的定性材料。另外，四个模型选得再好，也只是四个模型。真正赋予这一结果分量的，是失败在不同模型家族之间的一致性，而不是被测系统的样本量。
\n\n合成问卷受访者准确吗？
\n在个体预测层面，这项基准发现并不准确——在两个领域中，没有任何模型能胜过在留出真人数据上拟合的最强非 LLM 基线。
为什么 LLM 会高估人口统计差异？
\n该研究记录了这一现象，但并未诊断成因：在几乎所有被测的\"问题×群体\"组合上，模型都把身份标签当成远比真人现实中更强的态度预测因子。
合成受访者在研究中还有用武之地吗？
\n用于探索大概是可以的——起草问题措辞、压力测试访谈提纲、预演可能的反对意见。但这里的证据反对用它来估计两个人群之间差多少，或据此在细分人群之间做选择。
去哪里读原文？
\n《When Synthetic Users Fail: A Cross-Domain Benchmark of LLM-Simulated Human Survey Responses》，作者为 Zihan Chen、Di Zhu 和 Lei Nico Zheng，发表于 arXiv：arxiv.org/abs/2607.26348（2026 年 7 月 28 日提交）。
最后更新：2026 年 8 月 11 日
\n\n本文是对第三方研究的独立编辑性摘要。Qualitati 与论文作者无隶属关系，上述解读为我们的观点，不代表作者立场。
\n","related":[{"slug":"ai-vs-human-interviewers-randomized-chat-experiment-2026","title":"AI 访谈员 vs 人类访谈员：2026 年随机实验发现了什么","description":"一项 2026 年随机实验比较了 AI 与人类访谈员的文字聊天访谈：切题程度相同，具体性差距未被检测到，文本多出 65%，但跳题更多。","category":"AI 用户研究","date":"2026-10-19","readTime":"8 分钟阅读","author":"Qualitati 研究团队"},{"slug":"artificial-societies-benchmark-synthetic-population-validity-2026","title":"合成人群数据有效吗？2026 年 11 项检验基准研究","description":"合成人群数据是否有效？2026 年一项基准研究用 11 项效度检验评估 9 个大语言模型：它们能复现平均值，却压缩量表区间并扭曲特质之间的关系。","category":"AI 用户研究","date":"2026-10-15","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"synthetic-consumers-visual-marketing-pretest-2026","title":"合成消费者能预测试 logo 和广告吗？2026 研究结果","description":"合成消费者能否预测试视觉营销？2026 年研究发现，GPT 智能体能正确识别 logo 特征，但六项人类效应最多只复现 2 项，还有 1 项结论相反。","category":"AI 用户研究","date":"2026-10-14","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}