简短回答：已发表的数字孪生和合成受访者准确率从接近完美到接近随机不等，主要原因是各项研究衡量的根本不是同一件事。Netzer 和 Sambandam 2026 年的论文表明，几乎不提供任何个人数据时，汇总指标也可能看起来很亮眼；他们还提出一种检验方法，能在任何实地调研之前判断哪些问卷题目可以交给数字孪生可靠作答。
如果你读过合成数据方面的供应商资料或学术论文，大概见过这样的说法：数字孪生的准确率是 95%、75%，或者只比瞎猜好一点。这三个数字都有已发表的研究支持。在 《Synthetic Data in Marketing Research: How to Evaluate and When to Trust》（arXiv，2026 年 9 月）中，Oded Netzer（哥伦比亚商学院）与 Rajan Sambandam（TRC Insights）认为，真正有用的问题不是合成受访者是否可用，而是何时可用。本文梳理他们提出的准确率分类框架、基于全国代表性问卷的实证检验，以及这对需要决定是否把合成答案交给客户的研究者意味着什么。
\n\n主要是因为用的尺子不一样。Netzer 和 Sambandam（2026）指出，预测总体平均值要比预测哪个人得分高于另一个人容易得多，但两者都被报告为\"准确率\"。LLM 可以从训练数据中大致知道某道题的平均分落在哪里，而无需了解受访者本人的任何信息。
\n论文引用了 Twin-2K-500 大型研究（Toubia et al. 2025）中一个很说明问题的例子：用每个人完整的 500 道题作答记录构建的孪生准确率为 0.748，只给 14 个人口统计变量的孪生为 0.746，而完全不含个人信息的\"孪生\"也达到 0.734。在有界的评分量表上，接近中间值的固定猜测离任何人的答案都不会太远，因此\"75% 准确\"这样的标题数字几乎不需要数据，甚至完全不需要数据就能达到。
\n用重测信度做归一化也有类似的盲点。作者指出，Park et al.（2026）中基于访谈构建的智能体原始准确率为 65.7%，除以受访者自身的一致性后报告为 82.6%；而仅用人口统计信息的智能体在同一归一化量表上也能达到 74%。
\n\n论文将现有文献中的指标归为四类，按对数据的要求从低到高排列。关键区别在于：指标是否需要一一匹配的个体记录，以及它衡量的是答案的水平还是人与人之间的排序。
\n| 类别 | 比较的内容 | 是否需要匹配个体？ | 主要风险 |
|---|---|---|---|
| 1. 跨题目对应 | 多道题目的题目层面均值之间的相关 | 否 | 仅靠总体先验就能得到接近完美的分数 |
| 2. 题目层面分布 | 合成与真人的均值、离散度、选择份额、支付意愿 | 否 | 看不出孪生答案离散度不足 |
| 3. 匹配个体准确率 | 每个孪生的答案与其对应真人答案的对比 | 是 | 有界量表上存在很高的\"无信息下限\" |
| 4a. 个体内、跨题目 | 每个人在多道题上的相关 | 是 | 平均值猜得好、毫无个体区分也能得高分 |
| 4b. 题目内、跨个体 | 孪生能否在同一道题上正确排序不同的人 | 是 | 忽略整体水平偏移和离散度压缩 |
取决于决策所处的层级。Netzer 和 Sambandam 将常见商业用途对应到三个层级：
\n他们给采购方的实用建议是：问清楚供应商的准确率说法是在哪个层级上验证的，并且只把第 1 类统计量当作第 1 类问题的验证依据。
\n\n指团队在实地调研结束后才意识到本该问的那道题。重新投放问卷又慢又贵，所以哪怕是不完美的低成本估计也有价值。作者认为这正是数字孪生最有前景的场景：研究者手里已经有一份针对同一人群、同一品类的完整真人研究，孪生只需在每位受访者的记录上再延伸一道题。
\n\n作者使用了 2025 年的一项问卷，样本为来自全国代表性固定样本的 3,063 名受访者，由莱斯大学 C-CUBES 中心发起、TRC Insights 执行。问卷包含 108 道态度题（18 个行业各 6 个价值驱动因素，按 1–10 分评分），以及 20 道人口统计和背景题。在留一法设计中，GPT-5.4-mini 为每位受访者回答每一道被留出的题目，条件信息要么只有人口统计变量，要么是人口统计变量加上同一行业的另外五道态度题。
\n根据 Netzer 和 Sambandam（2026）的结果：
\n可以，至少部分可以。论文提出的\"可回答性诊断\"用随机森林，根据放入孪生提示词中的那些数据来预测孪生的答案。其袋外 R² 反映孪生输出有多少是由受访者记录驱动、而非模型先验驱动；而且它不需要真人对这道被遗忘问题的任何作答。
\n仅用人口统计信息时平均 R² 为 0.14，加入态度题后为 0.65。在信息更丰富的条件下，R² 与实际的孪生–真人相关之间的相关为 r = 0.61。以 R² 高于 0.7 作为筛选门槛，108 道题中保留 46 道（43%），平均相关升至 0.65，个体误差降到 1.19，回答不佳的题目比例从 25.9% 降至 4.3%。作者提醒，实际应用中的门槛值应在留出样本上确定。
\n另外两种成本更低的筛选方式也有一定信号。被遗忘问题与已投放题目之间的嵌入相似度与孪生准确率的相关为 r = 0.53，但提升幅度较小。16 名 TRC 研究员对 18 道题的评分与实际准确率的相关为 r = 0.77，与 R² 筛选的相关为 r = 0.87；作者认为这很有前景，但由于题目数量少，估计并不精确。
\n\n论文的检查清单可以直接用于评估合成受访者或 数字孪生样本库 的实践：
\n更大的启示是：准确率属于\"孪生–题目\"这一组合，而不属于孪生本身。坚持真人数据优先，在你的 问卷 中收集丰富的同品类数据，只把孪生用于经过筛选的短距离外推，这才是这些证据所支持的做法。
\n\n作为通用替代品还不够。在这项研究中，基于同品类数据构建的孪生与真实答案的平均个体层面相关为 0.57，未经筛选时约四分之一的题目低于 0.5。
\n在有界评分量表上，接近总体平均值的预测离任何单个答案都不会太远。论文建议将结果与空白人设和仅人口统计的基线对比，并对多选题使用平衡准确率。
\n用随机森林根据孪生提示词中的数据预测每个孪生的答案。袋外 R² 高，说明孪生在使用受访者的记录；R² 低，说明它在退回到通用知识。这是准确的必要条件，而非充分条件。
\n预印本为 Netzer 和 Sambandam（2026），\"Synthetic Data in Marketing Research: How to Evaluate and When to Trust\"，arXiv:2609.13995。
\n\n最后更新：2026 年 10 月 8 日
\n\n本文是 Qualitati 研究团队对第三方研究的独立编辑摘要，与论文作者无关联，也未获其背书。文中数据均按 arXiv 预印本中发表的内容报告；完整方法和结果请参阅原文。
\n","related":[{"slug":"ai-vs-human-interviewers-randomized-chat-experiment-2026","title":"AI 访谈员 vs 人类访谈员：2026 年随机实验发现了什么","description":"一项 2026 年随机实验比较了 AI 与人类访谈员的文字聊天访谈：切题程度相同，具体性差距未被检测到，文本多出 65%，但跳题更多。","category":"AI 用户研究","date":"2026-10-19","readTime":"8 分钟阅读","author":"Qualitati 研究团队"},{"slug":"artificial-societies-benchmark-synthetic-population-validity-2026","title":"合成人群数据有效吗？2026 年 11 项检验基准研究","description":"合成人群数据是否有效？2026 年一项基准研究用 11 项效度检验评估 9 个大语言模型：它们能复现平均值，却压缩量表区间并扭曲特质之间的关系。","category":"AI 用户研究","date":"2026-10-15","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"synthetic-consumers-visual-marketing-pretest-2026","title":"合成消费者能预测试 logo 和广告吗？2026 研究结果","description":"合成消费者能否预测试视觉营销？2026 年研究发现，GPT 智能体能正确识别 logo 特征，但六项人类效应最多只复现 2 项，还有 1 项结论相反。","category":"AI 用户研究","date":"2026-10-14","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}