AI 生成的回答能算作有效的行为证据吗？只有在满足特定条件时才可以。2026 年 2 月发表的一篇框架论文指出，大语言模型可以放心用于探索性发现，但若要把它们当作验证性证据，就必须以真实的人类数据为基准做统计校准，而不能仅凭模型结果与人类结果曾经吻合过一次。
\n\n这篇论文题为“This human study did not involve human subjects: Validating LLM simulations as behavioral evidence”，作者为 Jessica Hullman、David Broska、Huaman Sun 和 Aaron Shaw（arXiv，2026 年 2 月 17 日），讨论的是一种迅速普及的做法：把 LLM 当作“合成受访者”，以极低成本、近乎即时地生成问卷和实验回答。论文的核心观点是，对于这些模拟回答何时有效，学界尚无公认标准；而目前流行的捷径，即展示 AI 与人类结果的一次性吻合，并不足以充当这样的标准。
\nHullman 及其同事（2026）指出，研究者目前依赖两种界定松散的验证策略。启发式验证是指用“在某一情境中观察到的 LLM 与人类结果相吻合的证据，来支持在另一个人类真实结果未知的相关情境中把二者视为可互换”。统计校准则是“把一份人类受访者样本与一份通常更大的 LLM 预测回答样本结合起来”，并在明确的假设之下“防止 LLM 给点估计带来偏差”。
\n\n坦率地说：在方向上有参考价值，但不足以支撑验证性结论。论文综合了近期的复现研究证据，仔细读来，这些数字发人深省。
\n最值得警惕的一个数字与下游偏差有关：论文引用的 Egami et al.（2024）的一项模拟显示，预测准确率达到 90% 的 LLM 标注，一旦代入回归分析，仍可能“得到一个偏差很大的估计量（相对偏差约 30%）”。表面上的高准确率并不能保证估计无偏。
\n\nHullman et al.（2026）把现有做法归纳为三种路径。下表概括了每种路径各自适用的场景。
\n| 路径 | 具体做法 | 最适用于 | 主要风险 |
|---|---|---|---|
| 先验证后模拟（Validate-then-simulate） | 收集人类数据，与 LLM 共同标注并证明二者吻合，然后在没有新的人类真实结果的情况下，把 LLM 应用到相关情境 | 扩展一个已验证过的情境 | 某一情境中的吻合未必能迁移；没有形式上的保证 |
| 先模拟后验证（Simulate-then-validate） | 只把 LLM 用于探索性发现，筛出有潜力的假设，再针对选出的发现开展人类研究 | 生成研究思路、筛选研究方案 | 低，前提是最终结论建立在人类数据之上 |
| 统计校准 | 借助能够修正模型偏差的估计量（如 prediction-powered inference），把人类样本与规模更大的 LLM 预测样本结合起来 | 预算有限时的验证性估计 | 精度提升往往有限；假设必须成立 |
提升究竟有多有限？用 100,000 条 LLM 预测来扩充 10,000 条人类决策，“有效样本量仅增加了约 13%”（Broska et al., 2025），另一种方法报告的提升也只是“最高 14%”（Krsteski et al., 2025）。校准保护的是效度，它并不能取代人类数据。
\n\n先说决策原则：方法要与研究所处的阶段相匹配。
\n这篇论文讨论的是定量模拟，但其中的逻辑可以直接迁移到定性研究和混合方法研究。合成受访者非常适合用来对访谈提纲做压力测试、发掘边缘情形下的异议，或者预演主持流程，这些都属于后续仍会开展人类研究的探索性用途。但在最终分析中，它们无法替代真实受访者的声音。Qualitati 的 Synthetic Focus Group 和 Digital Twin Panel 正是为这条探索性路径而设计的，用于在招募受访者之前界定研究范围、预演研究设计；而 AI Surveys 和 AI 主持的访谈，则用来收集验证性结论最终所依赖的人类真实数据。
\n\n我可以只凭 LLM 的回答发表研究吗？就验证性发现而言，不可以，至少无法令人信服。Hullman et al.（2026）表明，启发式替代可能凭空造出显著效应（至多 83% 的零效应），而且高预测准确率仍可能带来约 30% 的估计偏差。最终结论应当立足于人类数据。
\n这里所说的统计校准是什么？它是一类方法的统称：把较小的人类样本与较大的 LLM 预测样本结合起来，并修正模型的偏差，从而在所述假设成立时给出有效的点估计和置信区间。
\n合成受访者有没有适用的场合？有，那就是探索阶段。可以用它们生成假设、筛选设计、预演研究工具，然后再用真人验证。这种“先模拟后验证”的模式，是论文推荐的风险最低的做法。
\n什么是“训练泄漏”，它为什么重要？如果你要模拟的实验或量表已经出现在模型的训练数据中，那么表面上的复现可能只是回忆，而不是真正的预测，这会让你高估 AI 的效度。
\n\nLLM 模拟是发现的加速器，而不是人类证据的替代品。用它来探索；在下验证性结论之前，先用真人验证。这份 2026 年框架的贡献在于把这条边界讲清楚，并为介于两者之间的情形提供了校准工具。
\n\n原始文献：Hullman, J., Broska, D., Sun, H., & Shaw, A. (2026). “This human study did not involve human subjects: Validating LLM simulations as behavioral evidence.” arXiv:2602.15785. 阅读论文原文。
\n最后更新：2026 年 7 月 3 日。本文是对第三方研究的独立编辑性综述；所有统计数据均归属于其原始研究，并非由 Qualitati 得出。
\n","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}