最后更新于：2026年7月2日
\n\n不能可靠地做到。2026年2月的一项研究评估了基于人设条件的大语言模型，涉及超过70,000个受访者-项目实例，研究发现向LLM提示中添加人口统计学人设并不能产生清晰的调查对齐改进——在许多情况下反而会显著降低对齐度。扭曲是不均匀的：大多数项目几乎没有变化，但一小部分问题和代表性不足的子群体承受了过大的误差，悄悄破坏了合成样本库本应代表的群体。
\n\n根据Taday Morocho、Cima、Fagni、Avvenuti和Cresci（2026），研究人员提出了一个直接的方法论问题：多属性人设提示是否能使LLM更好地替代真实调查受访者，还是会引入新的扭曲？为了回答这个问题，他们从世界价值观调查的美国微观数据库构建了一个基准——真实人群对真实态度问题的回答——并测量了LLM输出与这些人类回答的相近程度。
\n该评估涵盖了超过70,000个受访者-项目实例，将两个开源权重聊天模型与随机猜测基线进行了比较。至关重要的是，他们在有人设条件和无人设条件（年龄、性别、教育程度和地区等人口统计属性注入到提示中）的情况下都进行了测试，这样可以隔离人设的边际效应，而不是假设其效果。
\n\n人设提示并未提供实践者通常假设的可靠性提升。主要结果包括：
\n这里的微妙危险在于，整体指标可能看起来可以接受，但子群体效度可能在暗地里崩溃。与整体人口平均值相匹配的合成样本库仍可能对研究人员最想听取意见的少数群体严重不准确。
\n\n合成受访者背后的直觉是，如果你告诉一个模型\"你是一名来自美国中西部农村、受过高中教育的62岁女性\"，它会根据这一身份推理出该人可能的态度。实际上，该模型并不是在回忆真实人群的分布——它是在生成一个看起来合理的刻板印象。对于代表充分、信号明确的群体，这种近似可能足够接近。对于人口中较薄的切片，模型倾向于依赖讽刺漫画式描绘，讽刺漫画与真实分布之间的差距会扩大。这就是为什么研究观察到误差集中在代表性不足的子群体中，而不是均匀分散。
\n\n| 维度 | 无人设（基础模型） | 人设条件 |
|---|---|---|
| 整体调查对齐 | 基线 | 无清晰收益；通常更差 |
| 项目间的效应分布 | — | 高度不均匀（少数项目主导） |
| 对代表性不足子群体的影响 | — | 不成比例的扭曲 |
| 下游分析风险 | 较低，但通用 | 较高——隐藏的子群体误差 |
这一对比推翻了一个常见的假设：提示中包含更多人口统计学细节会自动带来更逼真的回答。证据指向相反的方向，尤其是在真实性最重要的群体中。
\n\n这并不意味着合成受访者没有用处——它意味着他们需要护栏和验证，而不是盲目信任。实际启示包括：
\n如果你正在探索模拟参与者，像Qualitati Digital Twin Panel和Synthetic Focus Group这样的工具最好用作真实田野工作前的定向、低成本探索——然后通过AI Surveys或AI主持的访谈收集的人类数据进行确认。最强的研究设计将合成速度与人类验证步骤结合起来，这正是本研究发现所建议的工作流程。
\n\n不能用于人口估计。2026年的研究发现人设条件的LLM没有提供可靠的对齐增益，且扭曲了代表性不足的子群体，因此合成回答应该补充——而非替代——真实数据。
\n不是一贯的。在70K多个实例中，人设提示没有产生清晰的整体改进，且经常降低性能，最大误差落在代表性不足的群体中。
\n用于早期探索、问卷预测试和低成本假设生成——前提是在对特定子群体得出任何结论之前，根据真实人类回答对结果进行验证。
\n将其视为定向的第一步，根据你的实际人群和项目进行验证，并在任何取决于少数子群体态度的决策中保持人类参与。
\n\n本文是对第三方研究的独立编辑总结。它引用了Taday Morocho等人（2026）的\"评估基于人设条件的LLM作为合成调查受访者的可靠性\"（arXiv:2602.18462）。所有统计数据和引文均来自原始论文；读者应咨询原始资料获取完整方法论。
","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}