AI 问卷追问能提升数据质量吗？一项 2025 年对 1,800 名受访者开展的随机实验发现，AI 聊天机器人追问让开放式回答更长、更详细，并且在无需任何微调的情况下，将回答编码到预设类别的表现优于随机水平 — 但代价是受访者体验略有下降，且默许偏差会抬高假阳性。结论是：AI 追问有用，但需要配套的防护措施。
\n\n研究构建了一个“AI 辅助对话式访谈”框架，并在真实的在线问卷中进行了检验。据 Barari 等人（2025）报告，研究从非概率在线样本库招募了 1,800 名受访者，随机分配给由大语言模型驱动的 AI 聊天机器人。这些聊天机器人同时承担两项任务：针对开放式问题动态地追问受访者以获得更多阐述，并实时将回答编码到研究者预先定义的类别中 — 这项工作通常要在问卷回收后由人工完成。
\n受访者被分为一个对照组和两个追问处理组：处理组 1 使用确认式追问（“确认一下，您的意思是…？”），处理组 2 使用阐述式或相关性追问，引导受访者提供更多细节。这一设计让我们能够把多问几句的效应与 AI 单纯在场的效应区分开来。
\n\n比较准确 — 优于随机，但并非在每道题上都达到人工水平。据 Barari 等人（2025），在未针对该问卷进行微调的情况下，聊天机器人在大多数题目上的实时编码“表现优于随机猜测”。明显的例外是新闻来源类题目，其准确率和召回率均低于 70%。作为参照，作者指出此前的 LLM 评估报告过开放式问卷回答 91–94% 的分类准确率，因此实时、未经调优的编码仍低于这一上限。
\n问题在于准确率是如何测量的。当由受访者本人确认 AI 的编码时，一致性看起来很高；但当受过训练的人工编码员复核同一批回答时，精确率平均比受访者自己的确认低 20%。这一差距正是默许偏差的典型痕迹：即使类别略有偏差，人们面对确认式追问时也倾向于回答“是”。
\n\n两者兼有，但存在权衡。据 Barari 等人（2025），追问下的开放式回答“更详细、信息量更大”。但更丰富的数据以牺牲受访者体验为代价，追问也增加了摩擦：在确认式追问组中，修改答案和回退到前面题目的情况大约是对照组的两倍（88 次对 43 次），两个处理组的访谈时长也都更长 — 阐述式追问的对话平均时长约为对照组的两倍。
\n\n| 维度 | 研究发现 | 对研究者的启示 |
|---|---|---|
| 回答丰富度 | 开放式回答更详细、信息量更大 | 为主题分析提供更好的原始材料 |
| 实时编码准确率 | 无需微调即优于随机；新闻来源类 <70% | 把 AI 编码当作草稿，而非定论 |
| 假阳性 | 确认式追问下被默许偏差抬高 | 避免“您的意思是…？”这类诱导式措辞 |
| 人工一致性 vs. 自我确认 | 编码员精确率比受访者确认低约 20% | 抽取样本由人工编码员验证 |
| 受访者体验 | 略有下降；访谈更长、回退更多 | 限制追问深度；只在值得的地方追问 |
给实践者的核心结论：AI 追问是真正能提升数据质量的手段，而不是噱头 — 但它并非没有成本。从证据中可以直接得出三点启示。
\n这些经验与现代平台的设计思路一致。Qualitati 的对话式问卷使用 AI 驱动的追问和分支逻辑，让开放式回答能在作答当下得到追问；我们关于 AI 追问问题的研究也反映了同样的发现 — 好的追问能加深数据，糟糕的追问只会增加负担。要把这些更丰富的访谈记录提炼成主题，ThemeLens 让研究者始终参与分析过程，而不是把 AI 的初步编码当作最终结果。
\n\n这项研究与越来越多关于 AI 在定性研究和问卷研究中利弊的成果相互印证。它呼应了以下发现：AI 能够胜任开放式数据的编码，但在含义模糊的类别上会出现偏移；而如果一致性指标的测量方式不当，就会高估 AI 的表现。关于不同 AI 模型在主题上是否彼此一致的相关讨论，请参阅我们对多 LLM 主题分析的总结。
\n\n不能完全取代。在这项研究中，AI 在无需微调的情况下编码表现优于随机，但人工编码员对受访者已接受的确认中约五分之一持不同意见。AI 是很好的第一轮处理工具，但仍需要人工对样本进行验证。
\n\n会略有影响。追问延长了访谈时间，增加了回退和修改答案的次数，整体体验也略有下降。这一影响在可控范围内，但也说明只应在额外细节值得付出负担的地方进行追问。
\n\n主要源于默许偏差。当聊天机器人问“您的意思是 X 吗？”时，即使 X 并不完全准确，受访者也倾向于回答“是”，于是一些中立的人工编码员会否定的类别被确认了下来。
\n\n据 Barari 等人（2025），共 1,800 名受访者，在一项在线问卷实验中被随机分配到一个对照组和两个 AI 追问组。
\n\n最后更新：2026 年 7 月 11 日。
\n本文是对第三方研究的独立编辑摘要（Barari, S., Angbazo, J., Wang, N., Christian, L. M., Dean, E., Slowinski, Z., & Sepulvado, B. (2025). \"AI-Assisted Conversational Interviewing: Effects on Data Quality and Respondent Experience,\" arXiv:2504.13908）。Qualitati 与作者无任何关联，文中所有数据均引自所引用的预印本。
\n","related":[{"slug":"ai-vs-human-interviewers-randomized-chat-experiment-2026","title":"AI 访谈员 vs 人类访谈员：2026 年随机实验发现了什么","description":"一项 2026 年随机实验比较了 AI 与人类访谈员的文字聊天访谈：切题程度相同，具体性差距未被检测到，文本多出 65%，但跳题更多。","category":"AI 用户研究","date":"2026-10-19","readTime":"8 分钟阅读","author":"Qualitati 研究团队"},{"slug":"artificial-societies-benchmark-synthetic-population-validity-2026","title":"合成人群数据有效吗？2026 年 11 项检验基准研究","description":"合成人群数据是否有效？2026 年一项基准研究用 11 项效度检验评估 9 个大语言模型：它们能复现平均值，却压缩量表区间并扭曲特质之间的关系。","category":"AI 用户研究","date":"2026-10-15","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"synthetic-consumers-visual-marketing-pretest-2026","title":"合成消费者能预测试 logo 和广告吗？2026 研究结果","description":"合成消费者能否预测试视觉营销？2026 年研究发现，GPT 智能体能正确识别 logo 特征，但六项人类效应最多只复现 2 项，还有 1 项结论相反。","category":"AI 用户研究","date":"2026-10-14","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}