如何评估一个 AI 访谈员？ 2026 年发表在 Scientific Reports 上的一项研究指出，仅凭访谈记录无法判断其优劣。作者构建了一套受控评估方案，针对自适应提问——模型能否正确判断何时追问、追问是否真正带来新信息——对六个主流 LLM 进行打分。
\n\n这篇论文题为 \"The AI interviewer: multi-faceted evaluation of adaptive questioning by large language models\"（Scientific Reports, 2026），评估了六个最先进的模型作为访谈员的表现：Claude Sonnet 4、Gemini 2.5 Pro、GPT-5 Chat、Grok 4、Qwen3-235B A22B 和 DeepSeek Chat V3.1。
\n每个模型都作为自适应访谈员，围绕横跨七个生活领域（个人经历、家庭、兴趣、挑战、价值观、工作和健康）的 54 个主问题进行访谈。对于每一条回答，模型都必须做出决定：是否需要追问？如果需要，应该问什么？这一决定正是自适应访谈的核心，也是固定问题脚本做不到的。
\n\n为访谈员做基准测试最难的地方在于，一场好的访谈既取决于访谈员，也同样取决于受访者。作者通过三种方式对此加以控制：
\n这本身就是一个有用的设计模式：如果你想比较访谈员——无论是人还是机器——就必须让受访者保持恒定。
\n\n这项研究将访谈员质量视为一个多维度的构念，而非单一分数。它采用的维度与经验丰富的定性研究者所关心的内容高度吻合：
\n\n| 维度 | 回答的问题 |
|---|---|
| 覆盖度 | 一场理想访谈应当挖掘出的材料中，模型实际触及了多少？ |
| 引出比例 | 被挖掘出的内容中，有多大比例来自访谈员的提问，而非受访者本来就会主动说出的？ |
| 追问决策 | 在应当追问时，模型是否追问了？在不该追问时，是否克制住了？ |
| 回应质量 | 问题是否紧扣主题、保持受访者的投入，并引出具体细节？ |
\"引出比例\"是其中最锋利的一个概念。一个什么都不问的访谈员，依然能\"覆盖\"健谈受访者自己提起的话题。只为访谈员的提问所引发的内容记功，才能把真正的追问与被动的记录区分开——无论你的主持人是人还是模型，这一区分都至关重要。
\n\n作者指出，尽管这些模型正越来越多地被部署为定性研究和人机交互中的自适应访谈员，但对 LLM 访谈行为的系统性评估仍然有限。说得直白一点：各团队推出 AI 主持人的速度，已经快过了学界就如何评判它们达成共识的速度。
\n从这项研究的设计中可以得出三条实用启示：
\n如果你在开展 AI 主持的研究，这项研究说明你应当像评估一位初级研究员那样评估你的主持人：看它对研究问题的覆盖度和追问的质量，而不是凭感觉。Qualitati 的 AI 访谈员在文字和语音访谈中都应用了自适应追问逻辑，其监督者架构旨在让追问始终紧扣主题——这正是 Scientific Reports 评估方案所打分的行为。对于需要大规模运行分支和追问的结构化研究，同样的自适应原则也驱动着对话式访谈与问卷。若想从另一个角度了解 AI 追问究竟是否有帮助，请参阅我们对相关证据的总结：AI 追问能否改善定性访谈？
\n\n这项研究的优势——单一且表现一致的 LLM 受访者——同时也是其主要的注意事项。真实的受访者会犹豫、自相矛盾、跑题、披露不均；一个在配合度高的合成受访者面前表现出色的访谈员，面对一个有所保留的真人时可能会有不同表现。七个生活领域宽泛且偏向个人，而非围绕任务或产品，因此结果对研究型访谈的参考价值高于对可用性测试等场景的参考价值。一如既往，请把基准测试视为关于某种设置的证据，而不是对某个模型的最终裁决。
\n\n自适应 AI 访谈员是一种由 LLM 驱动的系统，它会实时判断每条回答是否值得追问，并随之生成量身定制的追问——而不是照着固定脚本读。2026 年这项 Scientific Reports 研究评估的正是这种行为。
\n六个模型：Claude Sonnet 4、Gemini 2.5 Pro、GPT-5 Chat、Grok 4、Qwen3-235B A22B 和 DeepSeek Chat V3.1，全部在相同的提示词和编排下运行。
\n让受访者或情境保持恒定，运行大量访谈，然后对研究问题的覆盖度以及追问实际引出了多少新信息进行打分——而不只是看对话读起来是否流畅。
\n这项研究评估的是访谈行为，而非替代问题。大多数团队使用 AI 主持人来扩大数据收集规模，而由人类负责研究设计、解读以及对敏感时刻的判断。
\n\n最后更新：2026 年 6 月 24 日。
\n本文是对第三方研究的独立编辑摘要，与该研究的作者或出版方无关，亦未获其背书。文中的论断和数据均来自所引用的来源；完整细节请查阅原始论文。
\n","related":[{"slug":"ai-vs-human-interviewers-randomized-chat-experiment-2026","title":"AI 访谈员 vs 人类访谈员：2026 年随机实验发现了什么","description":"一项 2026 年随机实验比较了 AI 与人类访谈员的文字聊天访谈：切题程度相同，具体性差距未被检测到，文本多出 65%，但跳题更多。","category":"AI 用户研究","date":"2026-10-19","readTime":"8 分钟阅读","author":"Qualitati 研究团队"},{"slug":"artificial-societies-benchmark-synthetic-population-validity-2026","title":"合成人群数据有效吗？2026 年 11 项检验基准研究","description":"合成人群数据是否有效？2026 年一项基准研究用 11 项效度检验评估 9 个大语言模型：它们能复现平均值，却压缩量表区间并扭曲特质之间的关系。","category":"AI 用户研究","date":"2026-10-15","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"synthetic-consumers-visual-marketing-pretest-2026","title":"合成消费者能预测试 logo 和广告吗？2026 研究结果","description":"合成消费者能否预测试视觉营销？2026 年研究发现，GPT 智能体能正确识别 logo 特征，但六项人类效应最多只复现 2 项，还有 1 项结论相反。","category":"AI 用户研究","date":"2026-10-14","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}