简短回答:聊天机器人可以低成本、大规模地开展简短的文字定性访谈,但目前还做不到深度访谈。在一项 2026 年的研究中,一个基于 Gemini 的聊天机器人访谈了 74 位社会科学研究者,模型总成本仅 €0.04,产出 149 页数据;但作者的结论是,它没有达到定性访谈通常追求的深度与细腻程度。
AI 聊天机器人访谈承诺了定性研究者很少拥有的东西:几十场自适应的半结构化对话同时进行,无需排期,边际成本几乎为零。Tullia Jack、Alex Cooper 和 Lisa Flower 在 Methodological Innovations(2026)上发表的一篇开放获取新文章,用一群格外挑剔的受访者检验了这一承诺:他们都是清楚好访谈应该是什么样子的专业社会科学研究者。正因为结论喜忧参半,这项研究才格外有参考价值。
这项研究测试了什么?
研究的问题是:LLM 能否胜任定性访谈员?作者用一个聊天机器人访谈研究者,话题是他们自己如何使用生成式 AI。论文为 Automating the qualitative interview? Using Gen AI chatbots in social science research(Methodological Innovations,第 19 卷第 3 期,2026 年 5 月 27 日在线首发)。
作者基于 Google 的 Gemini 1.5 Flash 自建了网页聊天机器人,通过 API 调用,并用提示词让它遵循一份包含四个主题的半结构化访谈提纲:当前对生成式 AI 的使用、现有的编码做法、未来理想中 AI 在分析中的用途,以及伦理问题。提示词要求模型以宽泛的问题开启每个主题、用追问深入、回避敏感话题,并在受访者拒答时转入下一题。受访者被告知对话大约需要 10 分钟。
数据是如何收集的?
- 预测试("Percival"):23 位参加"用生成式 AI 做定性分析"工作坊的学员。根据他们的反馈,作者让机器人不再一味积极,并增加了最后一个兜底问题。
- 正式轮次("Elsa"):瑞典一所大学社会科学学院的 51 位研究者,通过各系主任招募。
- 后续回访:51 人中有 39 人同意被联系,其中 23 人通过邮件回复了被机器人访谈的感受。
最终共有 74 场聊天机器人访谈和 23 封回访邮件。主要分析由人完成,而不是模型。
聊天机器人的访谈表现如何?
在效率上,它表现非常出色。据 Jack、Cooper 和 Flower(2026)报告,整个项目的模型费用为 €0.04(不含研究者薪酬),大多数对话持续 8 到 12 分钟,超过五分之四的受访者完成了访谈。已完成的对话时长从 1 分 49 秒到 33 分 20 秒不等。
机器人也展现了真实的访谈技巧。它会复述要点请对方确认,在受访者卡住时提出思路,能识别领域内的缩写术语,还会跟随受访者进入提纲之外的话题。作者在对话中没有发现幻觉,它也按指示避开了敏感话题。第一作者在脚注中写道,机器人让人打开话匣子的能力让她自愧不如。
AI 访谈员在哪些地方表现不足?
问题主要集中在对话节奏和引导性上。作者记录了几种熟练的人类访谈员会避免的模式:
- 打断:受访者一按回车,机器人就立即回复,边打字边思考的人因此被打断了思路。
- 连环提问:它有时一次问好几个问题,受访者只答了其中一个,其余的就被丢掉了。
- 错过追问:它错过了许多追问的机会,而且何时追问、何时转题并不总是清楚。
- 死板遵循提纲:它一再向定量研究者询问定性方法,至少让一位受访者感到恼火。
- 引导性预设:它似乎默认定性分析很耗时,从而把多位受访者引向讨论"节省时间"。
- 语气:有人觉得它重复啰嗦,或每次回答后都过分热情地道谢。
在 23 封回访邮件中,11 封总体正面,8 封中性或褒贬参半,4 封表示感到投入不足或略有不满。也有受访者表示,面对机器人反而更容易直言不讳、坦诚作答。
AI 聊天机器人访谈与人工访谈对比:证据说明了什么
这项研究的发现可以归结为规模与深度之间的取舍。
| 维度 | 聊天机器人做到了什么 | 失去了什么 |
|---|---|---|
| 成本与执行 | 74 场访谈模型费用 €0.04;可同时进行,无需排期 | 需要自行开发网页、对接 API 并反复调试提示词 |
| 数据量 | 149 页文本,其中略少于一半来自受访者 | 作者强调,数据量并不是衡量好访谈的标准 |
| 追问 | 能总结、澄清并处理专业词汇 | 错过追问、连环提问、打断受访者 |
| 中立性 | 被认为不带评判;部分受访者回答更坦诚 | 至少引入了一个引导性预设 |
| 注意力 | 受访者可以在方便的时候作答 | 存在一心多用的迹象,例如一场断断续续长达 51 分钟的对话 |
作者的结论很直接:聊天机器人或许适合某些研究问题,比如作为问卷的补充,但目前并不适合收集"厚数据"(thick data)。
同一个 LLM 能分析这些访谈吗?
只能作为起点。作者把全部 74 份访谈记录交给 Gemini,让它归纳社会科学研究者对待 AI 的韦伯式"理想类型"。模型提出了五种类型;研究者将重叠的类型合并为三种(热衷者、务实采用者和 Gen AI 不可知论者)。模型引用的原话大约 80% 的情况下准确,它还声称年轻研究者更热衷 AI,但作者在数据中找不到这一规律。作者也坦言,不断改写提示词重新生成、而不是停下来反思,是一种很强的诱惑。
受访者自身的情况也类似。74 人中有 37 人正在尝试使用生成式 AI,主要用于写作辅助、翻译、转录和文献检索。很少有人用它做分析,许多人担心黑箱编码、可复现性和数据安全。
这对使用 AI 访谈员的研究者意味着什么
这项研究可以当作一份失败模式清单,在正式开展 AI 主持的研究之前逐项测试:
- 让受访者说完。文字访谈需要允许受访者在 AI 回复前连发几条消息,或者改用作者建议探索的语音形式。
- 每轮只问一个问题。把这一点写进提示词,并在预测试记录中检查。
- 审查提纲中的隐含预设。如果 AI 对话题"抱有"某种看法,它就会带着这种看法去引导。
- 为不匹配的受访者设置跳题逻辑。不要让提纲逼着定量研究者回答定性方法问题。
- 校准语气。不断的夸奖在许多受访者看来并不真诚。
- 如实告知时长。一位受访者指出,"几分钟"已经变成了超过一刻钟。
- 核对 AI 分析中的每一条引文。引文准确率约为 80%,每一段摘录都需要对照原文核实。
这些问题大多能在预测试中发现。我们的AI 访谈提纲预测试指南介绍了具体做法。如果你使用的是 Qualitati AI 访谈员这类托管工具而不是自建机器人,同样的测试依然适用:在扩大规模之前,专门检查预测试记录中是否存在打断、连环提问和引导性措辞。
解读结果时有两点局限值得注意。样本量小且为自愿参与,作者预计许多受访者本来就对 AI 感兴趣。此外,机器人运行在 Gemini 1.5 Flash 上,更新的模型表现可能不同。
常见问题
一场 AI 聊天机器人访谈要花多少钱?
模型成本可以非常低。在 Jack、Cooper 和 Flower(2026)的研究中,74 场文字访谈的 API 费用为 €0.04。这不包括开发、提示词设计和研究者的时间,而这些才是真正的成本。
AI 聊天机器人能取代人类定性访谈员吗?
根据这项研究,深度访谈还不行。聊天机器人收集了大量数据,也调动了受访者的参与,但作者认为它没有达到优质定性访谈的深度与细腻程度。
人们面对聊天机器人会更诚实吗?
部分受访者是这样说的。有几位认为机器人不带评判、更容易直言,但也有人感到投入不足,或觉得由 AI 来收集数据有些奇怪。
这项研究用的是哪个模型?
Google 的 Gemini 1.5 Flash,通过 API 接入一个用 Python 和 JavaScript 自建的网页应用。
最后更新:2026 年 10 月 6 日。本文是对发表于 Methodological Innovations 的第三方研究的独立编辑摘要;Qualitati 与作者无任何关联。完整方法与结果请参阅原文。
