AI 用户研究

AI 访谈员 vs 人类访谈员:2026 年随机实验发现了什么

Qualitati 研究团队

2026-10-19

8 分钟阅读


简短回答:在一项 2026 年的随机实验中,一个本地部署的 7B 参数 AI 访谈员在文字聊天访谈中,回答切题程度与经过培训的非专家人类访谈员持平,具体性没有可检测到的差异,而且每场访谈收集到的受访者文本多出约 65%。不足之处在于:只有接受 AI 访谈的受访者跳过了问题。

AI 访谈员常被宣传为以问卷规模开展定性访谈的方法。一直悬而未决的问题是:与人类访谈员相比,它们收集到的数据质量究竟如何?哥本哈根大学的一篇新预印本 "Can AI interview? Comparing AI-led to Human-led Chat Interviews"(作者 Semra Guven、Tobias Gårdhus、Andreas Bjerre-Nielsen、Anna Rogers 和 Hjalmar Bang Carlsen,arXiv,2026 年 10 月)自称是首个直接比较两者数据质量的实证研究。本文概述该研究测试了什么、发现了什么,以及这些结果能说明什么、不能说明什么。

要点速览

  • 切题程度相同。两种条件下的相关性均值都是 4.9(满分 5),研究设计排除了大于约 0.1 分的差异。
  • 具体性差距未被检测到,但并未证明相等。人类得分 3.8,AI 得分 3.6(不显著)。人类最多约 0.75 分的优势无法被排除。
  • 每分钟获得更多材料。AI 平均每场访谈提问 31 个,人类为 14 个;AI 每分钟收集 106 个字符的受访者文本,人类为 72 个。
  • 跳题只出现在 AI 访谈中。20 名 AI 访谈受访者中有 5 人使用了跳过按钮(共 22 次),人类访谈条件下 21 人中为 0 人。
  • 小型开源模型就够用。系统运行在本地部署的 OpenHermes 2.5(Mistral 7B)上,访谈数据从未离开研究者的服务器。

这项研究测试了什么?

研究将大学生随机分配到同步文字聊天访谈中,访谈由经过培训的非专家人类访谈员或 AI 系统主持。两种条件使用相同的聊天界面、相同的访谈提纲和相同的指示。主题是学业求助:一部分讨论学生寻求帮助并获得帮助的经历,另一部分讨论学生需要帮助却没有开口的经历。

据 Guven 等人(2026)报告,共有 45 名受访者被随机分组,最终分析了 41 场访谈(20 场 AI 主持,21 场人类主持)。第一天 AI 出现故障:重复提问,其中一次还生成了大段与访谈无关的内容。作者剔除了这四场 AI 访谈并修订了系统。受访者在现场与访谈员相邻的房间里作答,并被告知自己所处的条件。现场设置也是为了防止受访者借助生成式 AI 工具撰写回答。

AI 访谈员是如何构建的?

系统把工作分给三个 LLM 智能体,这种多智能体设计改编自早期研究:

  1. 分类智能体(temperature 0):做出控制访谈流程的是/否判断,例如筛选问题是否得到肯定回答、某个主问题是否已被覆盖。
  2. 改写智能体:根据受访者已说过的内容改写预设问题。
  3. 追问智能体:生成贴合上下文的追问。作者称其为最核心的组件。

AI 的自由度被刻意限制:它只能围绕一组预先设定的开放式主问题追问,不能在宽泛主题下自行生成新问题。三个智能体都运行在 4-bit 量化的 OpenHermes 2.5 模型上,通过 Ollama 部署在研究者自控的硬件中。作者认为,这解决了商业 API 的三个问题:保密性、GDPR 合规,以及服务商悄然更新或下线模型时的可复现性。

AI 与人类访谈员相比表现如何?

AI 在相关性上与人类持平,在每分钟产出量上明显领先,而人类引出的单条回答略长。下表汇总了 Guven 等人(2026)报告的主要数据。

指标AI 访谈员人类访谈员校正后是否显著?
访谈时长中位数28.9 分钟28.3 分钟否
每场访谈问题数3114是
每条回答字符数112150否
每场访谈受访者文本总量3,244 字符1,968 字符是
每分钟回答数1.180.54是
每分钟受访者字符数10672是
拟出下一个问题所需时间3 秒39 秒是
平均具体性(1–5)3.63.8否
平均相关性(1–5)4.94.9否

解读问题数时有两点值得注意。第一,20 场 AI 访谈中有 7 场在用尽所有追问额度后达到了提纲允许的 44 个问题上限,因此这个数字部分反映的是研究者设定的追问预算,而不仅是模型本身的行为。第二,时长均值的差距比中位数更大(30.3 对 26.7 分钟),因为有五场 AI 访谈超过了 40 分钟。这也是作者报告每分钟比率、而不声称访谈接触时间相等的原因。

AI 访谈数据和人类访谈数据一样具体吗?

研究没有检测到差异,但也无法排除有意义的差异。两名编码员对 395 个问答对进行了评分,这些问答对抽自共 909 个问答对。估计差距为人类领先 0.16 分,区间为 −0.71 到 0.36。作者措辞谨慎:在这一样本下,五点量表上半分的差异"仍有可能"存在。编码员在具体性上的一致性也一般,序数 Krippendorff's alpha 为 0.65,略低于得出初步结论的常用门槛 0.667。

相关性的结果更有力,但较为粗略。两种条件下几乎每条回答都得了 5 分,因此这个指标主要只能区分切题与跑题的回答。作者还指出,两种条件都难以引出充分展开、基于亲身经历的叙述,这可能限制了具体性指标的敏感度。

为什么受访者在 AI 访谈中跳过更多问题?

研究设计无法给出原因,作者提出了三种可能的解释。拒绝机器的社交成本可能更低。知道自己在与 AI 对话的受访者可能把访谈当成了问卷。此外,AI 经常追问到允许的上限,后面的追问可能显得重复。由于只有五名受访者跳过问题,研究无法区分这些解释。在实践中,第三种解释是研究团队可以着手改进的:设定追问预算时考虑受访者疲劳,而不是一味追求问题数量。

这对研究者意味着什么

作者为自己的结果划定了清晰的边界,而这条边界正是论文最有价值的部分:

  • 比较基准是非专家访谈员,而非专家。这项比较适用于由经过培训的研究助理执行固定提纲的大样本项目。作者表示,只要资源允许,专家访谈员仍是首选。
  • 文字聊天可能不利于人类。提纲中没有建立融洽关系的开场,聊天形式也剥离了语音和社交线索。作者预计在面对面访谈中,人类的优势会更大。
  • 长度不等于深度。字符数只是丰富程度的替代指标,作者承认简短的表述也可能承载重要意义。孤立地编码问答对也忽略了对话语境。
  • 约束 AI。把追问锚定在研究者撰写的主问题上,能让访谈在理论上站得住脚,而一个小型本地模型就足以运行。

如果你正在规划 AI 主持的访谈,实用的经验是:固定主问题、有意识地限制追问次数、把跳题作为数据质量指标进行追踪,并在扩大规模前先做预测试(这项研究第一天的故障正说明了原因)。QualiTaTi AI 访谈员等工具采用了同样以提纲为锚的模式,访谈记录随后可以在 ThemeLens 中编码,并由人来核查主题。

常见问题

AI 能像人类一样开展定性访谈吗?

在这项 2026 年的文字聊天实验中,7B AI 访谈员得到的回答与经过培训的非专家人类访谈员一样切题,具体性没有可检测到的差异,同时每分钟收集到更多文本。该研究没有将 AI 与专家访谈员或面对面访谈进行比较。

AI 访谈员需要 GPT 级别的模型吗?

不一定。这项研究使用的是 OpenHermes 2.5,一个在本地运行的 7B 开源权重 Mistral 模型。作者认为这是首个基于如此小模型构建的 AI 访谈系统。他们也指出,这些结果并非性能上限,因为该模型并未针对访谈任务进行微调。

研究规模有多大?

共有 45 名大学生被随机分组,分析了 41 场访谈,产生 909 个问答对。每个条件约二十名受访者,研究能够检测到较大的差异,但无法在具体性上确立等效性。

研究发现的最大风险是什么?

跳题。只有 AI 访谈的受访者使用了跳过按钮(20 人中 5 人,对比 21 人中 0 人,Fisher 精确检验 p = 0.021,未校正),因此在 AI 主持的访谈中值得监测无应答情况。

最后更新:2026-10-19。本文是对 Guven、Gårdhus、Bjerre-Nielsen、Rogers 和 Carlsen(2026)第三方研究的独立编辑摘要。QualiTaTi 未参与该研究。完整方法与结果请参阅原始论文。


免费试用 Qualitati

立即开始 AI 辅助定性研究,无需信用卡。

免费开始
相关文章