{"slug":"llm-hallucinated-quotes-qualitative-analysis-2026","title":"LLM 编造访谈引语的频率有多高？2026 年研究","description":"2026 年 JAMIA 一项针对 122 份访谈记录的研究发现，LLM 给出的引语 68% 为逐字原文、9% 为编造，而 AI 主题与人工主题高度吻合。","keywords":"LLM 编造引语,AI 主题分析,定性分析效度,LLM 定性编码,AI 访谈记录,演绎归纳混合分析,引语保真度","date":"2026-08-21","author":"Qualitati 研究团队","category":"研究方法论","readTime":"7 分钟阅读","content":"<p>当 LLM 从访谈记录中抽取一段支持性引语时，它通常在引用——但并非总是。在一项 2026 年发表于 <em>JAMIA</em> 的研究中，研究者审查了 122 份心衰患者的访谈记录，结果显示 LLM 给出的引语中 68% 为逐字原文，20% 为改写，9% 为部分或完全编造。主题是可靠的；挂在主题下面的证据则不然。</p>\n\n<h2>这项研究测试了什么？</h2>\n<p>Bang 等人（2026）让同一份语料走完两套完整的定性分析流程，然后加以比较。语料包含 122 份访谈记录——61 次临床问诊与 61 次反思性访谈，全部来自心力衰竭患者。两套流程都采用演绎—归纳混合设计：先从<em>a priori</em>（先验）框架出发，再允许新编码从数据中涌现。</p>\n<ol>\n  <li><strong>人工主导组。</strong>受过训练的定性研究者在 Dedoose 中按常规主题分析对访谈记录进行编码。</li>\n  <li><strong>LLM 辅助组。</strong>同一份语料在符合机构合规要求的环境中使用 ChatGPT Edu（GPT-5.2）分析，由一套固定的十一步提示词协议驱动，而非随意对话。</li>\n  <li><strong>比较组。</strong>研究团队比较了 63 组人工—LLM 主题配对，逐一判断每个 LLM 主题的效度，然后人工核验模型给出的每一条引语。</li>\n</ol>\n<p>第三步是这篇论文的特别之处。多数关于 AI 定性分析的评估止步于\"主题看上去对不对\"。这项研究回到了访谈记录本身，核查模型归到受访者名下的句子是否真的被说过。</p>\n\n<h2>AI 主题与人工主题的吻合程度如何？</h2>\n<p>足够可用，但又没有高到多余。据 Bang 等人（2026）报告，人工主导的分析产出 7 个主题，LLM 辅助的分析产出 9 个。两组主题的重叠度为中等到较高，Jaccard 系数介于 0.44 至 0.51 之间，命中率为 1.00——也就是说，每一个人工主题都能在模型输出中找到对应项。</p>\n<p>关键在于，复核的研究者判定全部 9 个 LLM 主题均为有效主题。将两组主题整合后，最终形成三个领域下的 14 个主题。模型并没有凭空捏造不属于数据的主题；它只是在同一批材料上切分的位置略有不同，而其中几刀是人工团队没有切下去的。</p>\n\n<h2>模型编造引语的频率有多高？</h2>\n<p>大约每十一条摘录中就有一条不是真实引语。Bang 等人（2026）的引语保真度审计结果如下。</p>\n<table>\n  <thead>\n    <tr><th>摘录类别</th><th>占引语比例</th><th>实际含义</th></tr>\n  </thead>\n  <tbody>\n    <tr><td>逐字原文</td><td>68%</td><td>抽查后可直接引用</td></tr>\n    <tr><td>改写</td><td>20%</td><td>语义保留但措辞改动——不可加引号发表</td></tr>\n    <tr><td>部分编造</td><td>6%</td><td>真实话语中被拼接进了虚构词句</td></tr>\n    <tr><td>完全编造</td><td>3%</td><td>访谈记录中不存在对应话语</td></tr>\n    <tr><td>截断</td><td>3%</td><td>截取方式可能扭曲原意</td></tr>\n  </tbody>\n</table>\n<p>部分编造才是最危险的一类。完全虚构的引语往往语感略有不对，容易被抓出来。而一句真实的受访者话语被嫁接上三四个词后，读起来完全自然，挂在一个确实成立的主题下面，任何不重新打开访谈记录的审阅流程都拦不住它。</p>\n\n<h2>为什么主题站得住，引语却站不住？</h2>\n<p>因为这是两类失效方式不同的任务。构建主题是压缩任务：模型读入大量文本，返回一个抽象概括，而抽象是宽容的——措辞略有差异的主题仍然可辨认为同一个主题。引用则是以精确匹配为成功标准的检索任务，而生成式模型并不是检索索引。当它产出一条引语时，它是在以访谈记录为条件生成文本，而不是从中复制一段原文。流畅的重构是默认行为，而不是故障。</p>\n<p>由此得出的实践结论：一份 AI 定性分析的可信度不是一个单一数字。主题层与证据层需要分别验证，而只有后者要求回到原始材料去核对。</p>\n\n<h2>这对研究者意味着什么</h2>\n<p>作者自己的结论是：LLM 更适合定位为分析伙伴，而非自主编码者；在情境化诠释与核验环节，人的监督仍然不可或缺。由此可推出四条操作层面的含义。</p>\n<ul>\n  <li><strong>凡打算发表的引语，逐条核验。</strong>不是抽样——是每一条。按 9% 的编造率计算，一篇含 20 条例证引语的论文很可能带着一到两处虚构。</li>\n  <li><strong>优先选择能把引语锚定到访谈记录位置的工具。</strong>能返回带时间戳或行号的原文片段的系统可以机器校验，返回自由文本的系统则不能。这是工具选择问题，而非提示词问题——没有任何提示词能可靠消除这一行为。这也正是 <a href=\"https://qualitati.com/themelens\">ThemeLens</a> 将每条支持性摘录回溯到其在源访谈记录中位置的原因。</li>\n  <li><strong>用固定协议，而不是聊天。</strong>该研究的十一步提示词结构正是其结果可复现的原因。随意提示产出的分析别人无法重复。</li>\n  <li><strong>把 AI 主题当作第二编码者，而不是替代者。</strong>1.00 的命中率说明模型能找到你团队找到的东西；多出的两个主题说明它也可能浮现出你漏掉的内容——这是同时跑两套流程的理由，而不是砍掉其中一套的理由。</li>\n</ul>\n<p>访谈记录的质量决定了这一切的上限。如果转录本身就把话语记错了，模型也无法还原出逐字引语——因此在<a href=\"https://qualitati.com/ai-interviewer\">访谈</a>阶段的准确采集会沿着后续每一步不断累积其影响。</p>\n\n<h2>这项证据的局限</h2>\n<p>这是一份语料、一个临床领域、一个模型。心衰问诊是结构化、术语密集的对话；在散漫、情绪复杂或多语言的访谈数据上，编造率可能高也可能低。该研究使用的是 GPT-5.2 的合规机构部署版本——其结果并不能说明消费级聊天机器人处理可识别健康数据的情况，那涉及另一整套治理问题。此外，由于两组分析的是同一份语料，这一比较展示的是趋同性，而不是相对外部金标准的准确性。</p>\n\n<h2>常见问题</h2>\n<h3>能信任 LLM 做主题分析吗？</h3>\n<p>就生成和组织主题而言，这里的证据令人鼓舞：全部 9 个 LLM 主题被判定为有效，且每一个人工主题都被找回。就提供逐字证据而言则不能——32% 的引语并非逐字原文。</p>\n<h3>什么是演绎—归纳混合流程？</h3>\n<p>指先以理论或既有研究得出的预设编码框架为起点，再允许额外编码从数据中归纳涌现的分析方式。这项研究的两组都采用了这一设计。</p>\n<h3>如何高效核查 AI 生成的引语？</h3>\n<p>在访谈记录文件中做精确字符串检索。精确匹配失败就是信号——若该字符串没有逐字出现，这条摘录就是改写、截断或编造，不能放进引号发表。</p>\n<h3>这是否意味着 AI 辅助的定性研究不可发表？</h3>\n<p>不是。这意味着核验环节不是可选项，并且应当与所用的提示词协议一并写进方法部分。</p>\n\n<p><strong>原始文献：</strong>Bang, S.H., Han, S., Reading Turchioe, M., Ellison, M., Dai, S., Happ, M.B., Russell, D., &amp; Masterson Creber, R. (2026). Developing and evaluating human-led and large language model–assisted hybrid deductive–inductive workflows for qualitative analysis. <em>Journal of the American Medical Informatics Association</em>. <a href=\"https://doi.org/10.1093/jamia/ocag123\">https://doi.org/10.1093/jamia/ocag123</a></p>\n\n<p><em>最后更新：2026-08-21</em></p>\n<p><em>本文是对第三方研究的独立编辑性摘要。Qualitati 与该研究的作者及其所属机构无隶属关系。</em></p>\n","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}