最后更新:2026 年 6 月 24 日
简短回答
开源 LLM 能够加快定性编码的速度,但目前还无法替代人类编码者。在 2026 年发表于 International Journal of Qualitative Methods 的一项研究中,Gemma2 和 Llama3.1 对 34 份患者访谈进行了编码——结果约有一半的 AI 生成编码缺乏上下文、存在重复,或与研究者提炼的主题不一致。演绎式(框架引导)编码明显优于归纳式编码,而且模型偶尔能发现研究者遗漏的编码。
这项研究测试了什么
研究提出了一个很实际的问题:免费可得的开源语言模型,能否把定性编码的第一轮做得足够好,从而真正帮到研究团队?根据 Misra、Dahal、Kirk、Khan、Dogan、Chataut 和 Gyawali(2026)发表的论文《Large Language Models in Qualitative Analysis: Comparing Traditional and Researcher-Interpreted Approaches》,研究者分析了34 份半结构化访谈,受访者是参与一项为期 12 周的糖尿病生活方式干预、正在管理慢性病的成年人。
他们在两种条件下测试了两个开源模型——Gemma2 和 Llama3.1:一种是演绎式方法(由预先设定的框架引导编码),另一种是归纳式方法(编码从数据中自然浮现)。以研究者主导的传统定性分析作为人工基线,团队随后逐条评估每个机器生成的编码,考察其上下文、重复情况以及与研究者手工识别主题的一致性。
AI 编码的准确度如何?
喜忧参半——数量充足,相关性不足。模型生成了数千个编码,但其中很大一部分是噪音。作者指出,近一半由 LLM 生成的编码缺乏足够的上下文、内容重复,并且与研究者提炼的主题契合度很低。
有两个现象尤为突出。第一,模型过度生成:在演绎式方法下,Llama3.1 共生成 2,040 个编码(其中 1,042 个不重复),而 Gemma2 为 1,666 个(723 个不重复)。第二,与人工主题的一致性普遍偏低——表现最好的条件(Gemma2 演绎式)与研究者主题的“契合良好”比例也仅为 27.1%。
演绎式与归纳式编码:数据对比
最清晰的一项发现是:框架引导的(演绎式)编码几乎在所有指标上都优于开放式的(归纳式)编码。下表汇总了 Misra 等人(2026)报告的结果。
| 指标 | Gemma2(演绎式) | Llama3.1(演绎式) | Gemma2(归纳式) | Llama3.1(归纳式) |
|---|---|---|---|---|
| 生成编码总数 | 1,666 | 2,040 | 1,530 | 1,632 |
| 不重复编码数 | 723 | 1,042 | 715 | 829 |
| 提供上下文的编码 | 45.6% | 43.7% | 38.9% | 22.9% |
| 与研究者主题契合良好 | 27.1% | 26.8% | 19.2% | 11.7% |
| 审阅者一致性(评分者间信度) | 94% | 78% | 74% | 87% |
重复始终是个问题:作者报告,29.5%–36.2% 的演绎式编码和 16.3%–28.5% 的归纳式编码存在重复。换句话说,模型生成的编码越多,研究者就要花越多时间去重和剔除。
AI 是否补充了人类编码者遗漏的内容?
是的——这也是最令人鼓舞的结果。Misra 等人(2026)指出,模型生成了少量此前被研究者遗漏的额外编码,这些编码本可以用来强化主题或发展出新的子主题。这指向一个真实但有限的用途:把 LLM 作为减少偏差的第二轮检查,用来标记被忽略的模式,而不是让它担任主要编码者。
这对研究者意味着什么
应把开源 LLM 当作第一轮编码的助手,而非自主编码者。这项研究给出三条实用启示:
- 使用框架。在所有测试的模型中,演绎式编码都比归纳式编码产生了更有上下文、与主题更一致的编码。如果你已有编码手册,请把它提供给模型。
- 预留清理时间。多达三分之一的编码存在重复、约一半偏离目标,人工工作的重心因此从生成编码转向验证、合并和删减编码。
- 保持人工参与。模型的主题一致性偏低,意味着最终主题仍应由研究者确定。只有每个机器编码都经过人工审阅,AI 辅助编码才能发挥最佳效果。
这与专用工具解决问题的思路一致。像 QDA Workspace 这样的平台同时支持归纳式和演绎式编码,并把研究者审阅内置于流程之中;ThemeLens 则把编码映射回研究问题,并让每个主题都锚定在受访者原话上——直接解决了这项研究发现的“缺乏上下文”这一失败模式。
研究的局限性
这项研究只使用了一个数据集(关于单一健康主题的 34 份访谈)和两个特定的开源模型。更大或闭源的模型、不同的提示词或不同的领域,都可能改变这些数字。“契合良好”和上下文方面的判断也由研究团队做出,因此只反映了一个专家团队的解读。这些发现最好被理解为 2025 年中期开源 LLM 编码能力的一个现实快照,而不是 AI 编码能力的上限。
常见问题
开源 LLM 能取代人类定性编码者吗?
目前还不能。在 Misra 等人(2026)的研究中,约一半 AI 生成的编码偏离目标、存在重复或缺乏上下文,最好的主题一致性也只有 27.1%。它们适合当助手,而不是替代者。
AI 编码用演绎式还是归纳式更好?
演绎式。在这项研究中,无论 Gemma2 还是 Llama3.1,框架引导的编码在上下文和主题一致性上都优于归纳式编码。
研究测试了哪些开源模型?
Gemma2 和 Llama3.1,选择它们是为了兼顾易获取性与性能。
用 LLM 做编码的主要风险是什么?
数量多但相关性低:模型生成了数千个编码,其中许多存在重复或与数据关联薄弱,使研究者的精力转向验证与清理。
结论
开源 LLM 可以加速定性编码,偶尔还能捕捉到人类遗漏的模式,但在这项 2026 年的研究中,它们产生的噪音与有效信号一样多。可靠的工作流程应当以人为主导、以框架为引导、由 AI 辅助——并由研究者审阅每一个编码。如果你希望直接使用内置这一流程的工具,请看看 ThemeLens 和 QDA Workspace 如何让研究者始终掌控全局。免费开始,赠送 30 积分。
本文是对第三方研究的独立编辑摘要,与该研究的作者或出版方无隶属关系,也未获其认可。完整的研究方法与结果请参阅原始论文。
