最后更新：2026年5月30日
简短回答
在2025年的一项研究中，GPT-4o 和 GPT-4.5 在真实定性数据集的四个主题中，有三个与人工编码者达到了高度一致（Cohen's kappa > 0.6），而在一个领域通用型主题上只达到中等一致。结论是：大语言模型在具体、定义清晰的编码上可以达到与人类相当的评分者间信度，但面对抽象构念时仍需人工把关。
这项研究测试了什么
LLM 能否像第二位人工编码者那样可靠地编码定性数据，如今已是一个实证问题，而不再是假设。根据 Borse、Chatta Subramaniam 和 Rebello（2025）发表的 "Investigation of the Inter-Rater Reliability between Large Language Models and Human Raters in Qualitative Analysis"，研究者将两个 OpenAI 模型（ChatGPT-4o 和 ChatGPT-4.5-preview）与人工评分者进行了比较，数据来自美国中西部一所大学14个本科生小组讨论项目问题解决策略的访谈记录。
研究团队并没有让模型自行归纳主题，而是采用既定的编码方案，衡量 LLM 的编码结果与人工评分者的吻合程度。他们调整了模型超参数（如 temperature）并优化提示词以提高一致性，然后针对每个主题计算 Cohen's kappa，即评分者间信度的标准校正机遇一致性指标。
AI 的可靠性如何？
在具体主题上可靠性较强，在抽象主题上较弱。根据 Borse 等人（2025），这些 LLM 取得了以下结果：
| 结果 | 一致性水平 | Cohen's kappa |
|---|---|---|
| 三个编码主题 | 高度一致 | κ > 0.6 |
| 另一个主题 | 中等一致 | 0.4 – 0.6（未达到高度一致） |
作为参照，Cohen's kappa 的取值范围从 0（机遇一致）到 1（完全一致）。kappa 高于 0.6 通常被视为"高度一致"，许多定性研究团队将约 0.7 视为两位人工编码者可发表的门槛。四个主题中有三个达到 κ > 0.6，意味着这些模型大致处于一位称职的人工第二编码者所在的水平，至少在领域特定的编码上如此。
AI 编码的不足之处
表现最弱的是作者所称的领域通用构念，这类主题需要宽泛且依赖语境的解读，而不是识别某个具体的物理问题解决动作。这与 LLM 编码文献中的普遍规律一致：当编码具有清晰的表层标志时，模型最可靠；当编码需要推断意图、语气或含义，而人类依靠默会知识来化解时，模型最不可靠。
实际含义并不是"AI 取代编码者"，而是 AI 的可靠性取决于主题。负责任的工作流程应逐个编码检验一致性，在 kappa 较高之处依靠模型，并把一致性较低的编码交给人工裁定。
这对研究者意味着什么
如果你正在考虑在2026年采用 AI 辅助编码，这项研究支持一种审慎的、人在回路的做法：
- 使用明确的编码手册。出色的结果来自应用现成的编码方案，而非自由探索。请为模型提供明确的编码定义和示例。
- 测量一致性，不要想当然。在对完整语料信任模型之前，先在样本上计算 AI 与人工之间的 kappa（或其他校正机遇一致性的统计量）。
- 调整提示词和参数设置。作者通过优化超参数和提示词提高了可靠性，可见可靠性在一定程度上是工程问题，而不是模型的固有属性。
- 把抽象编码留给人工。领域通用的、阐释性的主题应保留给人工编码者或双人复核。
这正是 Qualitati 的 QDA Workspace 和我们的 AI 主题分析引擎 ThemeLens 背后的理念：由 AI 在访谈记录中提出并应用编码，研究者则审核、修改并验证每一个编码，让你既享有自动化的速度，又不放弃人工判断的严谨。对于同时负责收集数据的团队，Qualitati 的 AI Interviewer 会把访谈记录直接送入这一编码工作流。
这与更广泛的证据如何契合
2025年的这项信度研究只是快速增长的文献中的一个数据点。近期研究汇聚到一致的结论：LLM 最适合作为额外的编码者，即第二或第三位评分者，能加快工作、提出候选编码并提高一致性，而不是自主的分析者。这些收益是真实的（速度、可扩展性、减少重复劳动），但前提是提示词透明、编码方案明确，并有人工核验。
常见问题
LLM 能取代人工定性编码者吗？
不能。2025年的这项研究表明，GPT-4o 和 GPT-4.5 在具体编码上可与人类达到高度一致，但在抽象的阐释性主题上只有中等一致，因此人工审核仍然不可或缺。
AI 辅助编码的 Cohen's kappa 多少算好？
kappa 高于 0.6 表示高度一致；许多团队以约 0.7 以上作为编码可靠的标准。低于 0.4 则表明该编码很可能需要人工裁定。
测试了哪些模型？
ChatGPT-4o 和 ChatGPT-4.5-preview，与人工评分者对照，数据来自14个本科生小组的讨论（Borse 等，2025）。
提示词设计会影响可靠性吗？
会。作者通过调整超参数和优化提示词提高了一致性，说明可靠性在一定程度上取决于任务的设置方式，而不仅仅取决于模型。
来源：Borse, N. S., Chatta Subramaniam, R., & Rebello, N. S. (2025). Investigation of the Inter-Rater Reliability between Large Language Models and Human Raters in Qualitative Analysis. arXiv:2508.14764.
本文是对第三方研究的独立编辑性摘要。统计数据与研究发现均归属原作者；Qualitati 与该研究无任何关联。