最后更新：2026年5月30日
\n\n在2025年的一项研究中，GPT-4o 和 GPT-4.5 在真实定性数据集的四个主题中，有三个与人工编码者达到了高度一致（Cohen's kappa > 0.6），而在一个领域通用型主题上只达到中等一致。结论是：大语言模型在具体、定义清晰的编码上可以达到与人类相当的评分者间信度，但面对抽象构念时仍需人工把关。
\n\nLLM 能否像第二位人工编码者那样可靠地编码定性数据，如今已是一个实证问题，而不再是假设。根据 Borse、Chatta Subramaniam 和 Rebello（2025）发表的 \"Investigation of the Inter-Rater Reliability between Large Language Models and Human Raters in Qualitative Analysis\"，研究者将两个 OpenAI 模型（ChatGPT-4o 和 ChatGPT-4.5-preview）与人工评分者进行了比较，数据来自美国中西部一所大学14个本科生小组讨论项目问题解决策略的访谈记录。
\n研究团队并没有让模型自行归纳主题，而是采用既定的编码方案，衡量 LLM 的编码结果与人工评分者的吻合程度。他们调整了模型超参数（如 temperature）并优化提示词以提高一致性，然后针对每个主题计算 Cohen's kappa，即评分者间信度的标准校正机遇一致性指标。
\n\n在具体主题上可靠性较强，在抽象主题上较弱。根据 Borse 等人（2025），这些 LLM 取得了以下结果：
\n| 结果 | 一致性水平 | Cohen's kappa |
|---|---|---|
| 三个编码主题 | 高度一致 | κ > 0.6 |
| 另一个主题 | 中等一致 | 0.4 – 0.6（未达到高度一致） |
作为参照，Cohen's kappa 的取值范围从 0（机遇一致）到 1（完全一致）。kappa 高于 0.6 通常被视为\"高度一致\"，许多定性研究团队将约 0.7 视为两位人工编码者可发表的门槛。四个主题中有三个达到 κ > 0.6，意味着这些模型大致处于一位称职的人工第二编码者所在的水平，至少在领域特定的编码上如此。
\n\n表现最弱的是作者所称的领域通用构念，这类主题需要宽泛且依赖语境的解读，而不是识别某个具体的物理问题解决动作。这与 LLM 编码文献中的普遍规律一致：当编码具有清晰的表层标志时，模型最可靠；当编码需要推断意图、语气或含义，而人类依靠默会知识来化解时，模型最不可靠。
\n实际含义并不是\"AI 取代编码者\"，而是 AI 的可靠性取决于主题。负责任的工作流程应逐个编码检验一致性，在 kappa 较高之处依靠模型，并把一致性较低的编码交给人工裁定。
\n\n如果你正在考虑在2026年采用 AI 辅助编码，这项研究支持一种审慎的、人在回路的做法：
\n这正是 Qualitati 的 QDA Workspace 和我们的 AI 主题分析引擎 ThemeLens 背后的理念：由 AI 在访谈记录中提出并应用编码，研究者则审核、修改并验证每一个编码，让你既享有自动化的速度，又不放弃人工判断的严谨。对于同时负责收集数据的团队，Qualitati 的 AI Interviewer 会把访谈记录直接送入这一编码工作流。
\n\n2025年的这项信度研究只是快速增长的文献中的一个数据点。近期研究汇聚到一致的结论：LLM 最适合作为额外的编码者，即第二或第三位评分者，能加快工作、提出候选编码并提高一致性，而不是自主的分析者。这些收益是真实的（速度、可扩展性、减少重复劳动），但前提是提示词透明、编码方案明确，并有人工核验。
\n\nLLM 能取代人工定性编码者吗？
不能。2025年的这项研究表明，GPT-4o 和 GPT-4.5 在具体编码上可与人类达到高度一致，但在抽象的阐释性主题上只有中等一致，因此人工审核仍然不可或缺。
AI 辅助编码的 Cohen's kappa 多少算好？
kappa 高于 0.6 表示高度一致；许多团队以约 0.7 以上作为编码可靠的标准。低于 0.4 则表明该编码很可能需要人工裁定。
测试了哪些模型？
ChatGPT-4o 和 ChatGPT-4.5-preview，与人工评分者对照，数据来自14个本科生小组的讨论（Borse 等，2025）。
提示词设计会影响可靠性吗？
会。作者通过调整超参数和优化提示词提高了一致性，说明可靠性在一定程度上取决于任务的设置方式，而不仅仅取决于模型。
来源：Borse, N. S., Chatta Subramaniam, R., & Rebello, N. S. (2025). Investigation of the Inter-Rater Reliability between Large Language Models and Human Raters in Qualitative Analysis. arXiv:2508.14764.
\n本文是对第三方研究的独立编辑性摘要。统计数据与研究发现均归属原作者；Qualitati 与该研究无任何关联。
\n","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}