一致性并不等于质量。 2026 年 7 月的一项研究发现，LLM 的定性编码与人类编码者的一致性远低于人类彼此之间的一致性；但当一位盲评的领域专家直接评判编码本身时，他仅在 51.5% 的情况下更偏好人类的编码。低一致性并不意味着低质量。
\n\n研究要问的是：用\"与人类编码者的一致性\"来判断 LLM 是否足以自动化定性编码，这种做法本身是否成立。根据 Liu、Esbenshade、Xiao、Tian、Zhang、He 与 Sun（2026）在 《Agreement Is Not Quality: Blind Expert Verification of Human and LLM Qualitative Coding When Human Consensus Is Not Ground Truth》（arXiv:2607.28890，2026 年 7 月 30 日）中的报告，实验设计刻意保持对称：人与机器接受同一套标准，事先不假定任何一方正确。
\n\n相当大——按通行的信度标准，大到足以判定\"不合格\"。人类与 LLM 之间的一致性 Jaccard 指数为 0.30，而人类之间为 0.52（Liu 等，2026）。在常规的信度筛查里，这个差距就是结论：模型被判为不可靠，自动化方案随之被否决。
\n\n几乎无从区分。在 855 组盲评两两对比中，专家有 51.5% 的情况偏好人类编码，48.5% 偏好 LLM 编码——差异未达统计显著（p = 0.537）。Bradley–Terry 排名更进一步：5 个 LLM 系统中有 2 个排在 3 位受训人类编码者中的 2 位之上。
\n\n| 指标 | 结果 | 含义 |
|---|---|---|
| 人类之间的一致性（Jaccard） | 0.52 | 传统基准的\"天花板\" |
| 人类与 LLM 的一致性（Jaccard） | 0.30 | 通常会被读作\"不够好\" |
| 盲评专家偏好 | 51.5% 人类 / 48.5% LLM（p = 0.537） | 检测不到质量差异 |
| Bradley–Terry 排名 | 2 个 LLM 高于 3 位人类编码者中的 2 位 | 编码者身份无法预测排名 |
因为分歧的成因不止一种。两位编码者出现差异，可能是其中一方判断错误，也可能是双方对一段含混文本给出了各自站得住脚的解读。把一份 72 项的编码手册用在简短、语境稀薄的消息上，会大量产生后一种情形。作者还报告了若干案例：人类的共识反映的是一种共享的偏差，而盲评者拒绝了它，转而认可 LLM 的解读。一旦如此，把人类共识当作金标准就不只是低估了模型质量，而是把人类的盲点直接写进了基准本身。
\n这正是标准评估方式中那个被忽略的问题。与人类的一致性衡量的是与某一组特定编码者的相似度。只有当这组人是对的，它才等于质量——而这恰恰是该指标无法自我检验的部分。
\n\n不要停止计算信度——但不要再把它单独当作一道通过／否决的关卡。论文给出三点可操作的转变：
\n如果你在实务中使用 AI 辅助编码，其工作流含义是：你的工具必须让分歧可检视——你需要看到哪些片段出现了分歧、以及为什么。这正是 ThemeLens 的设计原则：每一个编码都可回溯到原始摘录，让复核者去裁决，而不是接受一个相似度分数。同样的逻辑也适用于上游：由 AI Interviewer 产出的更干净、追问更充分的访谈记录，能从源头减少那些真正含混、从而压低一致性的段落。
\n\n这是单一语料、单一领域、单一盲评者的研究。72 项的编码手册颗粒度异常细，而颗粒度本身就会机械地压低一致性分数——换成更精简的编码手册，效应可能更小。而且一位专家再独立，也仍然只是一个视角。这篇论文的贡献既在于数据，也在于协议：它提供了一种可迁移的方法，用来检验你的一致性指标是否真在衡量你以为它在衡量的东西。
\n\n这是否意味着评分者间信度对 AI 编码毫无用处？
不是。它仍是一致性的有用信号，也能及早提示编码手册存在含混。研究质疑的是：仅凭它来判定 LLM 的编码是否够好。
那么 Jaccard 0.30 就可以接受了吗？
并非自动可接受。研究的结论是：这么低的分数本身并不能证明质量差——你必须去看分歧本身。在这项研究里它们大多站得住脚；换一项研究则未必。
什么是盲评专家验证？
由独立专家对比来自不同来源的编码决策，且不知道各自出自谁，然后表明偏好。因为来源被隐藏，判断就不会被\"对人类或机器的预期\"所左右。
人类编码者会共享偏差吗？
会——论文对此有记录。一同受训、使用同一份编码手册、身处同一领域的编码者，可能共同收敛到一种外部专家并不认可的解读。他们之间的高一致性看起来像信度，实则可能是共享的错误。
最后更新：2026 年 8 月 5 日。本文是对第三方研究的独立编辑性摘要，QualiTaTi 与论文作者无隶属关系。完整方法与结果请阅读原始论文。
\n","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}