简短回答：编码者间信度衡量两位编码者对同一批数据施加相同编码的一致程度，通常使用 Cohen's κ。在 AI 定性编码中，LLM 被当作一位编码者，并与人工黄金标准进行比对。截至 2026 年，提示词设计良好的前沿模型在具体的、领域特定的编码上可达到相当程度的人机一致性（κ ≈ 0.60–0.70），但在抽象构念上会下降。人工监督仍是必需的。
\n\n编码者间信度（ICR）— 也称评分者间信度 — 指独立编码者对定性数据的同一片段赋予相同编码的程度。它是证明编码本清晰、编码并非某位研究者一己之见的经典证据。当你把 AI 引入定性数据分析时，编码者间信度自然成为回答一个简单问题的标尺：模型的编码方式是否与受过训练的人类一致？把 LLM 当作第二位编码者，让它与人工编码的黄金标准比对，然后计算一致性统计量。
\n最后更新：2026 年 7 月 13 日。以下所有统计数据均标注了具名、注明日期的 2025–2026 年来源；证据存在分歧之处，我们会明确说明。
\n\n整个流程与经典的双编码者信度一致，只是由模型充当第二位人类编码者。
\n| Cohen's κ | 常见解释 | 在 AI 编码中该怎么做 |
|---|---|---|
| < 0.20 | 极弱 | 编码本或单元有问题；不要自动化 |
| 0.21–0.40 | 一般 | 仅用人工；修订定义 |
| 0.41–0.60 | 中等 | AI 出初稿，人工全面复核 |
| 0.61–0.80 | 较强 | AI 辅助编码，配以人工验证 |
| 0.81–1.00 | 近乎完美 | 抽查；审核边界案例 |
这些阈值是惯例（Landis & Koch, 1977），而非定律。许多方法学者认为 κ ≥ 0.60–0.70 对探索性工作是可接受的，而对高风险编码则要求更高。
\n\n研究图景令人鼓舞，但有边界。在 2025 年 8 月一项关于工程设计讨论的研究中（14 个小组、42 名学生、204 个文本片段），ChatGPT-4o 与 4.5-preview 经调优后达到了相当程度的人机一致性：物理概念的 κ = 0.70，工程设计编码为 0.60，但元认知思维仅为 0.55 — 也就是最抽象的那个构念（arXiv 2508.14764）。更早的研究发现了明显的模型代际差距：在相同提示词下，GPT-4 达到了与人类相当的诠释水平，而 GPT-3.5 的 κ 平均仅为 ≈ 0.34。
\n2025 年的第二项发现是一记有益的警告。2025 年 7 月的一篇论文表明，通过调节温度与角色设定让多个 LLM 智能体彼此达成一致，相对于人工真实标准只产生了“微乎其微的准确性提升”（arXiv 2507.11198）。教训是：模型之间的共识不等于正确。只有与人工黄金标准的一致，才算得上信度证据。
\n\n在你把任何 AI 辅助编码报告为可信之前，请使用这份 Qualitati 原创清单。
\n编码者间信度对演绎式编码最有意义，因为固定的编码本界定了“一致”究竟指什么。AI 在这里表现良好：类别是预先设定的，模型有明确的目标。而对于归纳式编码，编码从数据中涌现，ICR 就是一件较为粗钝的工具 — 两位编码者（无论人还是 AI）可能生成不同却同样有效的编码标签。对于归纳式工作，信度的重心从“标签完全相同”转向透明度、审计轨迹与反身性。有编码本时报告 ICR；没有时则报告你的过程。
\n\nQualitati 是一个面向产品、UX 与洞察团队的 AI 用户研究平台，其定性数据分析围绕人在回路的编码来构建。QDA 工作台支持 AI 辅助的归纳式与演绎式编码、编码本生成与主题可视化，研究者可以对每一个编码进行确认、合并、重命名或否决 — 这正是编码者间信度所预设的那套推翻机制。在更高层次的综合上，ThemeLens 以 map-reduce 式主题流程一次处理至多 100 份转录稿，把编码映射到研究问题，并将主题锚定在受访者原话上。Qualitati 会记录每个分析工具所使用的模型与温度参数，便于你留存本清单所要求的可复现性细节。它支持 10 种语言，定价透明：注册即享含 30 点额度的免费层级，无需信用卡，并公开每点单价 — 在 AI 原生分析方面，它明确定位为 NVivo、ATLAS.ti 与 MAXQDA 的替代方案。参见透明定价。
\n\n编码者间信度是必要条件，但不是充分条件。高 κ 证明的是一致性，而非效度：两位编码者完全可以稳定地施用一套有缺陷的编码本，并在错误的结论上取得一致。Kappa 还对基础发生率敏感 — 罕见编码即便原始一致率很高，κ 也可能很低（即“kappa 悖论”），所以要与百分比一致率和基线比例一并解读。已发表的 AI 数值来自特定领域（STEM 教育、小样本），未必能迁移到你的访谈数据、敏感主题或非英语语料。此外，把信度强加于真正诠释性、反身性的分析可能扭曲方法本身 — 并非每一种定性传统都把 κ 当作目标。人工复核提示：在发表之前，请针对你自己的数据与部署环境核实任何关于模型表现或信度的主张；不要从品类基准数据中推断。
\n\n对于 AI 辅助编码，Cohen's κ 在 0.61–0.80（“较强”）区间是常见的接受门槛，并需配以人工验证。高风险编码应达到 κ ≥ 0.80。低于 0.60 时，只应把 AI 当作初稿工具，并修订编码本。
\n\n在具体、定义明确的编码上，前沿模型在 2026 年的一项研究中相对于人工编码者达到了 0.60–0.70 的 κ — 属于较强一致。在抽象或诠释性构念上，一致性会下降，人工监督仍不可或缺。
\n\n两位编码者（例如一位人类对一个 AI）且编码为名义变量时，用 Cohen's κ。编码者超过两位、存在缺失数据，或编码为有序/等距变量时，用 Krippendorff's α。两者都对偶然一致做了校正；原始百分比一致率则没有。
\n\n不能。2025 年 7 月的一项研究发现，让多个 LLM 智能体彼此达成一致，相对于真实标准只带来微乎其微的准确性提升。信度证据要求与人工黄金标准一致，而不是模型与模型之间的共识。
\n\n不那么直接。ICR 预设了一套固定的编码本，这与演绎式编码相契合。对于编码逐步涌现的归纳式编码，应优先看重透明度、审计轨迹与反身性，而不是单一的 κ 数值。
\n\n编码者间信度把“这个 AI 看起来挺准”变成一个你能为之辩护的数字。2025–2026 年的证据很清楚：提示词设计良好的前沿模型在具体编码上可达到相当程度的人机一致，在抽象编码上一致性较弱，而模型之间的共识本身什么也证明不了。请把 LLM 当作第二位编码者，对照人工黄金标准做验证，并保持人在回路。免费开始，赠送 30 点额度 — 在QDA 工作台中运行内置人工验证的 AI 辅助编码，或对比透明定价与 NVivo、ATLAS.ti 和 MAXQDA。
","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}