提示工程对 AI 定性编码的帮助，远比多数研究者想象的要小。在一项 2026 年的对照研究中，三个大语言模型对 116 条真实论坛引文进行编码，从零样本（zero-shot）切换到多样本（multi-shot）提示后，与人类编码者的一致性仅提升了约 0.03 的 Cohen's kappa — 而且每个模型都停留在“尚可到中等”的区间。
\n\n研究以人工编码的黄金标准为基准，比较了两种提示策略。Alshaikh 及其同事（2026）为 EASE 2026 的 PROMPT-SE 研讨会撰文，让三个低成本 LLM — Claude Haiku、DeepSeek-Chat 与 Gemini 2.5 Flash — 对取自 Stack Exchange 项目管理与软件工程社区的 116 条引文做封闭式编码。
\n编码手册包含七个行为类别，源自 Amy Edmondson 的心理安全框架：承认错误、对建议/想法提出异议、指出错误、表达担忧、建议改变、寻求帮助，以及分享负面反馈。人类编码者通过多位研究者编码加共识裁决建立黄金标准，研究者之间的分歧率为 4.67%。
\n关键在于，作者对每个模型、每种提示配置各独立运行了十次 — 总计 60 次分类运行 — 而不是只信一次结果。事实证明，这一设计选择是论文最有价值的贡献。
\n\n与人类编码者的一致性最多只能算中等，多样本提示带来的增益很小。根据 Alshaikh 等人（2026）的报告，Cohen's kappa 的均值如下：
\n\n| 模型 | 零样本 kappa | 多样本 kappa | 变化 |
|---|---|---|---|
| Gemini 2.5 Flash | 0.403 | 0.437 | +0.034 |
| Claude Haiku | 0.392 | 0.426 | +0.034 |
| DeepSeek-Chat | 0.332 | 0.331 | −0.001 |
只有 Claude Haiku 的提升达到统计显著（Wilcoxon p = 0.004）。Gemini 呈正向趋势，DeepSeek-Chat 则基本没有变化 — 提示中的示例对它毫无作用。
\n作为参照，0.33–0.44 区间的 kappa 值通常被解读为“尚可到中等”的一致性。这远低于多数定性研究团队对两位人类编码者之间一致性的接受标准，也意味着这些配置都不能被信任去做无人监督的编码。
\n\n不同模型之间的运行间不稳定性差异显著，这正是单次运行评估会误导人的原因。在相同数据、相同提示的十次重复中，DeepSeek-Chat 与 Claude Haiku 的 kappa 标准差各约为 0.017，而 Gemini 2.5 Flash 为 0.038 — 超过前者的两倍。
\n实际后果是：如果你只评估一次 Gemini 并恰好抽到了好结果，你对其一致性的高估幅度可能与多样本提示的全部收益相当。作者主张，任何报告 LLM 编码表现的人都应把多次运行评估视为最低方法学标准。这是一个合理的门槛，但目前极少有已发表的应用能够达到。
\n\n错误是系统性的，而非随机的 — 模型表现出一贯的类别偏好。最明显的模式是对“分享负面反馈”的过度预测，这个稀有编码在 116 条引文中仅出现 4 次。模型赋予它的频率是真实频率的 4.75 倍（Claude Haiku 与 DeepSeek-Chat）和 5.25 倍（Gemini 2.5 Flash）。
\n反方向上，三个模型都对“表达担忧”预测不足 — 它是最常见的编码，在 116 条引文中出现 50 次 — 零样本提示下的比率在 0.64 到 0.74 之间。
\n任何审核过 AI 编码输出的人对这种错误形态都不陌生。模型倾向于生动、词汇上有辨识度的类别，而远离宽泛、依赖语境定义的类别。一条表达忧虑的引文读起来像是平淡无奇的文本；一条措辞尖锐的引文却会触发“负面反馈”的模式，即使其背后的构念并不相同。如果你的编码手册把稀有但醒目的编码与常见但弥散的编码混在一起，就要预期 AI 编码的分布会恰好以这种方式发生偏斜。
\n\n从这些发现中可以得出三条实用结论：
\n以上没有一条反对把 LLM 用于定性编码。它们主张的是，把 LLM 当作由人来核验的第一遍处理 — 这正是 ThemeLens 这类工具的设计用法：AI 提出编码与主题，研究者裁决并保留审计轨迹。同样的逻辑也适用于上游的数据收集：AI 访谈员可以规模化地进行对话，但解释性的论断仍然属于研究者。
\n\n设计严谨，但范围狭窄，作者自己也如此说明。语料是来自两个 Stack Exchange 社区的 116 条引文，因此结论未必能推广到访谈记录、开放式问卷文本或其他领域。若干心理安全类别在语义上相互重叠，这抬高了任务难度并压低了 kappa，而其中部分原因在于编码手册而非模型。此外，人工黄金标准虽基于共识，却没有报告正式的评分者间信度统计量 — 所以我们无法判断模型的 0.33–0.44 与同一数据上人与人之间的上限相比如何。人类基线若是 0.60，与 0.85 所讲述的故事会截然不同。
\n请把这项研究当作关于问题形态的证据 — 逐模型的提示敏感性、运行间方差、系统性编码偏差 — 而不是关于 AI 整体编码水平的基准测试。
\n\n有时能，而且幅度不大。在这项研究中，它让三个模型中的两个提升了约 0.03 的 kappa，对第三个没有影响。值得在你自己的模型和编码手册上实际测试，而不是假设它一定有用。
\n\n没有单一公认的阈值，但这里观察到的 0.33–0.44 区间通常被解读为“尚可到中等” — 还不足以在没有人工审核的情况下进行编码。更有参考价值的比较对象，是你自己的人类编码者在同一数据上达到的一致性。
\n\n因为输出在运行之间会变化。这项研究发现，十次完全相同的运行中 kappa 的标准差在 0.017 到 0.038 之间，这意味着单次运行高估或低估表现的幅度，大致与一次提示改进能带来的收益相当。
\n\nGemini 2.5 Flash 的 kappa 均值最高（多样本 0.437），但输出也最不稳定。Claude Haiku 紧随其后（0.426）且更为一致。差异小到模型选择大概更应取决于成本、隐私与稳定性，而不是仅凭这些准确度数字。
\n\n最后更新：2026 年 7 月 20 日。本文是对第三方研究的独立编辑摘要，与研究作者无关联，亦未获其背书。原始来源：Alshaikh et al., \"Prompt Engineering Strategies for LLM-based Qualitative Coding of Psychological Safety in Software Engineering Communities: A Controlled Empirical Study,\" arXiv:2605.07422 (2026)。
","related":[{"slug":"ai-conversational-interviewing-2026-study","title":"AI 能做研究访谈吗？2026 年实地研究结果","description":"AI 能做研究访谈吗？2026 年一项 571 人实地研究比较了 AI 语音访谈、文字访谈与标准化问卷的效果。","category":"指南","date":"2026-07-31","readTime":"8 分钟阅读","author":"Qualitati 研究团队"},{"slug":"digital-twins-survey-respondents-2026-study","title":"数字孪生能取代问卷受访者吗？2026年研究结论","description":"哥伦比亚商学院 2026 年研究发现，在 164 项结果指标上，LLM 数字孪生与真实问卷回答的相关系数仅为 r = 0.20：它们是哈哈镜，而非替代品。","category":"指南","date":"2026-07-29","readTime":"8 分钟阅读","author":"Qualitati 研究团队"},{"slug":"is-ai-qualitative-coding-biased-2025","title":"AI 定性编码有偏差吗？2025 年一项研究的发现","description":"2025 年发表于 Sociological Methods & Research 的研究发现，ChatGPT 和 Llama 2 的编码错误与受访者特征相关；而小型监督模型更准确、偏差更小。","category":"指南","date":"2026-07-28","readTime":"8 分钟阅读","author":"Qualitati 研究团队"}]}