最后更新：2026年5月31日
简短回答：提示词设计会改变AI定性编码吗？
会。提示词的措辞方式会显著改变大语言模型为定性数据分配的编码。2025年一项提出HALC的研究（Reich、Thoms & Schrimpf，2025）在约两百万次模型请求中测试了1,512条提示词，发现经过系统优化的提示词可以将模型与人类专家编码者的一致性提升到"相当可观"（substantial）的区间（Krippendorff's alpha最高达0.78）。提示词设计并不是一个表面细节——它是AI辅助编码中一项核心的效度决策。
这项研究测试了什么？
这篇论文题为"Introducing HALC: A general pipeline for finding optimal prompting strategies for automated coding with LLMs in the computational social sciences"，由Andreas Reich、Claudia Thoms和Tobias Schrimpf于2025年7月29日发布在arXiv上。HALC是一条流水线，针对给定的编码手册和模型系统地构建并测试提示词，而不是为了迎合模型而改写编码手册。作者在本地开放权重模型上运行了1,512条不同的提示词——总计约两百万次请求——然后将得到的编码与两个社会科学语料库（一个"气候"数据集和一个"社会运动"数据集）上的专家编码基准进行比较。
AI编码的信度有多高？
使用Mistral NeMo配合HALC优化后的提示词，作者报告了以下与人类专家的一致性结果，以Krippendorff's alpha衡量（其中0.667是常用的最低门槛，0.80被视为强一致性）：
| 编码任务 | 数据集 | Krippendorff's alpha |
|---|---|---|
| 单变量编码 | 气候 | 0.76 |
| 单变量编码 | 社会运动 | 0.78 |
| 多变量编码 | 气候 | 0.71 |
| 多变量编码 | 社会运动 | 0.74 |
根据Reich、Thoms & Schrimpf（2025）的报告，单变量任务（每次只判定一个编码）的信度高于多变量任务（同时处理多个编码）——这一模式与人类编码者在编码手册变得更复杂时也更容易出错的情况相呼应。关键在于，这些数字是用一个开放的、本地部署的模型取得的，而不是前沿商业API，这表明细致的提示词设计可以在一定程度上替代模型规模本身。
HALC究竟是如何工作的？
这条流水线的逻辑可以拆成四个步骤：
- 固定编码手册。HALC让模型对齐现有的、由人类撰写的编码手册，而不是为了让模型更容易完成任务而简化定义——从而保留原始的分析意图。
- 生成提示词变体。它为同一个编码任务构建大量候选提示词，在结构、上下文和指令风格上各有不同。
- 对照基准打分。每条提示词的输出都与专家编码进行比较，因此"最佳"提示词是通过实证选出的，而不是凭直觉。
- 选定并复用。表现最好的提示词配置被保留下来，用于对语料库其余部分的正式编码。
这对研究者为何重要
最核心的启示是：一条固定不变的提示词是一个隐藏的方法论假设。两位研究者用同一个模型编码同一批访谈记录，仅因提示词措辞不同就可能得出不同的结论——这是一种传统评分者间信度检验从未被设计用来捕捉的可重复性风险。这项研究把提示词设计重新定位为需要被记录、测试和报告的对象，就像编码手册或访谈提纲一样。
对于应用型UX研究者和市场研究者，实践层面的要点是：（1）以人类撰写的编码手册作为唯一事实来源；（2）在信任输出之前测试不止一条提示词；（3）报告AI编码相对于人工编码样本的信度。能让每个AI编码始终锚定在底层数据上的工具会让这一切容易得多。在Qualitati中，ThemeLens提出的主题始终与受访者原话相链接，而QDA Workspace让研究者可以在每个AI分配的编码被计为研究发现之前进行审阅、编辑和验证。再搭配AI主持的访谈来采集原始数据。
证据的局限
这只是一项研究，基于两个社会科学语料库和特定的开放模型，因此具体的alpha数值不会直接迁移到每个领域、每份编码手册或每种语言。两百万次请求的规模也意味着实际的算力成本，小型团队可能无法复现。此外，与专家编码的高一致性衡量的是信度，而不是解读深度——一个LLM可以保持一致，却仍然遗漏熟练的定性研究者能够发掘出的细微之处。这一结果支持把提示词优化当作一门方法学规范来对待，而不是把人从流程中移除。
常见问题
提示词措辞真的会改变定性编码结果吗？
会。2025年的HALC研究测试了1,512条提示词，发现提示词设计实质性地影响了与人类编码者的一致性，优化后的提示词使Krippendorff's alpha最高达到0.78。
AI编码的"良好"信度分数是多少？
Krippendorff's alpha达到0.667是常用的最低标准，0.80表示强一致性。HALC的最佳结果（0.71–0.78）落在"相当可观"的区间，低于0.80的强一致性门槛。
如果优化了提示词，我还需要人类编码者吗？
需要。优化后的提示词能提高信度，但并不能保证解读效度。最佳实践是用人工编码的样本来验证AI编码，并让研究者始终参与其中。
我在哪里可以阅读原始论文？
预印本发布在arXiv上：arxiv.org/abs/2507.21831。
主要来源：Reich, A., Thoms, C., & Schrimpf, T. (2025). Introducing HALC: A general pipeline for finding optimal prompting strategies for automated coding with LLMs in the computational social sciences. arXiv:2507.21831. https://arxiv.org/abs/2507.21831
最后更新：2026年5月31日。本文是对第三方研究的独立编辑性摘要；Qualitati与论文作者无关联。