最后更新：2026年5月31日
\n\n会。提示词的措辞方式会显著改变大语言模型为定性数据分配的编码。2025年一项提出HALC的研究（Reich、Thoms & Schrimpf，2025）在约两百万次模型请求中测试了1,512条提示词，发现经过系统优化的提示词可以将模型与人类专家编码者的一致性提升到\"相当可观\"（substantial）的区间（Krippendorff's alpha最高达0.78）。提示词设计并不是一个表面细节——它是AI辅助编码中一项核心的效度决策。
\n\n这篇论文题为\"Introducing HALC: A general pipeline for finding optimal prompting strategies for automated coding with LLMs in the computational social sciences\"，由Andreas Reich、Claudia Thoms和Tobias Schrimpf于2025年7月29日发布在arXiv上。HALC是一条流水线，针对给定的编码手册和模型系统地构建并测试提示词，而不是为了迎合模型而改写编码手册。作者在本地开放权重模型上运行了1,512条不同的提示词——总计约两百万次请求——然后将得到的编码与两个社会科学语料库（一个\"气候\"数据集和一个\"社会运动\"数据集）上的专家编码基准进行比较。
\n\n使用Mistral NeMo配合HALC优化后的提示词，作者报告了以下与人类专家的一致性结果，以Krippendorff's alpha衡量（其中0.667是常用的最低门槛，0.80被视为强一致性）：
\n\n| 编码任务 | 数据集 | Krippendorff's alpha |
|---|---|---|
| 单变量编码 | 气候 | 0.76 |
| 单变量编码 | 社会运动 | 0.78 |
| 多变量编码 | 气候 | 0.71 |
| 多变量编码 | 社会运动 | 0.74 |
根据Reich、Thoms & Schrimpf（2025）的报告，单变量任务（每次只判定一个编码）的信度高于多变量任务（同时处理多个编码）——这一模式与人类编码者在编码手册变得更复杂时也更容易出错的情况相呼应。关键在于，这些数字是用一个开放的、本地部署的模型取得的，而不是前沿商业API，这表明细致的提示词设计可以在一定程度上替代模型规模本身。
\n\n这条流水线的逻辑可以拆成四个步骤：
\n最核心的启示是：一条固定不变的提示词是一个隐藏的方法论假设。两位研究者用同一个模型编码同一批访谈记录，仅因提示词措辞不同就可能得出不同的结论——这是一种传统评分者间信度检验从未被设计用来捕捉的可重复性风险。这项研究把提示词设计重新定位为需要被记录、测试和报告的对象，就像编码手册或访谈提纲一样。
\n对于应用型UX研究者和市场研究者，实践层面的要点是：（1）以人类撰写的编码手册作为唯一事实来源；（2）在信任输出之前测试不止一条提示词；（3）报告AI编码相对于人工编码样本的信度。能让每个AI编码始终锚定在底层数据上的工具会让这一切容易得多。在Qualitati中，ThemeLens提出的主题始终与受访者原话相链接，而QDA Workspace让研究者可以在每个AI分配的编码被计为研究发现之前进行审阅、编辑和验证。再搭配AI主持的访谈来采集原始数据。
\n\n这只是一项研究，基于两个社会科学语料库和特定的开放模型，因此具体的alpha数值不会直接迁移到每个领域、每份编码手册或每种语言。两百万次请求的规模也意味着实际的算力成本，小型团队可能无法复现。此外，与专家编码的高一致性衡量的是信度，而不是解读深度——一个LLM可以保持一致，却仍然遗漏熟练的定性研究者能够发掘出的细微之处。这一结果支持把提示词优化当作一门方法学规范来对待，而不是把人从流程中移除。
\n\n提示词措辞真的会改变定性编码结果吗？
会。2025年的HALC研究测试了1,512条提示词，发现提示词设计实质性地影响了与人类编码者的一致性，优化后的提示词使Krippendorff's alpha最高达到0.78。
AI编码的\"良好\"信度分数是多少？
Krippendorff's alpha达到0.667是常用的最低标准，0.80表示强一致性。HALC的最佳结果（0.71–0.78）落在\"相当可观\"的区间，低于0.80的强一致性门槛。
如果优化了提示词，我还需要人类编码者吗？
需要。优化后的提示词能提高信度，但并不能保证解读效度。最佳实践是用人工编码的样本来验证AI编码，并让研究者始终参与其中。
我在哪里可以阅读原始论文？
预印本发布在arXiv上：arxiv.org/abs/2507.21831。
主要来源：Reich, A., Thoms, C., & Schrimpf, T. (2025). Introducing HALC: A general pipeline for finding optimal prompting strategies for automated coding with LLMs in the computational social sciences. arXiv:2507.21831. https://arxiv.org/abs/2507.21831
\n\n最后更新：2026年5月31日。本文是对第三方研究的独立编辑性摘要；Qualitati与论文作者无关联。
","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}