大语言模型能可靠地为开放式问卷回答编码吗？开箱即用的情况下还不行。2025 年发表于 Survey Research Methods 的一项研究，用 5,072 条德语问卷回答测试了 GPT、Llama 和 Mistral，发现只有经过微调的模型达到了专业编码质量（macro F1 为 0.87）。零样本和少样本提示的表现明显不及受过训练的人工编码员，甚至不如一个经典的机器学习基线。
这项研究测试了什么？
研究者 Leah von der Heyde、Anna-Carolina Haensch、Bernd Weiß 和 Jessica Daikeler 提出了一个聚焦的问题：现成的 LLM 能否像人类专家一样，把开放式问卷回答归入预先设定的编码方案？他们使用了 GESIS Panel 的真实数据——从一道关于"人们为何参与问卷调查"的题目中随机抽取 20% 的样本，共 5,072 条回答。两位问卷研究者此前已独立完成这批数据的编码，一致性非常高（Cohen's kappa = 0.91），为 22 个类别提供了可信的人工基准。
团队比较了三个多语言模型——GPT-4o（闭源）、Llama 3.2 和 Mistral NeMo（均为开源），并测试了多种提示策略：零样本、少样本、类别描述以及微调。由于各类别分布不均，他们采用 macro F1（对稀有类别赋予同等权重）作为主要指标，而非原始准确率。
AI 为问卷回答编码的准确率如何？
准确率在很大程度上取决于模型和提示方式。根据 von der Heyde 等人（2025）的结果：
- 微调后的 GPT 达到了 0.87 的 macro F1——这是作者唯一称为"令人满意"的设置，比少样本提示高出 16 个百分点。
- 少样本 GPT 是未微调条件下的最佳结果，macro F1 为 0.71；在各种提示方式下，GPT 的成绩都徘徊在 0.7 左右。
- 开源模型（Llama 3.2、Mistral NeMo）明显落后；即便是它们的最佳提示设置也远不及 GPT。在某些类别上，Llama 一条正确分类都没有。
- 用同一批数据训练的经典支持向量机（Haensch 等，2022）达到了 0.83 的 F1 中位数，胜过所有未经微调的 LLM 设置（最佳为 0.72）。
类别表现不均的问题
这些模型并非整体好或整体差，而是严重偏科。GPT 对常见、具体的类别编码得很好（激励、兴趣和乐趣的 macro F1 约为 0.9），但在模糊或稀有的类别上全面失守（macro F1 仅为 0.02 到 0.3，涉及无理由、无法识别/其他和其他问卷特征）。由于各类别表现差异巨大，AI 生成的理由分布与人工编码的分布出现了偏离——这意味着如果跳过微调，被扭曲的不只是单条标签，还有报告出来的频率本身。
提示方式与模型选择，哪个更重要？
| 设置 | Macro F1（GPT） | 结论 |
|---|---|---|
| 零样本提示 | 约 0.70（三者中最差） | 低于监督学习基线 |
| 少样本提示 | 0.71 | 未微调中的最佳，仍不及 SVM |
| 微调 | 0.87 | 唯一"令人满意"的设置 |
| SVM 基线（2022） | 0.83（F1 中位数） | 胜过所有未微调的 LLM |
核心规律是：模型选择比提示工程更重要。少样本全面优于零样本，但提升幅度取决于模型，而且无论怎样优化提示，都无法弥合开源模型与 GPT 之间的差距。最大的单一杠杆是微调——用已标注的样本重新训练 GPT——而这也是资源投入最大的做法。
这对研究者意味着什么
这项研究有力地纠正了一个常见假设：一个强大的通用模型加上好的提示词，就等于可靠的编码。三条实用启示：
- 在信任类别频率之前先做验证。各类别表现不均会悄悄扭曲你的分布，而不只是单条标签。
- 非英语、特定领域的编码比英语情感分析演示难得多。早先乐观的结果来自更简单的英语任务；这套德语、22 个类别的方案暴露了模型的局限。
- 如果需要达到可发表的信度，请为微调或人机协同审核预留预算。少样本提示适合快速初筛，而不是最终答案。
如果你要为开放式问卷数据或访谈记录编码，证据支持的做法是：把模型当作提出编码建议、由人工确认的助手，而不是自主编码员。像 QualiTaTi 的 ThemeLens 这样的工具正是围绕这种人机协同模式来做 AI 主题分析的，其 AI Surveys 功能也让研究者始终掌控开放式回答的解读方式。
常见问题
ChatGPT 能准确地为开放式问卷回答编码吗？
只能部分做到。在这项 2025 年的研究中，采用少样本提示的 GPT-4o 达到 0.71 的 macro F1——尚可，但低于训练好的 SVM，也达不到专家级信度。需要微调才能达到 0.87。
开源 LLM 足以胜任问卷编码吗？
在这次测试中不行。Llama 3.2 和 Mistral NeMo 明显落后于 GPT，即便使用最佳提示设置，在某些类别上也完全失败。
提示工程能解决 AI 编码效果差的问题吗？
有帮助，但有限。少样本优于零样本，但仅靠提示始终无法追上监督学习基线。最大的提升来自微调。
我还应该用 AI 做定性编码吗？
可以，但要设好护栏：用它生成初稿，验证各类别的表现，引用原始回答，并让人工编码员参与最终决策。
最后更新：2026 年 7 月 16 日。
本文是对第三方研究的独立编辑摘要。QualiTaTi 与该研究的作者无任何关联。原始文献：von der Heyde, L., Haensch, A.-C., Weiß, B., & Daikeler, J. (2025). "AIn't Nothing But a Survey? Using Large Language Models for Coding German Open-Ended Survey Responses on Survey Motivation." Survey Research Methods (arXiv:2506.14634).