大语言模型能可靠地为开放式问卷回答编码吗？开箱即用的情况下还不行。2025 年发表于 Survey Research Methods 的一项研究，用 5,072 条德语问卷回答测试了 GPT、Llama 和 Mistral，发现只有经过微调的模型达到了专业编码质量（macro F1 为 0.87）。零样本和少样本提示的表现明显不及受过训练的人工编码员，甚至不如一个经典的机器学习基线。
\n\n研究者 Leah von der Heyde、Anna-Carolina Haensch、Bernd Weiß 和 Jessica Daikeler 提出了一个聚焦的问题：现成的 LLM 能否像人类专家一样，把开放式问卷回答归入预先设定的编码方案？他们使用了 GESIS Panel 的真实数据——从一道关于\"人们为何参与问卷调查\"的题目中随机抽取 20% 的样本，共 5,072 条回答。两位问卷研究者此前已独立完成这批数据的编码，一致性非常高（Cohen's kappa = 0.91），为 22 个类别提供了可信的人工基准。
\n团队比较了三个多语言模型——GPT-4o（闭源）、Llama 3.2 和 Mistral NeMo（均为开源），并测试了多种提示策略：零样本、少样本、类别描述以及微调。由于各类别分布不均，他们采用 macro F1（对稀有类别赋予同等权重）作为主要指标，而非原始准确率。
\n\n准确率在很大程度上取决于模型和提示方式。根据 von der Heyde 等人（2025）的结果：
\n这些模型并非整体好或整体差，而是严重偏科。GPT 对常见、具体的类别编码得很好（激励、兴趣和乐趣的 macro F1 约为 0.9），但在模糊或稀有的类别上全面失守（macro F1 仅为 0.02 到 0.3，涉及无理由、无法识别/其他和其他问卷特征）。由于各类别表现差异巨大，AI 生成的理由分布与人工编码的分布出现了偏离——这意味着如果跳过微调，被扭曲的不只是单条标签，还有报告出来的频率本身。
\n\n| 设置 | Macro F1（GPT） | 结论 |
|---|---|---|
| 零样本提示 | 约 0.70（三者中最差） | 低于监督学习基线 |
| 少样本提示 | 0.71 | 未微调中的最佳，仍不及 SVM |
| 微调 | 0.87 | 唯一\"令人满意\"的设置 |
| SVM 基线（2022） | 0.83（F1 中位数） | 胜过所有未微调的 LLM |
核心规律是：模型选择比提示工程更重要。少样本全面优于零样本，但提升幅度取决于模型，而且无论怎样优化提示，都无法弥合开源模型与 GPT 之间的差距。最大的单一杠杆是微调——用已标注的样本重新训练 GPT——而这也是资源投入最大的做法。
\n\n这项研究有力地纠正了一个常见假设：一个强大的通用模型加上好的提示词，就等于可靠的编码。三条实用启示：
\n如果你要为开放式问卷数据或访谈记录编码，证据支持的做法是：把模型当作提出编码建议、由人工确认的助手，而不是自主编码员。像 QualiTaTi 的 ThemeLens 这样的工具正是围绕这种人机协同模式来做 AI 主题分析的，其 AI Surveys 功能也让研究者始终掌控开放式回答的解读方式。
\n\nChatGPT 能准确地为开放式问卷回答编码吗？
只能部分做到。在这项 2025 年的研究中，采用少样本提示的 GPT-4o 达到 0.71 的 macro F1——尚可，但低于训练好的 SVM，也达不到专家级信度。需要微调才能达到 0.87。
开源 LLM 足以胜任问卷编码吗？
在这次测试中不行。Llama 3.2 和 Mistral NeMo 明显落后于 GPT，即便使用最佳提示设置，在某些类别上也完全失败。
提示工程能解决 AI 编码效果差的问题吗？
有帮助，但有限。少样本优于零样本，但仅靠提示始终无法追上监督学习基线。最大的提升来自微调。
我还应该用 AI 做定性编码吗？
可以，但要设好护栏：用它生成初稿，验证各类别的表现，引用原始回答，并让人工编码员参与最终决策。
最后更新：2026 年 7 月 16 日。
\n本文是对第三方研究的独立编辑摘要。QualiTaTi 与该研究的作者无任何关联。原始文献：von der Heyde, L., Haensch, A.-C., Weiß, B., & Daikeler, J. (2025). \"AIn't Nothing But a Survey? Using Large Language Models for Coding German Open-Ended Survey Responses on Survey Motivation.\" Survey Research Methods (arXiv:2506.14634).
\n","related":[{"slug":"ai-conversational-interviewing-2026-study","title":"AI 能做研究访谈吗？2026 年实地研究结果","description":"AI 能做研究访谈吗？2026 年一项 571 人实地研究比较了 AI 语音访谈、文字访谈与标准化问卷的效果。","category":"指南","date":"2026-07-31","readTime":"8 分钟阅读","author":"Qualitati 研究团队"},{"slug":"digital-twins-survey-respondents-2026-study","title":"数字孪生能取代问卷受访者吗？2026年研究结论","description":"哥伦比亚商学院 2026 年研究发现，在 164 项结果指标上，LLM 数字孪生与真实问卷回答的相关系数仅为 r = 0.20：它们是哈哈镜，而非替代品。","category":"指南","date":"2026-07-29","readTime":"8 分钟阅读","author":"Qualitati 研究团队"},{"slug":"is-ai-qualitative-coding-biased-2025","title":"AI 定性编码有偏差吗？2025 年一项研究的发现","description":"2025 年发表于 Sociological Methods & Research 的研究发现，ChatGPT 和 Llama 2 的编码错误与受访者特征相关；而小型监督模型更准确、偏差更小。","category":"指南","date":"2026-07-28","readTime":"8 分钟阅读","author":"Qualitati 研究团队"}]}