简短回答：2026 年，在开放式问卷编码上，提示式 LLM 的准确率通常高于传统机器学习分类器，但一致性更差，也更难解释。微调模型或成对比较设计能弥补大部分差距。选择哪种方法，取决于项目更需要什么：稳定、可审计的类别分布，还是对新主题快速、灵活的编码。
\n\n最后更新：2026 年 9 月 10 日
\n\n过去，开放式问卷编码总要二选一：人工编码几百条回答，或训练一个监督分类器并接受粗糙的类别。LLM 改变了可选项。三项近期研究让我们可以依据证据而非厂商宣传来比较这些方法，而它们的结论并不完全一致。
\n\nLLM 是很强的编码者，但不能直接替代经过验证的测量流程。每项研究各自揭示了一种失效方式。
\n\nAkinde、Akinde、Emiola 与 Akinsola（arXiv，2026 年 5 月 4 日提交）在美国全国学生参与度调查（NSSE）的开放式回答上，将 GPT 系列、LLaMA 和 Twitter-roBERTa 模型与传统机器学习进行比较。核心结论：LLM 在分类准确率上普遍胜过传统模型，尤其是细腻的情感和主题。同样重要的提醒是：一致性和可解释性会受损。
\n\nvon der Heyde、Haensch、Weiß 与 Daikeler（Survey Research Methods，2025）对德语受访者关于为何参与问卷的回答进行编码。零样本和少样本结果因模型而差异很大，只有微调 LLM 表现令人满意。更微妙的发现是：由于提示式模型在某些类别上更准，最终数据中各类动机的占比被扭曲了。如果你要报告百分比，这比单一准确率更重要。
\n\nDiGiuseppe 与 Flynn（Public Opinion Quarterly 90(3)，2026 年 3 月 27 日发表）请 1,400 名美国成年人解释利率是如何决定的。六个 LLM 完成了约 28,000 次成对判断，再由贝叶斯 Bradley-Terry 模型转化为知识得分。成对比较估计在不同 LLM 间的相关高于 0.87（前沿模型高于 0.95），而直接 0–10 打分为 0.72 至 0.91。与专家编码相比，前沿模型的 F1 超过 0.8。
\n\n这份 Qualitati 问卷编码决策矩阵总结了每种方法在什么情况下是站得住脚的选择。它是我们对上述研究的综合，而非基准测试。
\n| 方法 | 最适合 | 主要风险 | 最低验证要求 |
|---|---|---|---|
| 提示式 LLM（零样本/少样本） | 探索性编码、新出现或不断变化的主题、预算有限 | 类别层面的错误扭曲报告占比；多次运行结果漂移 | 人工对随机样本双重编码；比较类别分布，而不只是一致率 |
| 微调 LLM | 跨多轮问卷复用的稳定编码手册 | 需要标注训练数据；锁定在原编码手册上 | 留出测试集，按类别评分 |
| 传统机器学习分类器 | 大规模、固定类别、严格可复现 | 遗漏细微差别；情感和新主题较弱 | 各类别的精确率与召回率 |
| LLM 成对比较 | 量化潜在特质（知识、质量、强度） | 比较次数多；产出的是得分而非类别 | 与封闭式测量或专家评分做相关检验 |
| 人工编码 | 小样本、敏感话题、需要诠释深度 | 成本与速度 | 评分者间信度 |
Qualitati 是面向产品、UX 和客户洞察团队的 AI 用户研究平台。其对话式问卷由 AI 进行追问，因此回答比单一文本框更丰富。回答和访谈记录随后可在QDA Workspace中编码（支持 AI 辅助的归纳与演绎编码以及编码手册生成），或用ThemeLens一次综合多达 100 份访谈记录。整个流程让研究者审阅和修改编码，而不是盲目接受。价格按积分公开，新账户可获得 30 个免费积分。
\n\n人工审阅说明：本文的方法建议综合自已发表研究，应由合格的研究者根据具体项目调整。
\n\n本指南适用于需要编码数百到数千条开放式回答的问卷研究者、UX 研究者和洞察团队。对于小型、敏感或高风险研究，或者报告的数字将驱动决策而你没有人工编码的验证样本时，不要单独依赖 AI 编码。
\n\n根据一项 2026 年基于学生问卷文本的比较，通常是的，但一致性和可解释性更弱。
\n不一定。但在一项德语研究中，微调是唯一表现令人满意的方法，因此对于跨多轮复用的稳定编码手册，它是更稳妥的选择。
\n模型判断两条回答中哪一条更体现某一特质，再由 Bradley-Terry 模型把大量判断转化为得分。它在不同模型间比直接打分更稳定。
\n由人工对随机样本双重编码、报告一致性、比较编码分布，并重跑一个子集检查一致性。
\n可以。Qualitati 的 QDA Workspace 提供 AI 辅助的归纳与演绎编码，并由研究者审阅结果。
\n\n用 LLM 做开放式问卷编码，如今已足够准确可用，前提是你做检验。探索阶段用提示式 LLM，固定且重复的方案用微调或传统模型，量化特质用成对比较。然后验证分布，而不只是一致率。免费开始，获得 30 个积分，运行一次带 AI 辅助编码的对话式问卷，或查看透明定价。
\n\n本文是对所引研究的独立编辑摘要。最后更新：2026 年 9 月 10 日。
","related":[{"slug":"constant-comparative-method-qualitative-research-2026","title":"持续比较法：步骤、示例与 AI 辅助编码","description":"什么是持续比较法？Glaser 的四个阶段、Boeije 的访谈分析步骤、完整示例、审计清单，以及 AI 编码能帮上哪些忙。","category":"定性数据分析","date":"2026-10-22","readTime":"11 分钟阅读","author":"Qualitati 研究团队"},{"slug":"gioia-methodology-qualitative-research-2026","title":"Gioia 方法详解：数据结构、示例与 AI 辅助（2026）","description":"Gioia 方法详解：一阶概念、二阶主题与聚合维度，附示例、主要批评，以及 AI 在构建数据结构时能做什么、不能做什么。","category":"定性数据分析","date":"2026-10-18","readTime":"11 分钟阅读","author":"Qualitati 研究团队"},{"slug":"what-is-abductive-analysis-qualitative-research-2026","title":"什么是溯因分析？定性研究中的溯因推理指南（2026）","description":"溯因分析从意外的数据中构建理论。了解 Timmermans 与 Tavory 的方法步骤、溯因与归纳和演绎的区别，以及 AI 能在哪些环节提供帮助。","category":"定性数据分析","date":"2026-10-17","readTime":"10 分钟阅读","author":"Qualitati 研究团队"}]}