{"slug":"llm-inductive-content-analysis-survey-responses-2026","title":"GPT-5 能做问卷文本的归纳式内容分析吗？2026 年研究","description":"GPT-5 能做归纳式内容分析吗？一项 2026 年研究分析了 903 条问卷回答，发现人机一致性为中等（编码 ARI 0.61、主题 0.54），且因题目而异。","keywords":"归纳式内容分析AI,开放式问卷编码LLM,GPT-5定性编码,人机编码一致性,调整兰德指数,AI主题分析问卷,定性研究AI","date":"2026-10-05","author":"Qualitati 研究团队","category":"研究方法论","readTime":"7 分钟阅读","content":"<div class=\"short-answer\"><p><strong>简短回答：</strong>可以，但有前提。一项 2026 年的研究分析了一份欧洲博士生问卷中的 903 条开放式回答，GPT-5.4 与人工编码者在编码层面的调整兰德指数（Adjusted Rand Index，ARI）为 0.61，在主题层面为 0.54。这属于中等程度的一致，接近每位编码者自身的内部一致性；但不同题目之间差异很大，从 0.31 到 0.85 不等。</p></div>\n\n<p>目前关于 LLM 能否编码定性数据的证据，大多来自<em>演绎式</em>任务，即模型把文本归入研究者事先定义好的类别。归纳式内容分析更难：编码和主题必须从数据中自然生成。Bergmann、Gheorghiu、Gvritishvili、Mican、Stewart 和 Tolonen-Weckström（2026）的一篇新预印本，用真实的问卷文本直接检验了这项更难的任务，得到的答案比简单的\"能\"或\"不能\"更有参考价值。</p>\n\n<h2>这项研究测试了什么？</h2>\n\n<p>研究比较了人工与 LLM 对同一批开放式问卷回答所做的归纳式编码。论文为 <a href=\"https://arxiv.org/abs/2608.22417\" target=\"_blank\" rel=\"noopener noreferrer\">LLMs for Survey Text Analysis: A Performance Comparison Between Humans and GPT-5 on Inductive Content Analysis</a>（arXiv，2026 年 8 月），第一作者为维也纳大学的 Leonardo Bergmann，合作者来自罗马尼亚、格鲁吉亚、捷克、爱尔兰和瑞典的多所大学。</p>\n\n<p>数据来自欧洲学生联合会（European Students' Union）对 2,800 名博士生开展的问卷调查。作者从六道开放式题目的回答中随机抽取了 10%，共 903 条，主题包括如何改善博士生的经济状况、什么最能提升身心健康、他们在流动方面面临哪些障碍等。各题样本量从 266 条到 55 条不等。</p>\n\n<h3>比较是如何设计的？</h3>\n\n<ol>\n  <li><strong>人工编码。</strong>五位人工编码者各负责一道题（其中一人负责最后两道）。他们遵循书面说明：先浏览全部回答，为每条回答分配一个或多个简短编码，尽量复用已有编码，再把编码归并为\"既不过细、也不过宽\"的主题。</li>\n  <li><strong>LLM 编码。</strong>研究者通过 OpenAI API 调用 GPT-5.4，采用四步提示的\"两轮两步\"流程：从回答中生成编码、把每条回答分配到一个或多个编码、从编码中生成上位主题、再把每个编码归入某个主题。完整提示词附在论文附录中。</li>\n  <li><strong>一致性指标。</strong>由于一条回答可以有多个编码，作者把每位编码者的输出转换为共同分配矩阵，再用调整兰德指数（ARI）比较分组结果。ARI 为 0 表示随机分组，为 1 表示完全一致，因此即使人工和 AI 使用不同的编码标签也能比较。</li>\n  <li><strong>定性核查。</strong>每位人工编码者审阅 LLM 的输出，并说明是否愿意让它处理其余数据。</li>\n</ol>\n\n<h2>GPT-5.4 与人工编码者有多接近？</h2>\n\n<p>总体上，GPT-5.4 与人工编码者呈中等程度一致。据 Bergmann 等（2026）报告，人工与 LLM 之间的平均 ARI 在编码层面为 0.61，在主题层面为 0.54。作为参照，同一编码主体自身的编码层与主题层分组之间的一致性，人工为 0.68，LLM 为 0.76。作者据此认为，人工与 LLM 之间的差距并不明显大于单个编码主体内部的波动。</p>\n\n<p>平均值掩盖了题目之间的巨大差异，而这正是论文中最有实践价值的发现：</p>\n\n<table>\n  <thead>\n    <tr><th>问卷题目</th><th>回答数</th><th>人工–LLM（编码）</th><th>人工–LLM（主题）</th></tr>\n  </thead>\n  <tbody>\n    <tr><td>提高可及性</td><td>266</td><td>0.44</td><td>无</td></tr>\n    <tr><td>经济状况</td><td>199</td><td>0.35</td><td>0.31</td></tr>\n    <tr><td>身心健康</td><td>173</td><td>0.72</td><td>0.41</td></tr>\n    <tr><td>流动障碍</td><td>146</td><td>0.79</td><td>0.65</td></tr>\n    <tr><td>个人经历</td><td>64</td><td>0.51</td><td>0.64</td></tr>\n    <tr><td>其他补充</td><td>55</td><td>0.85</td><td>0.70</td></tr>\n  </tbody>\n</table>\n<p><em>来源：Bergmann 等（2026），表 1。数值为 ARI；\"提高可及性\"一题缺少主题值，因为该编码者没有生成主题。</em></p>\n\n<h2>为什么不同题目的一致性差异这么大？</h2>\n\n<p>只要任一编码主体内部不一致，人机一致性就会下降。作者报告，较低的内部一致性总是伴随着较低的人工–LLM 一致性。以\"经济状况\"一题为例，LLM 自身的编码–主题一致性只有 0.53，人工–LLM 的主题一致性降至 0.31。在\"个人经历\"一题上，薄弱环节则是人工编码者自身的一致性（0.46）。</p>\n\n<p>人工编码者的评语解释了部分原因。负责\"经济状况\"的编码者指出，助学金、奖学金和工资方向一致，但含义有细微差别，因此类别本身就存在歧义。他还注意到，模型倾向于给人工会标为\"不明确\"的回答分配实质性编码，相当于从噪声中制造信号。负责\"身心健康\"的编码者指出三个问题：对简短、含糊的回答过度解读；把人工区分开的内容合并在一起；以及把主题扩得过宽，降低了其实用性。</p>\n\n<h2>编码还是主题：AI 在哪一层更可靠？</h2>\n\n<p>AI 在编码层面比在主题层面更可靠。编码捕捉单条回答的基本含义；主题则需要再做一轮抽象，自由度更大。作者指出，人工之间在主题上的一致性同样低于编码，因此这种下降并非模型独有。实际上，这意味着研究者的审阅时间最应该花在主题层。</p>\n\n<h2>这对研究者意味着什么</h2>\n\n<p>这项研究支持在开放式问卷数据的归纳式编码中，用 LLM 完成第一轮耗时的工作，而由人负责解读。五位人工编码者都表示，LLM 的输出与自己的归类相符，并支持用这种方法分析其余数据。作者也明确说明，这并不意味着 LLM 可以取代定性判断。</p>\n\n<ul>\n  <li><strong>逐题检查一致性，而不只看总体。</strong>一个平均值可能掩盖一致性只有 0.31 的题目。请对每道开放题分别做一致性检验。</li>\n  <li><strong>留意有歧义和信息稀薄的回答。</strong>概念重叠的题目（如资助类型）以及简短、含糊的回答一致性最差。保留\"不明确\"选项，并检查模型是否过度编码。</li>\n  <li><strong>把审阅时间花在主题上。</strong>编码层输出可以直接采纳或稍作修改，然后仔细审查编码是如何归并的。</li>\n  <li><strong>选择不依赖标签的一致性指标。</strong>归纳式编码者会为同一含义起不同的名字；基于共同分配矩阵的 ARI 可以绕开这个问题，而 Cohen's kappa 做不到。</li>\n</ul>\n\n<p>如果你需要大规模分析开放式问卷回答，可以借助 <a href=\"https://qualitati.com/themelens\">ThemeLens</a> 这样的 AI 辅助流程，以归纳方式生成编码和主题，再由你自己审阅与合并。你也可以用 <a href=\"https://qualitati.com/surveys\">AI Surveys</a> 从源头收集更丰富的开放式文本，它会针对开放题进行对话式追问。</p>\n\n<h2>这项研究有哪些局限？</h2>\n\n<p>证据令人鼓舞，但范围有限。作者自己列出了主要局限：只用了一个模型（GPT-5.4）、一种提示流程、没有标准答案，且每道题只有一位人工编码者，因此没有测量人工之间对同一批回答的一致性。所谓\"内部\"一致性，是比较同一编码者的编码层与其主题层，而不是两位独立编码者之间的比较。样本仅为一份博士生问卷，用于访谈记录或其他人群时结果可能不同。所有编码结果和 R 分析代码都已在 OSF 公开，便于复现。</p>\n\n<h2>常见问题</h2>\n\n<h3>ChatGPT 能做归纳式内容分析吗？</h3>\n<p>在这项 2026 年的研究中，GPT-5.4 对 903 条问卷回答生成的归纳式编码与人工编码者呈中等程度一致（ARI 0.61）。它最适合作为第一轮工具，由人审阅主题和有歧义的回答。</p>\n\n<h3>定性编码中的调整兰德指数是什么？</h3>\n<p>调整兰德指数衡量两位编码者是否把同样的回答对分在一起，而不管他们使用什么标签。随机分组时为 0，分组完全相同时为 1，因此适合用来比较归纳式编码。</p>\n\n<h3>AI 更擅长编码还是主题？</h3>\n<p>编码。与人工的一致性在编码层面为 0.61，在主题层面为 0.54，因为构建主题多了一层解读，人和模型在这一层的分歧都更大。</p>\n\n<h3>开放式问卷回答还需要人工编码吗？</h3>\n<p>需要。作者建议在归纳式编码的早期阶段使用 LLM，而由人类研究者负责解读、验证和理论构建。</p>\n\n<p><em>最后更新：2026-10-05。</em></p>\n<p><em>本文是对第三方研究的独立编辑摘要。Qualitati 与该研究的作者无任何关联。</em></p>\n","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}