简短回答：可以，但有前提。一项 2026 年的研究分析了一份欧洲博士生问卷中的 903 条开放式回答，GPT-5.4 与人工编码者在编码层面的调整兰德指数（Adjusted Rand Index，ARI）为 0.61，在主题层面为 0.54。这属于中等程度的一致，接近每位编码者自身的内部一致性；但不同题目之间差异很大，从 0.31 到 0.85 不等。
目前关于 LLM 能否编码定性数据的证据，大多来自演绎式任务，即模型把文本归入研究者事先定义好的类别。归纳式内容分析更难：编码和主题必须从数据中自然生成。Bergmann、Gheorghiu、Gvritishvili、Mican、Stewart 和 Tolonen-Weckström（2026）的一篇新预印本，用真实的问卷文本直接检验了这项更难的任务，得到的答案比简单的"能"或"不能"更有参考价值。
这项研究测试了什么？
研究比较了人工与 LLM 对同一批开放式问卷回答所做的归纳式编码。论文为 LLMs for Survey Text Analysis: A Performance Comparison Between Humans and GPT-5 on Inductive Content Analysis（arXiv，2026 年 8 月），第一作者为维也纳大学的 Leonardo Bergmann，合作者来自罗马尼亚、格鲁吉亚、捷克、爱尔兰和瑞典的多所大学。
数据来自欧洲学生联合会（European Students' Union）对 2,800 名博士生开展的问卷调查。作者从六道开放式题目的回答中随机抽取了 10%，共 903 条，主题包括如何改善博士生的经济状况、什么最能提升身心健康、他们在流动方面面临哪些障碍等。各题样本量从 266 条到 55 条不等。
比较是如何设计的？
- 人工编码。五位人工编码者各负责一道题（其中一人负责最后两道）。他们遵循书面说明：先浏览全部回答，为每条回答分配一个或多个简短编码，尽量复用已有编码，再把编码归并为"既不过细、也不过宽"的主题。
- LLM 编码。研究者通过 OpenAI API 调用 GPT-5.4，采用四步提示的"两轮两步"流程：从回答中生成编码、把每条回答分配到一个或多个编码、从编码中生成上位主题、再把每个编码归入某个主题。完整提示词附在论文附录中。
- 一致性指标。由于一条回答可以有多个编码，作者把每位编码者的输出转换为共同分配矩阵，再用调整兰德指数（ARI）比较分组结果。ARI 为 0 表示随机分组，为 1 表示完全一致，因此即使人工和 AI 使用不同的编码标签也能比较。
- 定性核查。每位人工编码者审阅 LLM 的输出，并说明是否愿意让它处理其余数据。
GPT-5.4 与人工编码者有多接近？
总体上，GPT-5.4 与人工编码者呈中等程度一致。据 Bergmann 等（2026）报告，人工与 LLM 之间的平均 ARI 在编码层面为 0.61，在主题层面为 0.54。作为参照，同一编码主体自身的编码层与主题层分组之间的一致性，人工为 0.68，LLM 为 0.76。作者据此认为，人工与 LLM 之间的差距并不明显大于单个编码主体内部的波动。
平均值掩盖了题目之间的巨大差异，而这正是论文中最有实践价值的发现：
| 问卷题目 | 回答数 | 人工–LLM（编码） | 人工–LLM（主题） |
|---|---|---|---|
| 提高可及性 | 266 | 0.44 | 无 |
| 经济状况 | 199 | 0.35 | 0.31 |
| 身心健康 | 173 | 0.72 | 0.41 |
| 流动障碍 | 146 | 0.79 | 0.65 |
| 个人经历 | 64 | 0.51 | 0.64 |
| 其他补充 | 55 | 0.85 | 0.70 |
来源：Bergmann 等（2026），表 1。数值为 ARI；"提高可及性"一题缺少主题值，因为该编码者没有生成主题。
为什么不同题目的一致性差异这么大？
只要任一编码主体内部不一致，人机一致性就会下降。作者报告，较低的内部一致性总是伴随着较低的人工–LLM 一致性。以"经济状况"一题为例，LLM 自身的编码–主题一致性只有 0.53，人工–LLM 的主题一致性降至 0.31。在"个人经历"一题上，薄弱环节则是人工编码者自身的一致性（0.46）。
人工编码者的评语解释了部分原因。负责"经济状况"的编码者指出，助学金、奖学金和工资方向一致，但含义有细微差别，因此类别本身就存在歧义。他还注意到，模型倾向于给人工会标为"不明确"的回答分配实质性编码，相当于从噪声中制造信号。负责"身心健康"的编码者指出三个问题：对简短、含糊的回答过度解读；把人工区分开的内容合并在一起；以及把主题扩得过宽，降低了其实用性。
编码还是主题：AI 在哪一层更可靠？
AI 在编码层面比在主题层面更可靠。编码捕捉单条回答的基本含义；主题则需要再做一轮抽象，自由度更大。作者指出，人工之间在主题上的一致性同样低于编码，因此这种下降并非模型独有。实际上，这意味着研究者的审阅时间最应该花在主题层。
这对研究者意味着什么
这项研究支持在开放式问卷数据的归纳式编码中，用 LLM 完成第一轮耗时的工作，而由人负责解读。五位人工编码者都表示，LLM 的输出与自己的归类相符，并支持用这种方法分析其余数据。作者也明确说明，这并不意味着 LLM 可以取代定性判断。
- 逐题检查一致性，而不只看总体。一个平均值可能掩盖一致性只有 0.31 的题目。请对每道开放题分别做一致性检验。
- 留意有歧义和信息稀薄的回答。概念重叠的题目（如资助类型）以及简短、含糊的回答一致性最差。保留"不明确"选项，并检查模型是否过度编码。
- 把审阅时间花在主题上。编码层输出可以直接采纳或稍作修改，然后仔细审查编码是如何归并的。
- 选择不依赖标签的一致性指标。归纳式编码者会为同一含义起不同的名字；基于共同分配矩阵的 ARI 可以绕开这个问题，而 Cohen's kappa 做不到。
如果你需要大规模分析开放式问卷回答，可以借助 ThemeLens 这样的 AI 辅助流程，以归纳方式生成编码和主题，再由你自己审阅与合并。你也可以用 AI Surveys 从源头收集更丰富的开放式文本，它会针对开放题进行对话式追问。
这项研究有哪些局限？
证据令人鼓舞，但范围有限。作者自己列出了主要局限：只用了一个模型（GPT-5.4）、一种提示流程、没有标准答案，且每道题只有一位人工编码者，因此没有测量人工之间对同一批回答的一致性。所谓"内部"一致性，是比较同一编码者的编码层与其主题层，而不是两位独立编码者之间的比较。样本仅为一份博士生问卷，用于访谈记录或其他人群时结果可能不同。所有编码结果和 R 分析代码都已在 OSF 公开，便于复现。
常见问题
ChatGPT 能做归纳式内容分析吗？
在这项 2026 年的研究中，GPT-5.4 对 903 条问卷回答生成的归纳式编码与人工编码者呈中等程度一致（ARI 0.61）。它最适合作为第一轮工具，由人审阅主题和有歧义的回答。
定性编码中的调整兰德指数是什么？
调整兰德指数衡量两位编码者是否把同样的回答对分在一起，而不管他们使用什么标签。随机分组时为 0，分组完全相同时为 1，因此适合用来比较归纳式编码。
AI 更擅长编码还是主题？
编码。与人工的一致性在编码层面为 0.61，在主题层面为 0.54，因为构建主题多了一层解读，人和模型在这一层的分歧都更大。
开放式问卷回答还需要人工编码吗？
需要。作者建议在归纳式编码的早期阶段使用 LLM，而由人类研究者负责解读、验证和理论构建。
最后更新：2026-10-05。
本文是对第三方研究的独立编辑摘要。Qualitati 与该研究的作者无任何关联。