简短答案。可以——但有一条硬性界限。在一项 2026 年的研究中，一条 LLM 流水线从 45,000 条消息中构建出一部含 67 个条目的定性编码手册；但当三位人类编码者把它应用到全新数据上时，却发现了五个模型从未浮现出来的完整类别——尽管模型处理的数据量大约是人类阅读量的八倍。
\n\n这项研究提出的问题比\"AI 能不能做定性编码\"更精确。它问的是：编码手册开发的哪些阶段可以交给 LLM，哪些必须由人来完成。
\n\nLiu、Sun、Esbenshade、Xiao、Tian、Zhang 与 He（2026）在 2026 年 7 月 30 日发布于 arXiv 的预印本中，记录了一条三阶段的人机协作流水线：他们把扎根理论的开放式编码、主轴编码与选择性编码，改造后用于一个包含 45,000 条消息的语料库——这些消息来自 K-12 教育者与一个生成式 AI 教学平台之间的对话。产出物是一部层级化编码手册。而对这部手册的检验并不是模型的自我一致性，而是三位受训人类编码者在无辅助的情况下，把它应用到模型从未接触过的独立样本上。
\n\n请注意这一有意的设计取向：作者把 LLM 当作一件标注工具，而非解释主体。这也是他们主张研究中途更换模型并不威胁效度的理由——模型提出候选标签，由人决定哪些能留下来。
\n\n它发现了规模没能发现的缺口。三位具备教育领域专长的编码者，把含 67 个条目的手册草案应用到随后一年间采集的 500 段对话中抽取的 2,560 条全新消息上。据 Liu 等人（2026）报告，他们新增了五个编码，使该工具从 67 个条目增至 72 个、从 18 个类别增至 19 个：
\n\n| 人类新增的编码 | 手册草案为何遗漏了它 |
|---|---|
| 文化回应式教学 | 出现频率足以自成一个条目，而不该被归入更宽泛的\"差异化教学策略\"之下 |
| 外语技能发展 | 外语教师的请求具有既有 ELA 编码无法涵盖的独特特征 |
| 课堂管理 | 指的是常规与流程等前置性管理，区别于草案中已有的反应式\"学生行为干预\" |
| 班级、学校或社区活动 | 集会、家长之夜与校外考察既不属于既有的沟通类编码，也不属于文档类编码 |
| 学区财务 | 来自行政管理者的小众人群——预算与资源配置——在以教学为中心的草案中缺席 |
要读的是模式，而不是这份清单。每一项新增都对应着一类用户人群、一种专业情境，或一段时间内使用方式的演变。而这些恰恰是模型在海量文本采样中会抹平的东西：它们在总量中稀少，却在熟悉该领域的读者眼中自成一体。
\n\n属于中等水平，作者对此也很坦诚。由于一条教育者消息往往同时承载多个编码——备课加差异化，或测评设计加课标对齐——kappa 这类传统的机遇校正统计量并不适用：它会把两位编码者编码集合之间的部分重叠算作完全不一致。
\n\n研究团队改为在经过三轮校准后，于一个 289 条消息的留出集（占验证样本的 11.3%）上报告编码集合之间的Jaccard 相似度。在条目层级，平均两两 Jaccard 为 0.52；视信度评估落在条目、类别还是领域层级，取值范围为 0.46 至 0.55。不一致集中在相邻编码之间的语义边界处，而不在于某条消息是否属于该手册。
\n\n这条粒度梯度才是真正有用的方法论要点：在一部含 72 个条目的层级结构中，只报告最细粒度上的单一系数几乎说明不了什么。应在每一个层级上分别报告一致性。
\n\n2,560 条经人类编码的消息共产生 5,237 次编码应用——大致每条消息两个编码。在领域层级，Liu 等人（2026）报告\"教学实践\"占比最大（1,913 次，36.5%），其后是\"课程与内容焦点\"（909 次，17.4%）、\"测评与反馈\"（603 次，11.5%）、\"专业职责\"（450 次，8.6%）与\"学生需求与情境\"（396 次，7.6%）。
\n\n真正值得注意的数字是那个残差项：合并了话语延续与非教育性使用的\"其他\"领域，占到924 次应用，即 17.6%。将近五分之一的已编码内容都是对话维护——换个格式、再展开一点、继续——外加偶发的离题闲聊。任何分析聊天式研究数据的人，都该为它专门留一个编码，而不是当作噪音丢掉。
\n\n从这一设计（而不只是结论）中可以引出三条实践含义。
\n\n把模型用于广度，而不是概念权威。该论文自己的总结是：模型在结构化标注的一致性上、以及在数万个单元中浮现反复出现的模式上是可靠的——这些任务中它不会疲劳的特性是真实优势。但它在任何阶段都不是类别定义的来源。如果你的工作流让 AI 既生成编码手册又批准它，你就删掉了唯一那个抓出五个缺失类别的环节。像 ThemeLens 这样的工具最好这样使用：让它快速提出一个候选结构，然后你去与它争辩。
\n\n有意识地选择分析单元。该语料中有些对话超过 500 条消息，因此作者以相互重叠的三消息窗口来编码，以保持对话语境可见。验证样本中超过 40% 的对话长度超过三条消息。若切分方式把受访者的发言与引发它的内容割裂开来，你就会损失意义——无论你分析的是聊天记录，还是来自 AI 访谈员的访谈记录，这都是现实考量。
\n\n为人类验证阶段留出预算；它不是形式主义。在这项研究中，正是这一阶段产出了信度证据、扩展了工具的覆盖面，并逼迫纳入与排除标准写得足够清楚、可以教给他人。一条在选择性编码阶段就停下的流水线，交付的会是一部看似合理、却不具备上述任何依据的编码手册。
\n\n全部数据来自单一 AI 平台，因此编码手册的领域结构反映的是该平台的用户构成；作者预期结构比具体条目更容易迁移。研究所用的特定商业模型在严格意义上不可复现——真正可推广的是提示词、流程与人类决策节点。人类一致性水平虽然对这一规模的多标签编码而言尚可，但仍有提升空间。此外，该语料捕捉的是教育者向 AI 提出了什么要求，而不是他们随后在课堂上做了什么。
\n\n它能生成一份可用的草案。在这项研究中，LLM 辅助阶段产出了最终 72 个条目中的 67 个。但人类编码者把该草案应用到未见数据上时，发现了模型漏掉的五个类别，所以草案并不是成品工具。
\n\n因为编码者会给同一条消息赋予多个编码。机遇校正系数假定每个单元只有一个标签，会把两位编码者编码集合之间的部分重叠视为完全不一致，从而低估多标签编码中真实存在的趋同。
\n\n对集合型一致性而言，目前没有与 kappa 惯例等价的公认阈值，作者本人也称其尚可但仍可改进。它在此处的解释价值来自那条梯度——一致性从条目层级向类别层级、再向领域层级递升，这把不一致定位在编码边界上，而非定位在\"这条消息讲的是什么\"这一层面。
\n\n作者认为不会，但有一个特定前提：模型被当作标注工具使用，其输出在进入编码手册之前要经过人的检查与整合。如果模型输出本身被当作研究发现来报告，那么更换模型就会有影响。
\n\n原始文献：Liu, A., Sun, M., Esbenshade, L., Xiao, M., Tian, V., Zhang, Z., & He, K. (2026). Human-LLM Collaborative Inductive Coding for Conceptualizing K-12 Educator AI Use. arXiv:2607.28889.
\n\n最后更新：2026 年 8 月 14 日。本文是对第三方研究的独立编辑性摘要；Qualitati 与该研究作者没有关联，读者应查阅原始预印本以获取完整的方法学细节。
\n","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}