{"slug":"how-to-report-llm-use-qualitative-methods-section-2026","title":"定性研究方法部分如何报告 LLM 使用（2026）","description":"定性研究中如何报告 LLM 使用：Nature 与 APA 的要求、2026 年关于报告缺失的证据，以及一份可直接使用的方法披露清单。","keywords":"LLM 使用报告,定性研究 AI 披露,方法部分 AI 声明,COREQ+LLM,AI 主题分析,定性数据分析 AI","date":"2026-09-14","author":"Qualitati 研究团队","category":"研究方法论","readTime":"10 分钟阅读","content":"<p><em>最后更新：2026 年 9 月 14 日</em></p>\n\n<h2>简短回答</h2>\n<p>在定性研究中报告 LLM 使用情况，应在方法部分说明：使用了哪个模型及版本、使用时间、通过何种接口、用于哪个分析步骤、采用了哪些提示词和参数、运行了几次，以及研究者如何核查输出。2026 年 6 月 16 日发表的一项范围综述发现，75% 的 LLM 辅助定性研究完全没有报告参数设置——多数论文恰恰在这些细节上有缺失。</p>\n\n<p>如何报告定性研究中的 LLM 使用，如今已是一项实际技能，而非形式要求。期刊要求提供，审稿人会检查。一句\"ChatGPT 协助了编码\"的方法描述，读者无法据此判断你的主题是否可靠。</p>\n<p>本文梳理了当前出版方政策和 2026 年的研究证据，并在文末提供一份可直接使用的清单和一段模板文字。</p>\n\n<h2>核心要点</h2>\n<ul>\n  <li>一项综述纳入 <strong>75</strong> 篇 2020&ndash;2025 年发表的 LLM 辅助定性研究，发现 <strong>74</strong> 篇写明了模型名称，但只有 <strong>13</strong> 篇报告了 temperature，<strong>56</strong> 篇（75%）完全未报告任何参数（<a href=\"https://pmc.ncbi.nlm.nih.gov/articles/PMC13270661/\" target=\"_blank\" rel=\"noopener noreferrer\">Kempny 等，2026</a>）。</li>\n  <li>目前尚无定稿的、专门针对 LLM 的定性研究报告指南。<strong>COREQ+LLM</strong> 是对 2007 年 COREQ 清单的扩展，EQUATOR Network 仍将其列为开发中（<a href=\"https://www.researchprotocols.org/2025/1/e78682\" target=\"_blank\" rel=\"noopener noreferrer\">Fehring 等，2025</a>）。</li>\n  <li>Nature Portfolio 要求在方法部分记录 LLM 的使用（<a href=\"https://www.nature.com/nprot/editorial-policies\" target=\"_blank\" rel=\"noopener noreferrer\">Nature Protocols 编辑政策</a>）。APA 期刊要求作者在方法部分说明将 AI 用于编码或分析的情况（<a href=\"https://www.apa.org/pubs/journals/resources/publishing-tips/policy-generative-ai\" target=\"_blank\" rel=\"noopener noreferrer\">APA</a>）。</li>\n  <li>把 temperature 设为 0 并不能保证结果可复现，因此应报告运行次数及各次结果的差异。</li>\n  <li>投稿前请对照下方的 <strong>LLM 方法披露清单</strong>。</li>\n</ul>\n\n<h2>为什么现在必须重视定性研究中的 LLM 使用报告</h2>\n<p><strong>报告 LLM 使用</strong>，是指为读者提供足够的细节，使其能够判断——最好还能复现——AI 系统对你的定性数据做了什么。传统定性研究的可信度建立在可见的分析路径上：谁做了编码、编码手册如何演变、主题如何形成。当 LLM 承担了部分工作，这条路径的一部分就会变得不可见，除非你将其记录下来。</p>\n<p>这一缺口是可以量化的。在 2026 年 6 月 16 日发表于 <em>BMC Medical Research Methodology</em> 的范围综述中，Kempny、Frings、Rust、Meister 和 Fehring 分析了 75 篇同行评审的实证研究，其中 93% 使用了 OpenAI GPT 模型。综述报告：</p>\n<ul>\n  <li><strong>61%</strong> 的研究提供了完整或部分提示词，其余研究几乎没有提供提示词细节。</li>\n  <li><strong>45%</strong> 的研究未说明模型的调用方式。其余研究中，38 项使用 API 或网页界面，5 项在本地运行模型。</li>\n  <li><strong>97%</strong> 的研究包含某种人工核查，但人机一致性从 36% 到 99% 不等，因此仅凭\"我们核查过\"说明不了什么。</li>\n</ul>\n<p>作者认为，亟需专门的报告指南。在 COREQ+LLM 正式发布之前，研究者只能自行拼凑标准。</p>\n\n<h2>出版方目前的要求</h2>\n<p>各方政策不尽相同，但都指向一点：<strong>用于研究数据的 AI，应写进方法部分，而不仅是致谢。</strong></p>\n<table>\n  <thead>\n    <tr><th>来源（核查于 2026 年 9 月 14 日）</th><th>披露位置</th><th>强调内容</th></tr>\n  </thead>\n  <tbody>\n    <tr><td><a href=\"https://www.nature.com/nprot/editorial-policies\" target=\"_blank\" rel=\"noopener noreferrer\">Nature Portfolio</a></td><td>方法部分，或合适的替代部分</td><td>LLM 不能作为作者；必须记录其使用</td></tr>\n    <tr><td><a href=\"https://www.apa.org/pubs/journals/resources/publishing-tips/policy-generative-ai\" target=\"_blank\" rel=\"noopener noreferrer\">APA 期刊</a></td><td>方法部分</td><td>AI 如何、何时、在多大程度上被使用；保留提示词和输出以备查</td></tr>\n    <tr><td><a href=\"https://www.researchprotocols.org/2025/1/e78682\" target=\"_blank\" rel=\"noopener noreferrer\">COREQ+LLM（开发中）</a></td><td>定性研究报告清单</td><td>模型选择、提示词、验证、偏差缓解</td></tr>\n  </tbody>\n</table>\n<p>务必阅读目标期刊自己的作者指南。许多期刊有自己的规定，而且要求变化很快。</p>\n\n<h2>为什么\"temperature 0\"不等于可复现</h2>\n<p>很多方法部分写道分析采用 temperature 0 \"以确保一致性\"。证据并不支持这种说法。在 2026 年 6 月一项涵盖 7 种条件、690 次 API 调用的研究中，Tamba 发现，即使采用贪婪解码，部分边界案例仍会得出不同判断，而调整 top_p 和 top_k 也无法消除差异（<a href=\"https://arxiv.org/abs/2606.26185\" target=\"_blank\" rel=\"noopener noreferrer\">Tamba，2026</a>）。论文建议多次运行并报告方差，而非只报告单次输出。</p>\n<p>这与我们此前报道的结果一致：LLM 重复执行相同分析时<a href=\"/blog/are-llm-analyses-reproducible-2026\">常常得出不同结论</a>。一些较新的模型甚至已不再接受 temperature 设置。因此，诚实的报告应包括：<em>所用参数（或\"不可配置\"）、运行次数，以及如何处理各次运行之间的差异。</em></p>\n\n<h2>LLM 方法披露清单</h2>\n<p>这份清单由 Qualitati 编制，综合了 Kempny 等综述发现的缺口与上述出版方要求。COREQ+LLM 发布后，本清单不能替代该指南。</p>\n\n<h3>A. 模型</h3>\n<ul>\n  <li>&#9744; 提供方、模型名称，以及确切的版本或快照标识</li>\n  <li>&#9744; 使用日期（同名模型会被更新）</li>\n  <li>&#9744; 调用方式：网页聊天、API、具名研究平台或本地部署</li>\n</ul>\n\n<h3>B. 任务</h3>\n<ul>\n  <li>&#9744; 模型承担的分析步骤：转录、初始编码、起草编码手册、应用编码、主题综合或引文检索</li>\n  <li>&#9744; 所服务的分析方法：反思性主题分析、编码手册式主题分析或内容分析</li>\n  <li>&#9744; <em>没有</em>交给模型完成的部分</li>\n</ul>\n\n<h3>C. 输入与参数</h3>\n<ul>\n  <li>&#9744; 在附录或补充材料中提供完整提示词，包括系统指令</li>\n  <li>&#9744; temperature、top_p 和输出长度上限；若界面不开放，注明\"不可配置\"</li>\n  <li>&#9744; 为适应上下文长度，访谈记录如何切分或分批</li>\n  <li>&#9744; 数据送入模型前所做的去标识化处理</li>\n</ul>\n\n<h3>D. 稳定性与人工审核</h3>\n<ul>\n  <li>&#9744; 每个步骤的运行次数，以及各次运行分歧的处理方式</li>\n  <li>&#9744; 谁审核了输出、审核比例，以及一致性统计量及其分母</li>\n  <li>&#9744; 被研究者修改或否决的编码或主题示例</li>\n</ul>\n\n<h3>E. 治理</h3>\n<ul>\n  <li>&#9744; 受访者是否同意由 AI 处理其数据</li>\n  <li>&#9744; 提供方的数据保留与训练条款</li>\n  <li>&#9744; 研究者反思性：使用 AI 可能如何影响了解读</li>\n</ul>\n\n<h3>模板段落</h3>\n<p><em>\"我们于[日期]通过[接口]使用[提供方]的[模型、版本]，对[n]份去标识化访谈记录进行[任务]。提示词见补充材料[X]。参数设置为[temperature / top_p，或'用户不可配置']。每个步骤运行[n]次，各次运行之间的差异通过[程序]解决。[研究者角色]审核了[比例]的 AI 编码（一致性：[统计量]，n = [单位数]），并进行了[修改说明]。主题建构与解读由研究团队完成。受访者已同意 AI 辅助分析。\"</em></p>\n\n<h2>适用人群，以及何时不宜使用此方法</h2>\n<p><strong>适用于</strong>学术定性研究者、发表案例研究的 UX 研究者，以及需要向高管解释\"这个结论是怎么得出的\"的洞察团队。</p>\n<p><strong>何时不宜照搬：</strong>如果 LLM 只是修改了稿件语法，多数政策会区别对待，请查阅期刊关于文字编辑的规定。如果你的认识论立场是强烈的诠释主义，清单无法替代关于模型如何影响你解读数据的反思性说明——请一并写入。</p>\n\n<h2>局限与取舍</h2>\n<ul>\n  <li><strong>完整提示词可能很长。</strong>放入补充材料，而不要删减。</li>\n  <li><strong>在消费级聊天界面中，版本标识可能无法获取。</strong>请如实说明——不写会被视为遗漏。</li>\n  <li><strong>一致性统计量可能具有误导性。</strong>简单编码上的高一致性可能掩盖诠释性编码上的分歧。尽可能按编码逐项报告一致性。</li>\n  <li><strong>标准仍在变化。</strong>本清单反映截至 2026 年 9 月 14 日的公开政策与证据，应作为起点，并由研究者对照本领域规范进行人工审核。</li>\n</ul>\n\n<h2>Qualitati 的定位</h2>\n<p>Qualitati 是面向产品、UX 和客户洞察团队的 AI 用户研究平台，可开展 AI 主持的访谈、焦点小组和对话式问卷，并分析结果。其 <a href=\"/themelens\">ThemeLens</a> 主题分析采用有文档记录的 map-reduce 流程，可一次处理多达 100 份访谈记录，将编码映射到研究问题，并以受访者原话支撑主题。与开放式聊天会话相比，这种结构更容易在方法部分逐步说明。<a href=\"/qda-workspace\">QDA Workspace</a> 支持 AI 辅助的归纳式和演绎式编码，并保留人工审核。</p>\n<p>平台不会替你写好披露内容。日期、运行次数和人工审核决策仍需你自己记录。</p>\n\n<h2>常见问题</h2>\n<h3>如果只用 AI 做转录，也需要披露吗？</h3>\n<p>通常需要。转录生成了你要分析的数据，因此应写明工具名称以及访谈记录的核查方式。请在期刊作者指南中确认具体要求。</p>\n<h3>只写\"ChatGPT\"够吗？</h3>\n<p>不够。Kempny 等（2026）发现几乎所有研究都写了模型名称，但多数遗漏了参数和部署细节。请提供版本、日期、调用方式、提示词和参数。</p>\n<h3>提示词应该放在哪里？</h3>\n<p>方法部分简要描述，补充材料提供全文。APA 建议保留提示词和输出，以便编辑索取。</p>\n<h3>temperature 0 能让分析可复现吗？</h3>\n<p>不能。一项 2026 年的研究发现，temperature 0 下输出仍可能不同。请报告运行次数及差异的处理方式。</p>\n<h3>有没有官方的定性研究 LLM 报告指南？</h3>\n<p>目前还没有。COREQ+LLM 正在开发中。在其发布前，可将 COREQ 或 SRQR 与期刊的 AI 政策以及上文这类清单结合使用。</p>\n<h3>局限部分也要提到 AI 吗？</h3>\n<p>是的，只要模型的作用可能影响了研究发现，例如压缩了主题数量或遗漏了特定文化语境下的含义。</p>\n\n<h2>结论</h2>\n<p>做好定性研究中 LLM 使用的报告，关键在于让不可见的步骤变得可见：模型、版本、日期、提示词、参数、运行次数和人工审核。2026 年的证据显示，参数和部署方式是最常见的遗漏，不妨从这里入手。如果你需要一个便于描述的分析流程，可以<a href=\"/signup\">免费注册获得 30 积分</a>，或<a href=\"/pricing\">查看透明定价</a>。</p>\n\n<p><em>本文是对截至 2026 年 9 月 14 日公开政策与研究的独立编辑综述，不代表任何出版方对其政策的官方解释。</em></p>\n","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}