简短回答：默认情况下不会。大语言模型对相同输入可能返回不同的输出——即使在温度设置为0时也是如此——而且托管模型会通过无声版本更新和弃用而改变。对于定性研究者来说，这威胁了可依赖性和可确认性。可重现性可以通过记录的、统计学形式实现：记录完整配置，至少运行两次分析，报告重复测试一致性（运行间的Cohen's kappa），并根据人工编码样本进行验证。
\n\n定性分析中的可重现性一直是一个微妙的主张——两个人工编码员也不会完全一致。但当LLM进行编码时，两个不同的不稳定性进入管道，大多数方法部分目前忽视了这一点。第一个是版本内非确定性：相同的模型、相同的提示和相同的设置在星期二的编码可能与星期一不同。第二个是版本间漂移：论文中引用的模型在审阅者或重复者尝试重新运行分析时的行为可能会改变——或者根本不再存在。
\n最后更新：2026年7月12日。本指南介绍了这两种不稳定性为何发生、经验证据说了什么、为什么这对定性严谨性很重要，以及你今天就可以采用的具体日志记录和一致性协议。
\n\n采样温度是明显的随机源：在典型设置下，模型以概率方式抽取标记，所以两次运行按设计而分岐。大多数研究者知道为分析任务设置温度为0（贪心解码）。较少人知道这也不会产生相同的输出。
\nOuyang及同事系统地重新运行相同的代码生成请求，发现即使在\"确定性\"设置下也存在大量不稳定性；在默认设置下，大多数任务在重复请求间产生零个测试等效输出（ACM TOSEM，2025）。在多个模型间对据称确定性配置的一项独立研究得出相同结论：贪心解码缩小但不能消除差距（Atil等，2024）。
\n该机制现在已被充分理解。在一个演示中，对相同提示进行1,000次温度为0的补全采样产生了80个唯一输出。主要原因不仅仅是浮点噪声，而是批处理大小依赖：GPU规约的数值结果取决于有多少其他请求与你的请求一起在服务器上进行批处理，而作为API用户你无法看到或控制（Thinking Machines Lab，2025）。混合专家架构增加了另一条路径：专家路由可能随服务器负载变化。当两个候选标记几乎平手时，中间激活中的一位差异会翻转输出——以及它之后的每个标记。
\n对研究者的实际启示是：你无法承诺托管LLM分析的位级相同重新运行。你能承诺的是有记录的配置和测量的运行间一致性水平。
\n\n托管模型是移动目标。提供者重新训练、微调并无声更新稳定名称背后的模型。规范演示是Chen、Zaharia和Zou的纵向评估：在2023年3月到6月之间，GPT-4在素数识别方面的准确率从84%下降到51%，代码格式化错误增加，遵循用户指令的意愿下降——而同一时期改进了其他任务（ChatGPT的行为如何随时间变化？，2023）。GPT-3.5和GPT-4的趋势经常指向相反方向，这意味着你甚至不能假设漂移是单调改进。
\n弃用是更难的截止期限。提供者按数月至数年的日程退役模型快照。一旦你使用的快照消失，精确复制分析就变得不可能——再多的日志记录也无法让工具回来。存在两个缓解措施：固定有日期的快照而不是浮动别名（例如，版本化的模型ID而不是\"最新\"别名），并将模型的原始输出与数据一起存档，以便在模型被弃用后分析本身仍可审计。
\n\n在Lincoln和Guba的可信度框架中，可依赖性询问发现是否一致且可重复，可确认性询问发现是否由数据塑造而不是由分析员（或工具）特异性塑造。两者通常通过审计线索来演示：读者应该能够将每个主题追溯回编码决定到原始数据。
\n不稳定的AI编码员同时破坏两者。如果\"编码员\"在重新运行时产生不同代码，审计线索中的编码决定描述随机过程的一个实现，而不是稳定程序。证据表明不稳定性足够大以影响研究：Reiss发现对ChatGPT重复相同标注输入产生的一致性低于接受的可靠性阈值，即使是轻微的提示改写也改变了输出（Reiss，2023）。任务类型也很重要：在医学教育编码研究中，GPT-4应用固定人工编码簿达到了对人类的平均Cohen's kappa为0.71，但在归纳模式下仅31%的AI生成代码与人类代码匹配（《学习分析期刊》，2024）。演绎编码与紧密编码簿远比开放归纳生成稳定得多。
\n\n将模型视为工具并记录其校准。下表是方法部分（或补充文件）应包含的最低限度。
\n| 记录内容 | 为什么重要 |
|---|---|
| 提供者和精确模型ID（固定、有日期的快照） | 浮动别名无声改变；有日期的快照最接近固定工具 |
| 每次分析运行的访问日期 | 锚定分析以应对版本漂移；提供者无通知更新模型 |
| 采样参数（温度、top_p、最大标记、种子如果提供） | 这些极大改变输出分布；\"默认\"跨提供者和时间不同 |
| 完整提示文本：系统提示、任务指令、编码簿、少样例 | 轻微措辞改变可测量地改变标注（Reiss，2023） |
| 运行次数和聚合规则（单次运行、多数投票、汇总） | 汇总或多数投票的输出比单次运行更可靠，必须描述以被复制 |
| 后处理规则（代码合并、归一化、排除） | 无声清理步骤是不可重现性的经典来源 |
| 原始模型输出、已存档 | 快照弃用后唯一保证的复制工件 |
| 运行间一致性统计 | 量化不稳定性而不隐藏它（见下一部分） |
从心理测量学借用重测逻辑：运行相同分析两次或多次，将运行视为两个编码员，计算一致性系数——Cohen's kappa用于两次运行的分类代码，Krippendorff's alpha用于三次或更多运行或更复杂数据。这将\"模型可能变异\"变成审阅者可以评估的数字。根据普通的Landis-and-Koch阅读，运行间kappa高于0.80是强的；0.61–0.80是实质但值得收紧的；低于这个，你的编码簿或提示未充分指定，单次运行分析不应信任。
\n三个实际改进：
\n重测一致性防护措施对抗不稳定；它不防护措施对抗稳定错误的模型。补充控制是人工审查分层样本：抽取AI编码段的随机样本（按代码分层，因此罕见代码也被检查），让研究者盲目编码，计算人-AI kappa，调解分歧。保持分歧日志——这是审阅者实际想要的可确认性证据。运行一个故意不确认通道：搜索与新兴主题相矛盾的段落，然后接受AI的合成。我们的审计AI定性编码的清单从头到尾指导这个过程。
\n\nQualitati的分析工具围绕AI输出必须可审计而不是信任的假设构建。ThemeLens将每个合成主题锚定到针对源转录本验证的逐字参与者引用，因此人总是可以将主张追溯回数据——可确认性要求，运作化。QDA工作空间在人工覆盖下保持AI辅助编码，让你重新运行、比较和纠正代码分配而不是接受单次随机通道。因为运行成本低，上述运行两次然后比较协议是实际而不是理想的。价格透明，按使用付费，有免费层测试工作流。
\n\n否。它移除采样随机性但不移除服务器端推理中的批处理相关数值变异或混合专家路由效应。实证研究发现重复相同请求仍在温度0下分岐（Ouyang等，2025）。
\n否。\"我们使用了GPT-4\"描述一个改变系统的家族，而不是一个工具。报告有日期的快照ID、访问日期、采样参数、完整提示、运行次数和聚合规则——并存档原始输出。
\nCohen's kappa用于两次运行的分类代码；Krippendorff's alpha用于三次或更多运行、缺失数据或非名义代码。与人-AI一致性验证样本一起报告。
\n越来越多是的，当可靠性情况明确提出时：记录配置、运行间一致性、人工验证样本和从主题到引用的审计线索。未记录的单次运行AI编码是审阅者拒绝的。
\n\nLLM分析在比特级相同意义上不可重现，假装否则是一个严谨性问题，等待审阅者找到它。它们在对定性研究重要的意义上可重现：作为具有测量稳定性的记录程序。固定快照、记录配置、运行两次、报告kappa、保持人工在循环中。如果你想要一个内置审计线索的工作流，尝试Qualitati QDA工作空间——免费开始，无需信用卡。
","related":[{"slug":"synthetic-survey-panels-marginal-fidelity-2026","title":"合成问卷样本库真的在模拟人吗？2026 年的一项检验","description":"合成问卷样本库能模拟真实受访者吗？2026 年研究发现，与公开平均值吻合并不能证明模拟成功：无人设提示在 9 组对比中 9 次胜过人设样本库。","category":"研究方法论","date":"2026-10-22","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"llm-as-judge-qualitative-interpretation-2026","title":"LLM 评审能给定性访谈解读打分吗？2026 年研究的检验","description":"LLM-as-judge 能否替代人工审核定性访谈解读？2026 年一项研究对比 3,560 条 AI 解读与人类评分：它能淘汰弱模型，却漏掉言外之意与细微差别。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"},{"slug":"rehearse-interview-protocol-simulated-participants-2026","title":"能用 AI 模拟受访者预演访谈吗？2026 年研究发现","description":"能否用 AI 模拟受访者预演访谈提纲？一项 2026 年对 21 位定性研究者的研究发现，预演带来了实际的提纲修改，也暴露出三个隐藏风险。","category":"研究方法论","date":"2026-10-21","readTime":"7 分钟阅读","author":"Qualitati 研究团队"}]}