{"slug":"llm-synthetic-projective-techniques-2026","title":"LLM 能做投射技术吗？2026 年六模型对比研究","description":"LLM 能为投射技术生成合成回答吗？2026 年一项研究将六个模型与 173 名受访者对比：主题相近、风格不同，且存在明确局限。","keywords":"合成消费者数据,LLM 投射技术,合成受访者,AI 词语联想,LLM 温度 多样性,AI 市场研究","date":"2026-09-21","author":"Qualitati 研究团队","category":"行业趋势","readTime":"7 分钟阅读","content":"<p>大语言模型（LLM）可以为词语联想、句子完成等投射技术生成合成回答，覆盖的主题与人类消费者提出的主题大量重合——但表达方式更具修饰性、风格明显不同，而且无法告诉你某种认知在人群中有多普遍。这是 2026 年 7 月一项将六个 LLM 与 173 名人类受访者对比的研究的核心结论。</p>\n\n<h2>什么是投射技术？为什么要用它来测试 LLM？</h2>\n\n<p>投射技术是一类间接的引出方法：研究者不直接让人给品牌打分或从列表中选择，而是让他们补全一句话、说出最先想到的词，或对一个模糊情境作出反应。目的是挖掘受访者在直接问卷题目中不会主动表达的联想、情绪与需求。</p>\n\n<p>对合成数据来说，这比李克特量表难得多。合成受访者不仅要复现平均偏好，还要复现联想的<em>分布</em>——广度、重复程度，以及那些偶然冒出的独特想法。这正是 Stephen L. France（密西西比州立大学）与 Pia A. Albinsson（阿巴拉契亚州立大学）在 2026 年 7 月 7 日发布于 arXiv 的论文 <a href=\"https://arxiv.org/abs/2607.05761\">Synthetic Consumer Insight Generation with Large Language Models</a> 中试图衡量的问题。</p>\n\n<h2>这项研究测试了什么？</h2>\n\n<p>作者使用了一项早期旅游研究的人类数据，并让 LLM 完成相同任务。人类基准来自美国一所州立大学的学生样本：173 名受访者针对五个目的地——拉斯维加斯、洛杉矶、纳什维尔、新奥尔良和纽约——完成了词语联想和句子完成任务。LLM 部分是完整的因子实验，每个条件生成约 173 条合成回答，以与人类样本规模对应。</p>\n\n<table>\n  <thead>\n    <tr><th>因素</th><th>测试水平</th></tr>\n  </thead>\n  <tbody>\n    <tr><td>投射任务</td><td>词语联想；正向句子完成；负向句子完成</td></tr>\n    <tr><td>LLM</td><td>ChatGPT 3.5、ChatGPT 4.1、ChatGPT 5.1、Gemini 2.5 Flash、Grok 4.1（非推理版）、Mistral Medium 3.1</td></tr>\n    <tr><td>温度（temperature）</td><td>1.0、1.2、1.4、1.6、1.8</td></tr>\n    <tr><td>提示词</td><td>基础版（即给人类的原始措辞）；扩展版；扩展版 + &ldquo;从完整分布中采样&rdquo;；以及在后者基础上加入 10 条或 50 条人类示例回答（few-shot）</td></tr>\n  </tbody>\n</table>\n\n<p>研究从多个维度比较回答：基础文本特征（词数、词长、停用词比例、词汇量）、六项多样性与集中度指标（包括归一化熵和 Simpson 集中度）、结构主题模型，以及针对每座城市最具区分度词汇的 &ldquo;lift&rdquo; 分析。</p>\n\n<h2>LLM 的回答与人类有多接近？</h2>\n\n<p>内容接近，风格不同。France 与 Albinsson（2026）发现，在合适的提示词与温度设置下，LLM 生成的回答在多样性特征上与人类数据相似，涵盖的主题也相近。作者分别对人类词语联想和最接近人类的 LLM 条件（Gemini 2.5 Flash、扩展提示词、温度 1.8）拟合九主题模型，结果高度一致——好莱坞的拥挤人潮、新奥尔良与纳什维尔的派对文化在两边都出现了。</p>\n\n<p>不过，差异同样值得关注：</p>\n\n<ul>\n  <li><strong>侧重点不同。</strong>对纳什维尔，LLM 的主题集中在辣味炸鸡和单身派对。人类也提到了单身派对，但它并不在人类最具区分度的前十个词里。</li>\n  <li><strong>多样性的来源不同。</strong>LLM 表面上的丰富性很大程度来自自造的复合形容词——如 &ldquo;walletemptying&rdquo;、&ldquo;bachelorettepacked&rdquo;、&ldquo;beignetfueled&rdquo;——而不是真正不同的想法。</li>\n  <li><strong>回答更长。</strong>在三项任务中，人类回答都是最短或接近最短的；LLM，尤其是高温度下的扩展提示词，写出的文字更长、更铺陈。</li>\n</ul>\n\n<p>在归一化熵上，人类回答在两项句子完成任务中得分最高，在词语联想中排名第二——仅次于上述 Gemini 高温度条件。</p>\n\n<h2>哪些设置最关键？</h2>\n\n<p>研究者的设计选择与模型本身同样重要。作者的回归模型解释了文本特征的大部分差异，R² 从 0.538（词汇量）到 0.896（停用词比例），多样性指标的 R² 则在 0.498 到 0.688 之间。主要杠杆包括：</p>\n\n<ol>\n  <li><strong>温度。</strong>温度升高使三项多样性指标全部上升、三项集中度指标全部下降（p &lt; .001）。低于 1.0 时 OpenAI 模型几乎是确定性输出；高于 1.8 时退化、不连贯的输出比例高到无法接受。</li>\n  <li><strong>提示词设计。</strong>四种扩展提示词在全部六项指标上都显著提高了多样性（24 组提示词×指标比较全部 p &lt; .001）。为人类写的提示词，并不自动是适合 LLM 的提示词。</li>\n  <li><strong>few-shot 人类示例。</strong>在提示词中加入 10 条或 50 条真实回答，既保留了多样性提升，又把风格和内容拉向人类基准——一种 &ldquo;更有针对性&rdquo; 的多样性。</li>\n  <li><strong>模型选择。</strong>与 Gemini 2.5 Flash 相比，ChatGPT 3.5、ChatGPT 4.1 和 Grok 4.1 的多样性显著更低（p &lt; .001）。ChatGPT 5.1 比早期 ChatGPT 版本更冗长、也更多样。没有哪个模型在所有指标上都胜出。</li>\n</ol>\n\n<h2>这对研究者意味着什么</h2>\n\n<p>作者刻意没有给出简单的&ldquo;能&rdquo;或&ldquo;不能&rdquo;。合成投射数据适合用来<strong>探索可能联想的范围</strong>——用于构思、定性研究的预调研，或在预算紧张时补充小规模人类样本。但它不能作为<strong>估计普遍程度</strong>的依据：论文明确警告，不应用 LLM 输出来断言多少比例的消费者持有某种看法。</p>\n\n<p>由此可得三条实践建议：</p>\n\n<ul>\n  <li>把温度、提示词措辞和示例视为研究方法的一部分并如实报告。合成数据是整套配置的产物，而不只是模型的产物。</li>\n  <li>不要把词汇上的新奇误当作新的洞察。检查&ldquo;多样&rdquo;的合成回答里究竟是新想法，还是只是新形容词。</li>\n  <li>保留人类基准。这项研究的价值正来自有 173 条真实回答可供对比——任何合成样本都应遵循同样的纪律。</li>\n</ul>\n\n<p>如果你在早期探索阶段使用合成受访者，<a href=\"https://qualitati.com/synthetic-focus-group\">Synthetic Focus Group</a> 与 <a href=\"https://qualitati.com/digital-twins\">Digital Twin Panel</a> 等工具最适合扮演同样的角色：生成需要用真人检验的假设，而不是取代真人。</p>\n\n<h3>需要注意的局限</h3>\n\n<p>人类样本仅为一所大学的在校学生，研究领域是城市旅游，且出于成本考虑未测试最昂贵的前沿模型（Gemini 只测试了中档的 Flash 版本）。这些结果描述的是 LLM 输出在单一话题上与单一人群的比较，推广之前应先重复验证。</p>\n\n<h2>常见问题</h2>\n\n<h3>LLM 能在投射研究中取代人类受访者吗？</h3>\n<p>不能。在这项 2026 年的研究中，LLM 复现了许多相同的宽泛联想，但风格与侧重点不同，作者也提醒不要用合成回答来估计某种认知的普遍程度。</p>\n\n<h3>生成合成开放式回答时，温度设多少最好？</h3>\n<p>在本实验中，较高温度（最高 1.8）产生了更接近人类的多样性；低于 1.0 时 OpenAI 模型几乎是确定性的，高于 1.8 则不连贯文本过多。最佳取值因模型和任务而异。</p>\n\n<h3>few-shot 示例能让合成数据更真实吗？</h3>\n<p>它们有助于引导。加入 10 条或 50 条真实人类回答，既保留了扩展提示词带来的多样性提升，又把风格和内容引向人类数据。</p>\n\n<h3>哪个 LLM 生成的投射回答最多样？</h3>\n<p>取决于指标。高温度加扩展提示词时，Gemini 2.5 Flash 和 ChatGPT 4.1 在词语联想上表现良好；而从集中度指标整体看，ChatGPT 3.5、ChatGPT 4.1 和 Grok 4.1 的多样性低于 Gemini。</p>\n\n<p><em>最后更新：2026 年 9 月 21 日。本文是对 France 与 Albinsson（2026）第三方研究的独立编辑摘要，与作者无隶属或背书关系。完整方法与结果请参阅<a href=\"https://arxiv.org/abs/2607.05761\">原始论文</a>。</em></p>\n","related":[{"slug":"state-of-ai-user-research-october-2026","title":"2026 年 10 月 AI 用户研究现状：合成受访者能替代真人吗？","description":"2026 年 10 月 AI 用户研究现状：新研究显示，合成受访者能匹配总体平均值，却会丢失个体差异，也会误判人们如何改变观点。附保真度阶梯框架。","category":"行业趋势","date":"2026-10-11","readTime":"9 分钟阅读","author":"Qualitati 研究团队"},{"slug":"test-digital-twins-before-deploying-exploratwin-2026","title":"部署前先验证数字孪生：2026 年新研究","description":"2026 年哥伦比亚团队的论文提出 ExploraTwin 开放平台，让研究者在真实研究中部署 LLM 数字孪生模拟之前先行检验。","category":"行业趋势","date":"2026-09-20","readTime":"6 分钟阅读","author":"Qualitati 研究团队"},{"slug":"state-of-ai-user-research-september-2026","title":"2026 年 9 月 AI 用户研究现状：AI 推理审查","description":"2026 年 9 月 AI 用户研究现状：新研究显示 AI 会压缩主题、AI 编码者争论反而提升准确率、合成受访者给出错误理由。附推理审查矩阵。","category":"行业趋势","date":"2026-09-13","readTime":"9 分钟阅读","author":"Qualitati 研究团队"}]}