简短回答:不能可靠预测。一项 2026 年的研究分析了 12 个真实的首次点击测试(共 3,431 名真实受访者),发现在 53% 的任务中,GPT 模拟的点击分布与真实用户存在显著差异。人物画像(persona)、思维链推理和采样参数只是让合成数据看起来更可信,并没有让它更准确。
合成受访者常被宣传为用户测试的廉价、即时替代品。斯洛伐克理工大学与 UXtweak 的研究者在一篇新预印本中,对这一说法做了一次实用检验:大语言模型能否预测人们会在真实界面上点击哪里、并解释原因,且准确到足以指导设计决策?根据 Kuric、Demcak 和 Krajcovic(2026)的研究,答案是明确的“不能”。而它失败的方式,对任何想用 AI 模拟替代快速可用性测试的人都很重要。
这项研究测试了什么?
研究将 GPT 模拟的首次点击测试与同一测试的真实结果进行了对比。首次点击测试向受访者展示一张静态截图或线框图,给出一个任务,并记录其第一次会点击哪里。作者选择这一方法,是因为它是最简单、控制最严格的 UX 方法之一:如果模型连在一张图片上模拟一次点击都做不到,就更不可能模拟多步骤的用户流程。
数据来自真实业务实践,而非实验室。作者获取了不同机构在 UXtweak 平台上开展的 12 项首次点击研究,涵盖 3,431 名受访者、45 个任务和 120 个后续问题。领域包括医疗、公共管理、社会服务、娱乐和交通;其中 9 项研究测试桌面网站,2 项测试移动应用,1 项测试图表。
每项研究都以 GPT-4.1 为基线进行“重演”,使用与真实受访者相同的说明和图片,并根据真实样本的前测问卷答案构建 persona。随后,团队每次只改变一个因素,共进行了 84 次模拟:
- 更新的推理模型:GPT-5.2,推理强度分别设为 none 和 medium。
- 更低的温度:0.2,而非 1。
- 更窄的核采样:top_p 为 0.2,而非 1。
- 个体 persona(每次模拟一个人),而非单一的总体层面“超级 persona”(mega-persona)。
- 通用 persona,而非与真实样本匹配的 persona。
GPT 预测首次点击的准确度如何?
GPT 常常能猜中最热门的点击目标,但对其他一切都判断失准。根据 Kuric 等(2026),基线模型的点击分布在 53% 的任务中与真实用户存在显著差异。它的首选项在 71% 的任务中与人类首选一致,但各选项的排序一致度平均只有 .16,平均 Jensen-Shannon 距离为 .48(取值范围 0–1)。
合成数据也过于单一。真实受访者在每个任务中平均点击了 9.00 个不同热区,而模拟结果只分布在 5.38 个热区上。实际表现是:GPT 倾向于选出一个与任务措辞有相同词语的“胜出”元素,并把大部分点击堆在它上面,不管它是否是正确答案。它还会在真实用户忽略的元素上制造虚假点击,同时遗漏真实用户经常点击的选项。作者指出,这些零星点击制造了一种“多样性的假象”。
合成的后续回答与真实用户说的一致吗?
只部分一致,而开放式回答是最薄弱的环节。对于李克特量表等封闭式问题,45% 的问题答案分布存在显著差异,首选答案一致率只有 50%。无论问题是什么,合成的李克特答案都集中在最高或次高评分;而真实数据呈现出中立、负面和多峰等多种分布。
开放式回答在表面上与人类文本语义接近(平均语义相似度 .70),但多样性和可读性显著更低,篇幅也更短:平均 9.08 个词,而人类为 13.31 个词。作者对这些回答进行了反思性主题分析,归纳出五类反复出现的失真:
- 肤浅与同质化:泛泛的赞扬或抱怨,背后没有任何亲身体验的理由。
- 幻觉:评论加载速度、图标或静态图片中根本不存在的内容。
- 积极与“乐于助人”失真:以正面评价为主,批评含糊其辞;即便真实受访者没有补充内容,也会回答每一道选答题。
- 字面理解与过度角色扮演:把截图当作现实中使用过的产品,或对“还有其他想分享的吗?”只回答一个干巴巴的“没有”。
- 虚假启发式:只因任务情境中出现了“家庭”一词,就称页面“适合家庭使用”。
persona、推理或温度能修复合成受访者吗?
没有任何设置能弥合差距,有些反而更糟。下表汇总了 Kuric 等(2026)对每个调节因素的报告结果。
| 测试的调节因素 | 对真实用户还原度的影响 |
|---|---|
| GPT-5.2 开启推理(medium) | 点击略微更分散(熵 .54,基线为 .43,仍低于真实数据);封闭式问题一致性更差;开放式回答多样性更低 |
| 温度 0.2 | 对点击和封闭式问题无显著影响;开放式文本多样性略降 |
| top_p 0.2 | 对点击和封闭式问题无显著影响;开放式文本多样性降低 |
| 个体 persona | 明显更差:96% 的任务存在显著分布差异,几乎每个 persona 都点击同一个选项 |
| 通用 persona 与样本匹配 persona 对比 | 点击和开放式文本均无显著差异 |
persona 的发现最具实际意义。逐个模拟大量有详细描述的用户,并没有产生多样化的样本:被选中的不同选项平均数降到了 1.16。详细的人口统计和大五人格画像改变的只是回答的措辞,而不是模型点击的位置。作者将这些失败归因于 LLM 的工作原理:它们根据语言模式预测可能出现的文本,而不是真正感知界面并据此行动。
这对 UX 和市场研究者意味着什么
合成的首次点击或可用性数据,最多只能作为生成假设的工具,绝不能作为设计决策的证据。研究中呈现的模式——自信地给出单一“赢家”、遗漏次要路径、反馈积极乐观——恰恰是那种在汇报材料里看起来很有说服力、却掩盖了真实用户困惑的输出。
基于研究结果的实用建议:
- 不要用模拟点击在设计方案之间做选择。71% 的首选一致率意味着在大约十分之三的任务中,模拟指向了错误的赢家,而且它会低估替代路径。
- 对“persona 丰富”的合成样本库保持怀疑。更详细的 persona 并没有让模拟样本的行为更接近真实样本。
- 留意合成反馈的语气。一律积极、整齐的评论是警示信号,而不是好消息。
- 保留真实受访者,转而降低接触他们的成本。借助 AI 访谈员开展简短的异步访谈,可以大规模收集真实用户的想法。如果确实要使用模拟受访者,应先用真实数据加以验证,例如借助 数字孪生样本库(Digital Twin Panel),而不是默认信任它们。
作者也承认了研究的局限:只测试了 OpenAI 的模型;由于预测试显示多次运行之间差异很小,因此只比较了单次运行;部分原始任务的措辞对答案有所暗示。即便如此,首次点击测试是最容易模拟的 UX 任务之一,这使得研究结果难以被轻易否定。
常见问题
AI 能替代可用性测试中的真实受访者吗?
根据这项证据,不能。在 12 项真实的首次点击研究中,GPT 模拟的点击在 53% 的任务中与人类行为存在显著差异,其后续回答也比真实反馈更积极、更笼统、更缺乏变化。
更好的推理模型能让合成用户更准确吗?
没有实质改善。开启思维链推理的 GPT-5.2 点击略微更分散,但没有解决核心偏差,在封闭式后续问题上与人类的一致性甚至比 GPT-4.1 更差。
详细的 persona 能改善合成受访者数据吗?
在这项研究中不能。与真实样本匹配的 persona 表现并不优于通用 persona,而逐个 persona 模拟用户则让结果远不如之前真实。
在哪里可以阅读原始论文?
预印本为 Kuric、Demcak 和 Krajcovic(2026),“What Would GPT Click: Practical Effects of Human-AI Behavioral Misalignment and the Cost of Synthetic Participants in User Experience”,arXiv:2605.18302 [cs.HC]。
最后更新:2026 年 10 月 7 日
本文是 Qualitati 研究团队对第三方研究的独立编辑摘要,与论文作者无关联,也未获其背书。文中数据均按 arXiv 预印本所发表的内容报告;完整方法与结果请参阅原文。
