NN/g 对比合成受访者与604名人类受访者的开放式问题回答

摘要：  AI 生成的受访者数据得出了与 604 人调查相同的结论，但答案的种类要少得多。

越来越多的团队开始使用合成用户（AI 生成的研究参与者替身）来开展研究，而无需招募真实的人。我们此前探讨过合成用户在访谈中的表现。这一次，我们想在一个范围更小的任务上测试它们：回答调查中的一个开放式问题。

为此，我们复用了此前关于 UX 术语的调查中的一个问题，在那次调查中，604 名科技和设计专业人士告诉我们他们会用什么名称来称呼 UX 工作。我们向 120 名合成受访者提出了同样的问题，然后比较了两组数据。两组数据得出了相同的总体结论，但合成回答的差异远小于人类回答。

• 合成受访者是如何生成的
• 合成数据与人类数据在总体结果上趋于一致
• 合成受访者使用的术语范围更窄：模式坍缩
• 职位角色有影响，但“UX”仍然更普遍
• 合成用户研究仍然不是用户研究

合成受访者是如何生成的

我们于 2026 年 2 月使用 Synthetic Users 获取了合成回答，这是一个基于生成式 AI 的平台，用于模拟研究参与者及其回答。

我们创建了 120 名合成受访者，旨在代表全球的科技和设计专业人士。我们向 Synthetic Users 提供了研究计划，其中包括研究问题、纳入标准、排除标准和调查问题。Synthetic Users 自动为每位受访者分配了一份档案，包含年龄、所在地、职业、文化背景、组织架构和个性特征等属性。

我们要求向合成受访者提出与原始人类参与者研究中相同的开放式问题：

问题：你认为以下工作最能描述哪个专业领域或学科？

某人收集关于人们需求和体验的洞察，并将这些洞察转化为关于产品或服务应如何规划、构建和改进的建议。

请只说出 1 个领域或学科。

平台有两个方面不受我们控制。首先，Synthetic Users 模拟访谈，因此合成受访者回答时仿佛在与访谈者交谈，其回答往往比人类的调查回答更长。其次，平台有时会改写问题——例如，询问“人们的需求、行为和体验”而不是“人们的需求和体验”。这种改写可能是为了模仿人类访谈者在对话中重新表述问题的方式，但即使是很小的措辞变化也可能对受访者产生启动效应，或改变他们对问题的理解方式，因此我们无法排除它们对合成回答产生了影响。

这些差异指向了合成用户平台的一个更广泛的局限：研究者对问题的呈现方式控制有限，而这种呈现方式可能是研究中的一个混淆变量。

我们以相同的方式分析了合成回答和真人回答。由于有些受访者提到了不止一个领域，我们根据回答中包含的关键词对每条回答进行编码，而不是将其强行归入单一类别。

合成数据与真人数据在总体结果上趋于一致

两个数据集得出了相同的主要结论：没有任何替代术语取代 UX，成为这类工作的主导名称。

合成受访者比真人受访者更倾向于使用与 UX 相关的术语。这 14 个百分点的差异具有统计显著性，但它不会改变我们原始研究的实际结论：在两个数据集中，UX 显然都是主导术语。

这一差异值得放在背景中考虑。我们的真人样本部分是通过我们自己的渠道招募的，例如我们的从业者小组。正如我们在原始研究中指出的，这种招募方式可能导致样本对 UX 术语特别熟悉，从而可能高估“UX”一词在科技和设计专业人士中的使用频率。

合成受访者并非通过这些相同渠道招募，因此不存在这种特定的抽样局限。事实上，真人数据集中有 67% 是 UX 专业人士，而合成数据集中只有 20%。（这一差异是刻意设计的：我们在生成合成样本时为不同职业角色设定了配额，以确保覆盖更广泛的职业范围。最终的合成样本与这些配额高度吻合。）

理论上，合成数据集提供了代表更广泛科技和设计专业人士的机会。然而，与我们本就熟悉 UX 的真人样本相比，合成数据中与 UX 相关的术语甚至更为常见。

我们无法从这一比较中确切判断原因。不过，此前关于合成受访者的研究发现，他们的回答可能更集中于常见或预期的回应，缺少真人回答中的多样性。

合成受访者使用的术语范围更窄：模式坍缩

真人受访者使用的术语范围比合成受访者宽得多。真人参与者使用了 50 多个不同的标签，包括“消费者行为研究”“数字体验策略”“旅程管理”和“人因工程”。其中大多数替代术语只出现过一次，最多出现几次。

相比之下，合成受访者集体产生的回答范围要窄得多。这种差异在较不常见的回答中最为明显：合成受访者没有产生真人数据中出现的任何不常见或专业术语，例如“数字管理”或“业务分析”。

这种模式类似于模式坍缩——一个机器学习术语，指生成模型只产出一小部分输出，而不是其训练所覆盖的全部范围。（该名称借用了“众数”的统计学含义：数据集中最常见的值。）

在合成用户研究中，模式坍缩指的是合成数据只复现了最常见的数据点，却丢掉了目标人类群体中较不常见回应的长尾部分。

我们的合成受访者坍缩到十几个标签上；而人类受访者则分布在 50 多个标签上。

考虑到回应格式，这种更窄的范围值得注意。由于合成受访者以访谈格式作答，他们的回应比人类更长，因此有更多机会提到替代或相关术语。然而，他们产出的不同术语仍然更少。

下表列出了合成受访者使用的所有术语。

这种差异有多重要，取决于你的研究目标。如果你只需要最常见的回应，合成数据可能就足够了。如果你需要揭示较不常见的回应——出人意料的术语、新兴主题或进一步研究的思路——你就需要人类参与者。

研究者可能会尝试通过提示模型生成更多样的答案来对抗模式坍缩。然而，仅仅产出更多样性并不意味着这种多样性具有代表性。模型需要生成真实人群会给出的那类不常见回应，并且大致按照它们出现的频率。没有人类数据作为对比，就很难知道这种变化是否真正反映了该群体。

职位角色有影响，但“UX”仍然更普遍

职位角色影响了合成数据集中的术语使用，正如它影响人类数据集一样。例如，在合成数据中，45% 的客户洞察专业人士在回应中使用了“customer”一词，而合成的 UX 专业人士中这一比例为 0%。同样，30% 的合成市场研究专业人士在回应中使用了“market”，而合成的 UX 专业人士中这一比例为 0%。这些差异具有统计显著性。

然而，UX 之外的合成受访者使用与 UX 相关术语的可能性仍然高于他们的人类对应者。例如，合成数据集中 93% 的产品经理使用了与 UX 相关的术语，而人类数据集中这一比例为 44%。

合成数据并未消除专业背景的影响，但它比人类数据更强地将不同角色的受访者拉向同一个主导标签。模式坍缩既发生在每个角色内部，也发生在整个样本层面。

这对于希望使用合成受访者来探索受众差异的研究者来说很重要。合成数据仍可能显示出群体在思考或表达上的不同，但它会将回答拉向最常见的表述方式，从而低估这些差异。在关于不同群体如何自然描述某一概念的开放式研究中，这种变异的丧失可能会掩盖人类参与者本会揭示的差异。

合成用户研究仍然不是用户研究

我们的合成受访者复现了原始研究的主要结论——UX 仍是该领域的主导术语——但他们没有复现真实人群回答的全部变异。他们给出的少见替代说法更少，并且在所有角色中都表现出更强的向 UX 术语靠拢的倾向：这是整个样本层面和每个子群体内部的模式坍缩。

使用合成用户的研究仍然不是用户研究，因为并没有研究任何真实用户。应将合成研究发现视为起点，而不是用户所想、所说或所做的证据。一个看似合理的发现——即使与人类研究结果一致——也不能证明合成受访者能够可靠地代表那些较少出现的视角、子群体差异或自然变异，而这些可能对你的研究问题至关重要。使用合成受访者来生成假设或检验宏观模式；当回答的尾部（少数情况）很重要时，你需要人类参与者。