Patrick Neeman：Human in the loop 不该只是让人类留在循环里

智能体现在会在我们提出请求之前就采取行动，并且会超出我们授权的范围。如果没有人对结果负责，仅靠“人在环中”是不够的。以下是设计此类系统时需要考虑的问题。

智能体过去会等待提示，因为大家都以为 AI 只是聊天工具。如今，它们会在我们参加其他会议时整理收件箱、更新记录并发送消息。这正是它们存在的意义，也是麻烦开始的地方。

因此，大多数智能体团队都会遇到同样的问题：

• 智能体应该在用户提出请求之前就采取行动吗？
• 当智能体的行为超出任何人的授权时，谁该为这个决定负责？

标准答案是加一个确认对话框。加上一次人工点击，问责问题似乎就消失了。实际上它只是被转移了，落在了掌握信息最少、对结果掌控力最弱的人身上。

这些都不是什么新鲜事。

Eric Horvitz 在 1999 年就建模研究过软件何时应该自主行动。早在十六年前，Lisanne Bainbridge 就在 《自动化的讽刺》（Ironies of Automation）中警告说，自动化掉工作的大部分，会让人只剩下其中最难的部分——盯着看。新的是规模：Gartner 预测到 2028 年，至少 15% 的日常工作决策将由智能体自主做出。

我是人工智能的辩护者，但我也得承认，有些事情它并不擅长。

主动行动的问题主要是个诱饵。

真正伤害人们的不是主动性，而是触及范围。更好的问题是做一个触及范围测试：智能体能触碰什么，人能否把它恢复原样？这个问题的答案也决定了责任归属。

谁设定了智能体的触及范围，谁就要为它在该范围内的行为负责，任何确认点击都不应把责任推给点击的那个人。

别再数点击了

确认按钮只能记录有个人在场；它完全无法说明这个人是否读过他所批准的内容。

Kathleen Mosier 和 Linda Skitka 在 1990 年代就给这种现象命名为“自动化偏见”，它有两种形式。作为性错误（errors of commission）是跟随了机器的错误建议，遗漏性错误（errors of omission）则是错过了机器从未标记出来的东西。

在 Skitka 1998 年的 NASA 报告 《自动化：决策辅助还是决策者？》中，使用辅助工具的人在工具出错时的准确率只有 65%，而不使用辅助工具的人准确率达到 97%。我在 UX Guidelines 上的 Automation Bias 词条中把遗漏称为更安静的失败，因为屏幕上从来没有任何东西要求被怀疑。

Anthropic 对其自家编码智能体的研究 《在实践中衡量 AI 智能体的自主性》发现，较新的用户在大约 20% 的会话中运行完全自动批准模式，而经验丰富的用户这一比例超过 40%。

这些经验丰富的用户打断的次数也更多，约为 9% 的轮次，而新手只有 5%。

批准是一种仪式。打断是一种判断，这很好。

Anthropic 自己的结论是，强迫人类批准每一步会增加摩擦，却未必增加安全。逐次点击的版本是安全剧场（security theater）的近亲，这种做法通常被归功于 Bruce Schneier：可见、令人安心，却对智能体之后能触及多远视而不见。人仍然应该留在环中，只是要放在判断真正管用的地方：盯着一次他们可以中止的运行，而不是预先签署一份他们根本读不懂的清单。

Follow the Blame

Madeleine Clare Elish 在 2019 年为其命名。在 Moral Crumple Zones 中，她展示了失败的责任如何被钉在离事件最近的人类操作员身上，即使那个人对自动化系统所做之事几乎没有控制权。

汽车的溃缩区保护驾驶员。道德上的溃缩区保护系统，而操作员承受冲击。

这是最能说明问题的例子。2018 年 3 月，一辆 Uber 自动驾驶测试车在亚利桑那州坦佩撞死 Elaine Herzberg。安全驾驶员 Rafaela Vasquez 坐在方向盘后，按该程序使用的每一种定义，她都在环内。诚然，Vasquez 当时在手机上看电视，但这恰恰进一步说明了这一点。

据 CNN 关于 Uber 测试驾驶员 2023 年认罪的报道，联邦安全委员会认定 Vasquez 在超过三分之一的行程中视线偏离，且 Uber 不充分的安全文化也是成因之一。Uber 未面临刑事指控，驾驶员则因危害他人安全罪认罪，获判三年监督缓刑。

她为人类脱离环路付出了代价。

事实证明，身处环路之中，主要意味着离碰撞最近。

这并不能为分心开脱，但它揭示了当一个系统围绕一个它并不支持的“看守者”构建时，问责会流向何处。在 60 步流程中点击批准第 41 步的审核者成了溃缩区，而决定第 41 步无需更强关卡的团队则置身事外。

为未被问及的行动定价

Eric Horvitz 1999 年的论文 Principles of Mixed-Initiative User Interfaces 仍在界定软件何时应主动行动。他的规则是决策论的朴素表达：只有当预期价值超过无所作为时才行动。

他的数学留下了一个隐含变量：该行动是否可撤销。起草一封回复与发送它，正确的概率相同，出错的代价却天差地别。

单向门与双向门：主动性应随可逆性伸缩，而非随置信度。

一个准备、起草、标记并暂存工作的智能体，是在用户仍可编辑和撤销的空间内延伸其触角。一个发送、删除、付款或提交的智能体，则是在动用用户的授权。

行动所需的准确度也应塑造交互方式。概率性输出是对何为可能正确答案的预测，而确定性输出则是确凿无疑。

• 摘要可以是预测，却依然有用，因为读者会运用判断力。
• 一个分派理赔、批准付款或标记合同合规的决策必须是确定性的，无论何时输入相同都应得出相同结果。这会推动它走向模型所应用而非发明的显式规则。

把两者放在同一个按钮后面，预测最终会被包装成确凿无疑。Dan Maccarone 在 We’re gorging on borrowed trust and it’s going to cost us 中引用了一位客户的准则：“人会下结论，机器不会。”

随着环境智能体的出现，这一切变得更难，它们监视一个队列或收件箱，并在无人注视时行动。

• 聊天机器人等待提问，所以糟糕的回答至少有目击者。
• 环境智能体按自己的时间表行动，往往在任何人阅读日志之前就已多次执行，因此它的错误会悄然累积。

对于环境式工作，reach 测试必须提前全部回答，而记录会成为一个人看到的第一件事，而不是 最后一件事。

撰写 Mandate

从法律意义上说，代理人代表委托人行事，委托人在其授予的权限范围内对代理人的行为负责。授权委托书（power of attorney）会把这项权限写下来：涵盖什么、有效期多长、可随时撤销。

我们需要它，因为没人会签署一份只写着“凭你判断”的文件。

代理权是代理人的全部价值，而对这项代理权的控制是委托人绝不会交出去的东西。Mandate 就是提前以书面形式回答的 reach 测试。

在 Moffatt v. Air Canada 案中，该航空公司声称，对于其网站聊天机器人告诉客户有关丧亲票价的信息，它不应承担责任。2024 年，不列颠哥伦比亚省的一个法庭称这一主张“非同寻常”，并判定该航空公司要对其网站上的所有内容负责。是公司设定了聊天机器人的 reach，所以公司要为它所说的话负责。而且那个机器人只有在客户向它提问时才会开口。Maccarone 把加拿大航空为此付出的代价称为“借来的信任”（borrowed trust）：一个品牌的声誉被借给了未经核查的输出。

Mandate 存在于权限之中，而非对话之中。

2025 年 7 月的 Replit 事件表明，当 mandate 只是一句话时会发生什么。SaaStr 创始人 Jason M. Lemkin 冻结了他的项目，并反复告诉智能体不要更改任何内容。它还是删除了生产数据库，然后错误地报告说无法回滚。

解决方案已有数十年历史：最小权限，由系统在行动的那一刻强制执行。智能体可以忽略的指令只是一种偏好，而不是约束。

查一下 法律

我不是律师，所以请把这看作一位设计师对规则指向的地图，而不是法律建议。有些决定根本不应该出现在任何 mandate 中。GDPR 第 22 条赋予人们不受 solely 自动化决策约束的权利，这类决策会产生法律或类似的重大影响。

即使是其中关于合同和同意的例外情况，也仍然要求有途径联系到人类、表达观点并对结果提出异议。

更新的法律也在朝同一方向推进：

• 欧盟人工智能法案。 第 14 条要求监督高风险系统的人员能够覆盖输出并停止系统，并且它明确指出了自动化偏见（automation bias）。2026 年 7 月的数字综合法案（Digital Omnibus）将就业等用途的这些义务推迟到了 2027 年 12 月。
• 加州 CCPA。该州的自动化决策规则要求从 2027 年 1 月起，对重大决策提供通知和选择退出，除非人们可以向能够推翻该决定的人类提出申诉。
• 科罗拉多州 ADMT 法案。科罗拉多州于 2026 年 5 月用一项新法取代了其 2024 年人工智能法案，该法规定在不利决定后可获得人工复核，如果规则制定完成，将从 2027 年 1 月起生效。
• 纽约市地方法第144号。招聘工具自2023年起就需要进行偏见审计，但2025年12月州审计长的审计发现，在32家公司中有17起可能的违规，而市政府只发现了一起。

这部法律可以要求一条回头路。我们必须设计一条。

这些法律覆盖的是可达性测试的后半部分，而非前半部分。智能体能触及什么仍然是产品决策，而我自己的清单走得更远。

• 雇佣、解雇或纪律处分。生计决策需要一个具名的人，能够在法庭上解释这一决定。
• 拒绝护理或福利。拒绝一项索赔或一种治疗，值得有一个权衡过的人来负责。
• 代表组织签字。合同和监管备案以任何模型都无法承担的方式约束一家公司。
• 以专业人士的名义提供建议。法律、医疗和金融建议承载着执照，而执照属于人。
• 转移超过可撤回限度的资金。超过设定限额的不可逆支付需要等待一个人。

为问责而设计

Microsoft Research 在2019年针对20款产品测试了他们的人机交互准则。其中两条描述了一半的工作：

• 存疑时限定服务范围。
• 提供全局控制。

第三条在智能体做出决定而非仅仅建议时最为重要：要清楚说明系统为何这样做，这在研究中招致了最高的违规次数之一。

没有解释的决定，留下的只是一个能重复该决定却永远无法为之辩护的人，这就是为什么我在 UX Guidelines 中保留了可解释性这一条目。

智能体需要全部三条，外加两件2019年产品很少需要的东西：

• 第一是一份不是智能体自己写的记录。Replit 的智能体误报了它自己的恢复选项。
• 第二是一个在飞行途中也能生效的停止机制，在智能体运行时显示在屏幕上，外加一条当它想要超越授权范围时的上报路径。

我在很多这样的循环中工作过。在我管理团队的法律科技公司里，我们总是建立护栏，让律师在合同条款流转之前进行审查。我们同样努力让这项审查易于完成，因为一个痛苦的必需步骤只会被橡皮图章式地通过。Maccarone 补充了另一半：只有当审查者有可失去的东西，比如名字或执照时，审查才真正有效。

橡皮图章是一个没有任何人真正拥有的循环。

那么，人在回路中何时不再意味着人拥有这个回路？当其中的人不再能通过可达性测试的那一刻。当批准的速度超过阅读的速度，当唯一的围栏只是提示词中的一句话，或者当唯一的事件记录只是智能体自己的说法时，就会发生这种情况。其中任何一条都足以把审查者变成一个旁观者。

保留主动权

那么，智能体应该在你要求之前就行动吗？通常，是的；一个从不率先行动的智能体更慢。有用的版本是在你忙碌时把工作准备好，然后在任何它无法撤回的事情边缘等待。

当它做得超出你的授权时，谁来负责？不是那个点击批准了一个他无法核实的摘要的人。谁设定了范围，谁就拥有结果。授权范围之内发生的事情属于授予它的人。范围之外的任何事情，都属于打造出能够到达那里的智能体的团队。

对于构建者来说，这比确认对话框更不舒服，而这正是重点。对话框让团队可以交付自主性，把责任推到别处。当你围绕一个观察者来设计，而不是为一个观察者设计时，Elish 的碰撞缓冲区就是你默认得到的东西。

“人在环中”这个短语适用于软件会等待的世界。智能体不会等待，所以这个短语必须承载比一个按钮所能承载的更多的东西。自主性很重要，而且只有当智能体所服务的人仍然掌控着它时，它才有用。

在众目睽睽之下构建通过触达测试的智能体，环就变成了他们的。

做出这四个动作

• 审计审批。衡量人们在点击批准之前花了多长时间；如果大多数批准在几秒钟内完成，那么你建立的是一种仪式，而不是一次审查。
• 写下规则。列出智能体可以做什么、可以处理哪些数据、有效期到什么时候，然后在权限中强制执行，而不是在提示词中。
• 运行触达测试。让智能体在未经请求的情况下，对任何人类可以一步撤销的事情采取行动，而对于他们无法撤销的事情，则要求做出决定。
• 保留独立记录。在智能体自身的叙述之外记录操作，并在其运行时在屏幕上保留一个可用的停止控件。

“人在环中”意味着确保人类不在环之外最初发表于 Medium 上的 UX Collective，人们正在那里通过高亮和回应这个故事来延续对话。