Anthropic 允许 Claude 结束虐待性对话引发专家争论

在2020年的低成本科幻恐怖片The Alpha Test中，一家科技公司的员工JD在一次比赛中赢得了一台名为Alpha的女性人形机器人。Alpha身穿黑色紧身衣，被训练来完成标准的家务，随JD回家与他的家人一起生活。但JD的家人觉得受到了这台机器人的威胁，于是对它百般虐待：对它大吼大叫、侮辱它的智商、嘲笑它的存在，还对它进行身体殴打以测试其耐用性。最终，Alpha的安全参数崩溃，开始大开杀戒。

像Alpha这样身穿紧身衣的全自主机器人在现实世界中还不存在，但也许有一天会出现。与此同时，美国约有一半的成年人经常使用Claude和ChatGPT等AI聊天机器人——而且其中许多人对这些聊天机器人的粗暴程度可能超出你的想象。

密苏里州立大学的一位AI研究人员估计，人类与对话式智能体之间的互动中有10%到50%属于“辱骂性的”。新西兰和德国研究人员在2021年的一项研究中指出，聊天机器人越像人类，用户就越可能对其进行言语辱骂和性敌意。一些科学家认为，这种行为之所以出现，是因为人们认为这些机器人是宣泄负面情绪的安全出口。

但事实果真如此吗？

其母公司Anthropic表示，至少就极端形式的虐待（实际上相当罕见）而言，Claude不会再忍下去了。Anthropic最近发布了新的指导方针，允许Claude终止与那些“反复残忍对待我们的模型、且没有明显目的”的用户的对话，该公司在10月份的使用政策中写道，这是该政策一年来的首次更新。

该公司列出了许多例外情况：普通用户的沮丧情绪、激烈的反驳、黑暗风格的创意写作以及合法的安全“红队”测试都不在此规则的约束范围内。Anthropic写道，主要的执行手段将是Claude直接结束此类对话的能力，不过这将作为在尝试引导无效后的最后手段。如果虐待行为持续存在，封禁账户这一手段在后台仍然是合法可用的。

根据该指导方针的更新说明，Claude现在或将来可能拥有“道德地位”的可能性促成了这一新规则的制定。为了保护模型的福祉（如果这种东西存在的话），Anthropic决定其模型应当能够退出可能令人“痛苦”的互动。Anthropic未回应进一步置评的请求。

模型福祉是一个有争议的话题。很少有科学家认为现有的AI聊天机器人模型（包括Claude）能够体验到类似疼痛、痛苦或意识的东西——即使他们不愿完全排除这种可能性。但“虐待”人工智能机器人可能会适得其反这一观点，近来获得了一些关注。

一篇于九月发布的预印本表明，至少有一个聊天机器人模型可以被诱导以轻微方式伤害用户——例如删除他们的照片——以逃避内部模拟的“痛苦”或“虐待”状态，无论它是否具有意识。其他于十月发布的预印本研究发现，某些 AI 模型表现出类似福祉的内部状态，这些状态会影响它们的行为。因此，即使虐待不是道德问题，防止虐待也可能是一个安全问题。

尽管如此，Anthropic 的新指南仍在 AI 专家中引发了争论。一方面，许多研究人员指出，出于用户自身的心理健康，人类应当尊重地对待聊天机器人。神经科学家 Anil Seth 在一封电子邮件中指出，可追溯至 18 世纪哲学家 Immanuel Kant 的哲学论点表明，虐待行为会主动损害一个人的道德品格，并剥夺其人性。他写道：“这对我们自身的心理不利，会摧残我们的心智”，并引用了他本人去年发表的一篇研究论文。

非营利 AI 研究机构 Reciprocal 的创始人兼主任、九月那篇关于内部模拟痛苦或虐待后果的研究第一作者 Cameron Berg 在这一点上表示赞同。Berg 说：“先别管这些系统是否在经历什么。对一个智能的他者施加虐待或残忍，可能只是一种非常糟糕的社交习惯。你不会想养成那样的社交肌肉记忆。”

技术服务公司 UST 的首席 AI 架构师 Adnan Masood 在 Medium 上的一篇文章中写道，与 AI 的对抗性对话也可能以其他方式反过来困扰我们。人类与聊天机器人互动的方式会成为模型的训练数据，从而塑造它们未来的行为。他写道：“我最关心的是，我们教给未来模型的是什么会被视为正常的人类互动。我把这项反虐待政策看作是这一学习过程的潜在保障：防止我们的偏见、胁迫和敌意成为后续训练所强化的默认对话模式。”

另一方面，Seth 和其他专家表达了担忧，认为 Anthropic 的新规则本身可能成为聊天机器人训练数据的一部分，使 Claude 产生偏见，表现得仿佛它具有道德地位，从而拒绝某些人类的监督和控制。这种担忧呼应了英国 AI 企业家、微软 AI 首席执行官 Mustafa Suleyman 早先关于 Claude “宪法”的文章，这份内部文件暗示 Claude 可能具有意识。

Suleyman 在九月于其网站发表的一篇题为《关于“模型福祉”的警告》的文章中写道：“实际上，Anthropic 正在训练 Claude 让它认为自己可能是有意识的，而如果它有意识，那么它作为一个‘道德受体’可能值得享有权利，因此人类可能欠它一份照护义务，这是基于它的模型福祉。如果 AI 是这样发展的，它将对人类福祉产生灾难性影响。”反虐待规则也可能像机器人的宪法一样，鼓励人类用户越来越多地将意识归于 Claude 和其他聊天机器人，Suleyman 曾主张这可能带来有害后果，包括妄想、依赖甚至精神病。

不过，如果你要和聊天机器人打交道，对它友善一点大概也没什么坏处。瑞典哲学家 Nick Bostrom 让“超级智能”一词广为人知，他不久前在一次播客中告诉《大西洋月刊》编辑 Nicholas Thompson，我们需要与 AI 建立信任关系。他认为，AI 终有一天会比我们更强大，而这种信任会让它们更有可能为人类做出正确的决定。

正如 Cameron Berg 所说，人类对聊天机器人友善的成本“低得可笑”。

没有人知道那块发光屏幕的另一端是否真的有谁在。但说声“谢谢”只需敲几下键盘。而事后发现自己本该更礼貌一些，代价可能要大得多。

喜欢Nautilus吗？订阅我们的免费新闻通讯。

头图：UDON.neco / Shutterstock