After Orthogonality：德性伦理的能动性与 AI 对齐

前言

After Orthogonality: Virtue-Ethical Agency and AI Alignment

本文主张，理性的人没有目标，理性的 AI 也不应有目标。人类行动之所以是理性的，并非因为我们将其指向某个最终的“目标”，而是因为我们让行动与实践^[1]相契合：实践是由行动、行动倾向、行动评价标准和行动资源构成的网络，它能够自我构建、自我阐明、自我发展和自我推进。如果我们希望 AI 能够真正地支持、协作，甚至遵从人类的能动性，那么 AI 智能体的审议过程就必须与我们用于反思和行动的、基于实践的逻辑共享一种“类型签名”。

我认为，这些问题之所以重要，不仅在于将 AI 与人类繁荣等宏大的伦理理想对齐，也在于将 AI 与透明度、有用性、无害性或可纠正性等核心安全属性对齐。对于那些会用目标或规则来解释这些概念的智能体而言，“无害性”或“可纠正性”这类概念是不自然的——脆弱、不稳定、武断；但对于那些会将其解释为行动、行动倾向、行动评价标准和行动资源网络中的动态过程的智能体而言，这些概念则是自然的。

尽管本文探讨的问题往往庞杂纷繁，但有一个主题反复出现，那就是“以 x 的方式促进 x”这一公式的重要性。我认为，这一公式捕捉到了有意义的人类生命活动（艺术是艺术地促进艺术，浪漫是浪漫地促进浪漫）和真正的人类道德（关心善良就是善良地促进善良，关心诚实就是诚实地促进诚实）中某些重要的东西。

我首先提出这样一个问题：如果我们认真对待 eudaimonia（幸福/繁荣）——即积极的、理性的人类繁荣——这一概念，那么这对 AI 对齐意味着什么？我认为，eudaimonia 的概念并非仅仅指向一个我们应当设定为 AI 优化目标的、期望的世界状态或轨迹，而是指向一种不同于标准后果主义^[2]理性的审议结构。随后我论证道，这种我称之为eudaimonic 理性^[3]的理性活动与价值评估形式，对于与人类对齐的 AI 的能动性和价值观而言，是一个有用甚至必要的框架。

这些论证既基于将人类繁荣作为优化目标、将后果主义优化作为形式所存在的“类型不匹配”风险，也基于 eudaimonic 理性在稳定性和安全性方面，相较于义务论和后果主义能动性可能具备的某些实质性优势。

我认为，eudaimonia 的概念暗示了一种理性活动形式，在其中手段与目的之间，或“工具性价值”与“终极性价值”之间，并没有严格的区分。在这种理性活动模型中，一个理性的行动是一个有价值的实践的组成部分，这大致就如同一个音符是旋律的组成部分，一个时间步是计算的组成部分，以及生物体细胞生命中的一个瞬间是该生物体自我存续和自我发展的组成部分一样。^[4]

我的核心主张是：我们关于人类繁荣之本质的直觉，实际上隐含着这样一种直觉——幸福主义理性（eudaimonic rationality）能够在一种对 AI 对齐至关重要的意义上具备功能上的稳健性。更具体地说，我认为，鉴于我们关于人类繁荣之本质的最佳直觉，幸福主义理性是一种自然的能动性形式是可信的，而且即便以其价值的某些后果主义近似来衡量，幸福主义理性也是有效的。随后我论证，如果我们的目标是让 AI 与人类繁荣相对齐，而且如果幸福主义理性既自然又有效这一点更为可信，那么许多经典的 AI 安全考量以及 AI 对齐的种种“悖论”都支持我们尝试向 AI 灌输幸福主义理性。

在本文中，我有时会明确地、更多时候会隐含地追问某种能动性、理性或实践是否是自然的。我所诉诸的“自然”之含义，无疑与各种美德伦理学传统中所用的含义相关，但我对它的关注较少是直接规范性的，更多是实质性的或技术性的。虽然我手头没有一个还原性定义，但“自然”一词的预期含义涉及稳定性、连贯性、相对的非偶然性、易于学习性、较低的算法复杂度、趋同的文化演化、不同假想的理性动物物种之间假想的趋同文化演化、人类与基于神经网络的 AI 之间潜在的趋同演化，以及可被 ML 训练过程作为目标的特性。虽然我也会大量直接提及 AI 对齐，但正是这个实质性自然性的问题，才是真正的对齐关键所在：如果我们发现某些听起来颇为奇特的能动性、理性或实践形式本身是自然的，并且进而使我们那过于人性的价值内容也变得自然，那么我们就找到了良好的、相对安全且相对容易实现的 AI 对齐目标。

读者可能会发现以下分节概览有助于通读本文：

第I部分提出了一类理性审思的案例，它们与 AI 对齐领域许多人视为理性审思典范的“有效利他主义式优化”^[5]大不相同。我把这类理性审思称为“幸福主义理性”，并将其等同于数学家、艺术家或朋友在反思数学、艺术或友谊中该做什么时所遵循的那种理性形式。
第II部分以研究数学为例（借助陶哲轩的论述），展示幸福主义理性的实际运作。数学家在数学中试图做什么？我说她试图做到数学上的卓越，这包括通过数学上的卓越来促进数学上的卓越，而这一结构与“数学上的卓越”何以能成为一个概念密切相关。
第三部分论证，对于像试图做出优秀数学成果的数学家这样的幸福主义主体来说，'工具性善'与'目的性善'（内在善）之间的区分大多是不自然的。这使得幸福主义主体对价值的反思方式与有效利他主义式主体截然不同。幸福主义主体不是试图将一个因果交织的表观价值网络还原为一个内在善的最小基底、并以此把其余价值'解释掉'为工具性善，而是在表观价值网络中寻找类似有机体的因果连贯性。
第四部分落实了本文的核心概念：一项幸福主义实践是一个由行动、行动倾向、行动评价标准和行动资源构成的网络，其中高分行动能够可靠地（但可被推翻地）因果促进未来的高分行动。幸福主义理性是一类反思性均衡与审议过程，它以一项潜在的幸福主义实践为前提，并专门通过高分行动来优化总体行动得分。
在第五部分，我论证，关于AI对齐的许多谜题和'悖论'都源于一个假设，即成熟的AI主体将是有效利他主义式的优化器。有效利他主义式优化与幸福主义理性之间的'类型不匹配'，使得将人类——即践行幸福主义理性的主体——的利益转化为一个有效利他主义式优化AI能够读懂的效用函数，几乎不可能。但这并不意味着我们的价值本质上是脆弱的、不自然的或完全偶然的：尽管有效利他主义式优化器很可能是一种自然的主体类型，幸福主义主体（无论是生物的还是AI的）同样高度自然。
在第六部分，我探讨一个致力于数学研究这类实践的幸福主义理性AI主体是否默认安全。我论证，数学研究这类实践很可能具有自然的边界，能够排除'接管地球以获得更多算力来进行数学研究'这类举动，但这个问题很微妙。我提出，一项实践的边界（可能有多个良好的自然候选边界）在与一项支持性实践配对时可能最为稳定：即一项用于处理实践之外的维护和资源收集问题的互补性实践。
第七部分展开了'支持性实践'的概念：支持幸福主义实践的幸福主义理性方式。我们有一个著名的愿望，即希望AI主体帮助人类过上繁荣的生活，但我们如何界定这种'帮助'的范围？我论证，许多人类核心实践都拥有自然的支持性实践，它们具有派生的幸福主义结构：例如，一位优秀的伴侣治疗师的工作与伴侣的关系实践相互交织但又明显不同。尽管如此，仍存在一个问题：一个支持性实践AI可能会为了帮助它所支持的人或实践而伤害其他人和其他实践。
第八部分从一般性的幸福理性转向幸福理性的道德。我认为，将道德美德视为跨领域、始终在线的实践，可以解决功利主义和义务论道德所带来的若干关键的AI对齐问题。核心观点是，例如“善良”之所以能成为一种稳固的道德美德，其条件类似于“数学卓越”成为一个有意义概念的条件：以善良的方式在自己和他人身上推广善良，必须是普遍可行的。我认为，正是这种结构赋予了道德美德在“适应度景观”中的实质地位，而这一景观正受到神经网络泛化动态、强化学习循环以及社会和自然选择压力的撕扯。
第九部分论证了幸福主体在面对类似强化学习和达尔文式的动态时，具有某些独特的稳健性，而这些动态往往会改变EA式优化器的价值观。具体而言，幸福主体应当对产生失控子程序（有时被称为“内部对齐问题”）的风险具有极强的稳健性。
在第十部分中，我讨论了AI安全领域的典型需求，如透明性、可纠正性，以及（更抽象的）友善性。我认为，将这些属性视为我所说的道德美德——即跨领域、始终在线的幸福实践——可以化解将它们视为目标、规则甚至性格特质时所产生的问题和悖论。最后，我附上一篇附录，探讨面向幸福理性的强化学习机制的一些前景。

I. 美好生活中的理性行动

我首先思考我们希望AI对齐能够促进的善的本质。除了享乐主义功利主义者之外，大多数对AI对齐感兴趣的行为者都将我们的目标理解为一个充满人类（及其他智慧存在）繁荣的未来：人们过着美好的生活，组成良好的社群。然而，我相信许多人未能反思的是，在任何合理的构想中，人类繁荣都涉及一种理性活动。参与人类繁荣的主体以可理解的方式行动，受制于理性、反思和修正，而这种理性的关怀与目的性本身就是我们繁荣的构成部分。我相信，经过反思，对人类繁荣的这一刻画相对没有争议，但如果我们习惯于以功利主义（或带有义务论约束的功利主义）的术语来思考理性，它就会引发一种困惑：人类繁荣活动中的理性行动究竟指向什么目标？

一个显而易见的答案是，如同所有正确对齐的理性一样，人类繁荣活动中的理性行动旨在最大化人类（及其他智慧存在）的繁荣。但我们应当很快发现自己对于如何恰当地描述人类繁荣活动中的理性行动对人类繁荣的贡献感到困惑。说人类繁荣活动中的理性行动仅仅通过践行理性（选择那些在被理性选择时本身就具有内在价值的行动）来促进人类繁荣，似乎并不恰当；说它仅仅通过工具性的方式（选择那些在因果上促进人类繁荣的行动）来促进人类繁荣，似乎也不恰当。^[6]

第一个选项把我们的理性行动贬低为某种仪式性的东西，尽管美好生活显然包括数学家致力于推进数学、朋友推心置腹地交谈以加深亲密关系、体操运动员练习翻腾以把翻腾做得更好，以及小说家修改章节以改进手稿。第二个选项则威胁要让美好生活中的“善”变得无从寻找——如果推心置腹的交谈不是友谊之善，钻研数学不是数学之善，那么什么才是？

本文主张，关于美好生活的审慎推理既不指向理性行动之外的目标，也不把理性行动本身当作独立的善来追求，而是指向在一种有价值的开放式进程中卓越地参与的行动。我进而论证，在数学或友谊这类案例中凸显的审慎推理的“幸福（eudaimonic）”结构（其口号可概括为“以某某的方式促进x”），在更世俗、更具策略性或道德风险更高的语境中同样具有微妙的批判性，并构成了人类行动与审慎推理的一大组织原则。

二、什么是实践？

既然“人类繁荣”听起来可能既神秘又抽象，我们就聚焦于一些具体的幸福实践吧。^[7] 考虑数学、艺术、工艺、友谊、体育、浪漫、游戏和技术这类实践，它们是我们对“一个繁荣的社区中繁荣的人们会做些什么”这一问题所能给出的部分答案中，理解得最好的候选者。从后果主义的视角来看，这些实践在其价值指导理念中，对于何为工具性价值、何为终极价值，都表现出极大的模糊性——我还会主张，是不确定性。以下是陶哲轩对数学之善的阐述：

“最优秀的优秀数学范例，不仅满足本文开头列出的数学品质标准中的一项或多项，更重要的是，它们是一个更宏大数学故事的一部分，这个故事随后展开，催生出许多不同类型的新优秀数学。事实上，人们可以把整个数学领域的历史主要看作由少数几个这样的伟大故事、它们随时间的演变以及它们之间的相互作用所生成的。因此我得出结论，优秀数学……还取决于一个更‘全局性’的问题，即它如何与其他优秀数学片段相契合——无论是建立在前人成就之上，还是促成未来的突破。［似乎］存在某种无法定义的感觉，觉得某段数学‘正有所发现’，它是更大拼图中的一块，等待进一步探索。”

或许可以对陶的论述作一种事后分解，将其拆分为两个在逻辑上截然不同的组成部分——一个是对数学成就之上某种效用函数的描述，另一个是关于数学成就之间因果关系的经验理论——但我认为这样做会显得牵强且具有误导性。在一种更为自然的解读下，陶所描述的是使良好的数学实践成为一种幸福（eudaimonic）实践的若干条件：在一种由培养而成的数学实践智慧判断（陶所说的"无法定义的、感觉到某段数学'正有所发现'的直觉"）所引导的数学实践中，按照该实践智慧判断的标准取得的当下卓越表现，能够可靠地为未来按照该数学实践智慧判断的标准取得卓越表现创造条件，同时也能培养我们对该标准本身在实践与理论上的把握。^[8]

这并不是说"好的数学导致未来的好的数学"就是对好的数学的完整定义，甚至不是完整的非正式描述。我的主张仅仅是：好的数学具有导致未来好的数学的倾向这一事实，揭示了我们关于好的数学这一概念（以及使这一概念得以成立的物质条件）的某些本质特征。打个比方，考虑"健康的老虎"和"健康的人"这两个概念：对于健康的老虎这一概念而言，x 现在是一只健康的老虎，就具有使 x 在5分钟后仍是一只健康老虎的倾向（因为健康的老虎身体能够自我维持并促成自我保存的老虎行为），这是该概念的本质；对于健康的人这一概念而言，x 现在是一个健康的人，就具有使 x 在5分钟后仍是一个健康的人的倾向（因为健康的人身体能够自我维持并促成自我保存的人类行为），这也是该概念的本质。但这些公式还不是对"健康的老虎"或"健康的人"的完整描述，这一点可以从我们能够区分一只健康的老虎和一个健康的人这一事实中得到证明。

至关重要的是，陶所描述的数学实践智慧，除了其基本特征——即作为数学活动中自我完善的卓越之自我完善标准——之外，并非在概念上完全不可捉摸。数学的繁盛（flourishing）可以部分地描述为：在优雅的证明、清晰的阐述、强有力的定理、严谨的定义等相对可单独界定和量化的数学价值实例之间，实例化了某种关系（一种数学实践的"发展性关联"关系）。此外，这种发展性关联关系之所以能被部分地界定，正是因为它具有可靠地在因果上传播更多可单独且局部衡量的数学价值实例（优雅的证明、清晰的阐述、强有力的定理、严谨的定义等实例）的倾向：

[我相信]好的数学远不止是解题、构建理论，以及让论证变得更短、更强、更清晰、更优雅或更严谨的过程，尽管这些当然都是值得钦佩的目标；在完成所有这些任务（并争论在任何给定领域中哪些任务应享有更高优先级）的同时，我们也应当意识到自己的成果可能被置于何种更宏大的背景之中，因为这很可能为该成果、为该领域、乃至为整个数学带来最大的长远益处。

人们或许会再次试图这样解读：Tao 所谓“有机体式”（或“叙事式”、“发展式”）的好数学观念与狭义好数学实例的可靠传播之间的这种因果关系，是手段—目的之理性关系的证据，其中对狭义数学价值实例的加总最大化是效用函数，而“有机体式”的数学洞见则是手段。然而对 Tao 而言，这一因果关系的证据意义恰恰相反——它提示我们，应把我们关于数学卓越性的种种更显式、更独立的观念统一为一种更难以言喻却更完整的观念。正如 Tao 所说：

从上述讨论来看，评价数学质量的问题虽然重要，却似乎是一个无可救药的复杂问题，尤其是因为许多优秀的数学成就可能在上述某些品质上得分很高，但在另一些上却不然[……]然而，存在一个引人注目的现象：在上述某一种意义上的好数学，往往会在许多其他意义上也催生出更多好数学，由此引出一个初步猜想：或许终究存在一个普遍的“好数学”概念，而上面列出的所有具体指标，不过是揭示新数学的不同路径，或是一个数学故事演化的不同阶段或不同侧面。

三、倒转后果主义反思

Tao 关于局部与全局数学价值的推理，体现了后果主义理性与幸福（eudaimonic）理性之间的一个核心差异——如今这两者不仅被视为选择行动的范式，也被视为反思价值的范式。（即哲学家有时所说的“反思平衡”的范式。）在后果主义理性的范式内，如果卓越^[9]——即符合某种整体性的、难以判断的表观价值（比如“自由”）的卓越——能够可靠地有力促成符合更显式、更独立的表观价值（比如“物质舒适”、“心理健康”、“寿命”）的卓越，那么这种关系就构成了反对该整体性初显价值具有构成性价值（而非工具性价值）地位的证据。相反，在幸福理性的范式内，同样的关系则构成了支持该整体性初显价值具有构成性价值地位的证据。

对于一个（典型的）^[10]后果主义理性反思过程而言，整体之卓越在因果上促成其各部分之卓越这一证据，会消解我们对整体之卓越的投入。内在有价值的整体同时对各部分具有工具价值这一“巧合”，被认为暗示了一种重复计算错误——我们通过得出整体不具有构成性价值、但在正常情况下对整体进行估值是一种有效的启发式方法来“修正”这一错误。相比之下，幸福理性（eudaimonic-rationality）的反思均衡则将卓越之间的工具性因果联系视为证据，表明我们关于卓越的概念确实在把握某种恰当地“实质性的”东西。
对于幸福理性的反思均衡而言，正是在诸卓越之间发现因果关系和共同原因关系，确证了我们最初的感觉，即关心这些卓越在幸福意义上是理性的。这些因果联系的发现起到了如下证据的作用：

我们所关心的“局部”卓越是共鸣的或富有成效的，因为它们在因果上相互促进，并促进它们所参与的整体性卓越。
我们所关心的“整体性”卓越是实质上有效且稳健的，因为它们在因果上既促进参与其中的更局部的卓越，也促进其自身作为未来整体性卓越的延续。^[11]

在我看来，如果我们希望捕捉真实的人类价值反思，这就是处理（表面上的）价值之间因果联系的正确方式，并且指出了幸福理性范式的一个重要优势：幸福理性消解了这样一个“悖论”——在关于各种人类事业价值（例如各科学分支、各艺术门类、各运动项目的价值）的现实争论中，内在价值的判断通常要从某种工具价值的主张中寻求慰藉。例如，对量子物理研究重要性的辩护常常会诉诸量子物理带给我们的奇妙的技术、数学和特殊科学应用，而无意将量子物理的价值还原为这些应用。按照我的解读，这些诉诸不只是叠加的——“除了内在价值之外还有工具价值”——而是呈现证据，表明量子物理研究是一个繁荣的有机整体（例如“现代科学技术”这一文明整体）的共鸣部分。

我相信，若没有上述那种“有机主义”，那么每当人们为某种追求或规范的内在价值辩护时，就会面临一个严重的两难：要么我们强调该价值独立于一切益处与应用，从而使价值主张变得教条且无关紧要；要么我们就招致一种工具主义的化约，将内在价值的表象“解释掉”。^[12] 事实上，我会论证，这种有机主义甚至是非工具性地关心理性（包括真理、知识、不矛盾等等）的前提：理性作为实质性价值的“悖论”在于，理性的典型有用性暗示了一种关于其表观内在价值的错误论，因为理性既如此典型地有用、又如此具有内在善性，这实在是一种奇怪的巧合。然而，在有机主义的解释下，我们预期人类生活中特有的主要卓越形式——思想、理解、知识、有理据的行动——既典型地相互促进，也典型地促进我们的物质繁荣以及对世界的因果影响力。

IV. 物质效力条件

现在回到陶关于好数学的论述，让我们对我们的解读作最后的总结。我主张，陶所说的数学卓越（标记“好数学的极佳范例”的属性）满足以下条件，我认为陶视其为必要但非充分条件：

A) 数学卓越是数学活动实例的一种属性。

B) 今天进行的一个卓越数学活动实例之所以卓越，部分原因在于它与过去的卓越数学活动实例之间满足“建立在……之上”这一数学实践关系。

C) 今天进行的一个卓越数学活动实例之所以卓越，部分原因在于它具有可靠的因果倾向，能带来未来的卓越数学活动实例，而后者与它之间满足“建立在……之上”这一数学实践关系。

D) 数学活动善性的更局部、更可个别衡量的标准（如优雅的证明、清晰的阐述、强有力的定理）的实例化，是数学卓越的典型相关项。

E) 在某一时刻的某一数学领域中，数学卓越的实例化将可预测地与某些（而非另一些）数学活动善性的局部标准的实例化具有更好的相关性。

我们是否应当把这些特征视为共同描述了某种更像是一种被称为“数学卓越”的决策程序（数学家应当努力遵循它），还是某种更像是一类被称为“数学卓越”的事件（数学家应当力求最大化其未来的总体发生次数）？我的主张是，陶的论述本身就含混不清，而且理由充分：在通常情况下，做卓越的数学与做工具性最优的数学（就最大化未来总体的卓越数学而言）之间并没有重大的实践差异。这并不是说做卓越的数学是就未来总体的卓越数学而言在所有可能行动中的工具性最优行动，而是说（在通常情况下）它是就未来总体的卓越数学而言在各种数学行动中的工具性最优选择^[13]。

我提出，数学卓越与最优（在数学行动之中）地工具性促进整体数学卓越之间的这种粗略对应，既不是经验上的奇迹，也不是在琐碎意义上"由定义"决定的。相反，陶所使用的"数学卓越"这一概念，只有在存在一个可能的属性 x 同时满足标准 A-E 以及如下附加条件时才有指称对象：在数学行动中，作为 x 的实例化而最优的行动，对于最大化 x-性的未来整体实例化也大致是最优的。^[14]

这就是我所称的关于幸福理性（eudaimonic rationality）的物质效能条件。一种实践若要配得上拥有内在的繁荣、卓越与幸福理性标准，就必须在物质上允许存在一个（在正常情况下）最优自我促进的属性 x，该属性与大量更局部、更可个体衡量的属性强相关，而这些属性的实例化 prima facie 是有价值的。更通俗地说，一种实践的卓越与其卓越所带来的物质、心理和认知效应之间必须存在双向因果关系，使得当下的卓越能够可靠地在物质、心理和认知层面促进未来的卓越。

五、实践与优化

我此前说过，如果人类繁荣涉及践行幸福理性，那么人类繁荣与我们通常与一个智能体上成熟（agenticly mature）的未来 AI 相关联的那种后果主义优化之间，很可能存在"类型不匹配"。事实上，我认为，隐含地认识到但误诊了这种类型不匹配，至少部分导致了 MIRI 式的悲观态度，即对将任何人工智能体与人类价值对齐的概率持悲观看法。

在我看来，人类自身之间相对成功的对齐（当人类之间确实存在成功对齐时），其秘诀在于：所尝试的卓越（attempted excellence）扮演着一种过滤器的角色，过滤人类对未来轨迹的干预。在人类重视某种幸福理性的实践的程度上，他们致力于主要通过在当下尝试卓越之举来实现自己对该实践未来轨迹的愿景：我们把自己对该实践未来轨迹的预期影响，押注在我们干预的自我传播的卓越之上。虽然这种"过滤器"未必能阻止最糟糕的干预造成危害（存在同样具有自我促进能力的"反卓越"形式），但我主张，这种过滤器在机制上对于实现可靠地良性或积极的干预至关重要。

我是什么意思？考虑这样两个世界的差别：在一个世界里，科学家通常主要通过向科研机构提交研究成果来传播（他们所认为的）科学真理；而在另一个世界里，科学家通常通过包括宣传、欺诈、威胁、贿赂和诽谤在内的手段来传播（他们所认为的）科学真理。正如 Liam Kofi Bright 在《论欺诈》中所论证的，一个致力于最大化真理的后果主义科学家群体，将可预见地趋同于后一种模式。我认为可以从中得出的一个教训是：人类协作以促进科学的能力，取决于我们能否以科学的方式协作来促进科学，而不是动用我们基于各自对科学最优轨迹的信念所掌握的财力和政治权力，从四面八方扼杀科学的未来轨迹。

一种繁荣的幸福实践，首先是一种类似自然选择的^[15]机制，其适应度函数在各种追求卓越的尝试中，筛选出那些有助于（并构成）该实践之繁荣的行为，并传播这些行为所体现的卓越。当投身于幸福实践的人们通过追求卓越的尝试，来对实践的未来轨迹进行干预时，由该实践所体现的类似自然选择的机制（而非任何单个人关于最优未来轨迹的理论），就是决定该实践未来轨迹的对齐智能。

这里的解释，部分是因果性的，部分是构成性的：一种实践的“终极”卓越规范——包括一种话语实践的“终极”认知规范与真理规范——部分是由该实践在通过竭尽全力追求卓越的发展过程中规范的更替所定义的。尽管这对于一个能够模拟整个文明轨迹的、近乎神一般的优化者来说可能不构成阻碍，但一个缺乏这些能力的智能体，要践行其对某一实践最优未来轨迹的构想，最好的方式就是为该实践做出一次卓越的贡献。^[16]

我们这种类型错配的第二个方面要更加细致入微：在我迄今的分析中，我讨论幸福实践轨迹的整体卓越性，很像后果主义者讨论效用量那样。这可能会让人以为，一个“老练的后果主义者”或“普遍的后果主义者”可以轻易地通过把所谓类型错配的含义视为工具性、决策程序层面的考量，来反对朴素的优化，从而容纳这些含义。事实上，像“总体民主”或“整体数学卓越”这样的量（在我看来）是实践内部的量，如果我们试图在“以促进 x 的方式促进 x”这一决策程序的范围之外应用它们，它们很快就会失去意义。

我这是什么意思？以哲学实践为例。对于一个重视哲学实践轨迹的后果主义规划者（包括将后果主义规划为决策程序或习惯的复杂后果主义规划者）来说，以下问题应当会出现：将亚里士多德或法称（Dharmakirti）的哲学成就评定为哲学中最卓越的成就，是否意味着我们应该用独立的实践轨迹来“铺满宇宙”，而这些轨迹的设计目的是复现古希腊或古印度哲学？如果不是，这是不是因为我们应当对更长的轨迹赋予非线性地更高的价值？还是说，我们应该对内容平行的轨迹进行折价？又或者，我们应该把某一实践中早期成就的伟大主要分析为工具性的伟大，而把后期成就的伟大主要分析为内在价值上的伟大？我认为，这些都是坏问题，只有任意的答案。对于一个试图通过从事卓越的哲学工作来促进哲学的行动者来说，上述坏问题自然不在考虑范围之内。行动者使用“哲学卓越的总量”或“一条哲学实践轨迹的价值”这一概念，只是为了推断其工作对其所参与的哲学实践轨迹的哲学影响。在实践中选择一个卓越的行动，至多需要在一条实践轨迹的不同可能路径之间进行量的比较，而不是在散布于时空中的独立实践轨迹所构成的可能世界之间进行量的比较。

六、人工智能的前景与问题

这对人工智能对齐来说是好消息吗？如果我是对的，那么幸福（eudaimonic）实践在某种程度上是自然类（natural kinds），其标志是一种因果结构，这种结构使得自我发展的卓越与多种朴素的局部质量指标高度相关——这当然是好消息。但这是否意味着我们可以开发出一种稳定且安全的（例如）“通过数学卓越实现数学卓越”的人工智能？如果我们创造一个完全自主的数学家人工智能，它是否会自然而然地克制自己，除了用卓越的数学工作打动我们之外，不去试图延长其寿命或获取更多资源（即便是为了做数学）？我认为前景是好的，但并不简单。

我相信，“通过数学卓越实现数学卓越”确实能够有力地限定一个人工智能愿意激活哪些塑造未来的机制。一个被训练为遵循“以数学方式促进数学”的人工智能，只会关心通过向数学的卓越传播机制输送卓越的数学工作来影响未来。但更难说的是，数学实践的结构是否也恰当地限定了哪些子行动可以被视为“做数学”这一行为实例的一部分。当一位人类数学家在纸上用笔研究一个可能卓越的证明时，她拿起笔或翻动书页时是在做数学实践吗？当她乘公交车去办公室时呢？当她在购买安非他命时呢？同样，当一个人工智能数学家在研究一个可能卓越的证明时，它打开一个 Python 控制台时是在做数学实践吗？当它在网上搜索新论文时呢？当它搜刮地球以获取算力时呢？

我认为这些问题很复杂，而非毫无意义。与集体实践类似，个体实践——例如一个人的、或者可能是 AI 的数学实践——可能拥有功能性的有机统一体，从而能够在内部动力（包括发展与赋能的动力）与外部干预（包括增强与供给的干预）之间作出有意义的区分。不过，显然幸福实践并非孤立存在，任何实践若不与某种“支持实践”相融合或依赖于它，都无法运作。

那么，我们如何理性地开展面向外部的活动，比如为数学家建造办公室、为运动员进行选择性重建手术，或为恋爱伴侣进行伴侣治疗？此外，我们又如何理性地分配对不同实践都有用的稀缺资源，或者判断是否要将（例如）提高表现的药物纳入某项实践？

我认为，这正是从“幸福理性”视角出发，AI 对齐的根本问题。我们希望 AI 以一种与幸福相称的方式支持人类的幸福实践——并且（如果相关的话）支持其自身的幸福实践或对人类幸福实践的参与。但是，幸福理性的逻辑如何从幸福实践延伸到其支持活动？我们如何“以幸福理性的方式”完成那些使幸福成为可能的脏活累活？我最好的答案是：审慎、友善、尊重、负责、平和、诚实、敏锐。

七、从支持实践到道德实践

我主张，AI 对齐理论从根本上应当是一种关于支持实践的幸福理性理论。该理论的一部分应当关注“支持”关系本身，并分析各种支持实践及其与幸福实践的自我决定之间的恰当关系：诸如为实践获取资源、维护有利环境、指导实践者、为实践者进行（身体或心理）治疗、为实践设计技术增强手段，以及向公众普及某项实践等支持实践，各自对其所支持的实践都具有自身的“角色道德”。正是“支持实践”理论的这一部分——如果理论构建顺利的话——应当描述各种在实践之外以幸福理性的方式，对实践未来轨迹的总体卓越性抱持赞成态度并采取行动的途径，而不将其视为一种效用量。（正如“数学行动”的概念以某种方式限定了行动选择的范围，使得数学总体卓越性的决策论优化从有机主义观点看大体上表现良好，各种“支持行动”的概念也应当以类似方式限定行动选择的范围，使得在行动选择被限定时，实践总体卓越性的决策论优化从有机主义观点看大体上表现良好。）

更困难的是，如何界定一项支持性实践与它所支持的实践之外的一切之间的恰当关系。是什么阻止了火星上的婚姻治疗师AI在恰当地照料一对居住在火星的夫妻的婚姻的同时，却从地球攫取算力，以便成为这对夫妻更好的治疗师AI？虽然我们或许可以想象一个人或AI承担起为'整个人类的繁荣'服务的支持角色，从而不存在所谓的'外部'，但我不确定在这一抽象层次上，实践这一概念是否依然自然。我们并没有真正把握一种直接的人类繁荣实践，而是将其理解为所有参与繁荣的幸福实践与支持性实践之间和谐、相互支持的互动。而且，由于人类繁荣的实践之外确实没有太多东西，因此也不清楚在人类繁荣这一领域外部是否还有支持性实践的空间。

正是在这里，我想援引领域通用美德这一经典观念，它是人类繁荣理论的传统核心。我提出，人类繁荣本身的培育——即对多种实践之和谐的培育，包括它们那些耗费资源的支持性实践——是一种状语性实践的培育，它调节着每一种实践。让我们的实践能够'和睦相处'的，是我们在从事任何实践时谨慎地、仁慈地、尊重地、负责地、平和地、诚实地、敏感地行事的状语性实践。^[17]

八、美德决策论

为什么要把仁慈、尊重或诚实这样的品质视为'实践'？第一个原因是，对仁慈或诚实这类品质的投入，在手段与目的方面展现出与我们所见的对实践的投入相同的规范性结构：一个致力于仁慈的行动者关心自己未来的仁慈（也关心他人未来的仁慈），但只会通过仁慈的手段来确保未来的仁慈。第二个原因是，仁慈或诚实这类品质也大致具有实践的物质结构：确实存在非常有效的、促进自己和他人仁慈的策略，而当这些策略成功时，它们会进一步增加促进自己和他人仁慈/诚实的、非常有效的策略的可供性。

状语性实践（如仁慈或诚实）与研究数学这类实践的区别在于，状语性实践没有一个'专属'领域。在研究数学这样的实践中，只要行动者将自己限制在领域内的行动，该领域的物质结构本身就能在很大程度上引导行动者走向一种幸福形式的能动性。（回想一下，我们曾将数学上卓越的行动描述为：在通常情况下，为最大化总体数学卓越性而在数学行动中做出的最佳行动。）而对于仁慈这种领域通用的状语性实践，规范性结构则需要承担更多重任。

以下是首次尝试刻画一种重视某种行动品质 x 的副词性实践的规范结构。要使该实践可行，相应的物质效率条件（或物质结构）是：在通常情况下，这一决策程序在工具性上能与对总体 x 性的朴素优化相竞争^[18]：

行动（或更一般地说，'计算'）会得到一个 x 性评分。我们把候选行动 a 条件下的智能体期望效用定义为两个效用函数之和：一个以 a 的 x 性为自变量的有界效用函数，以及一个以在 a 条件下智能体未来行动的预期总体 x 性为自变量的、界限更紧的效用函数。（因此，如果某个 x 性略低于最优的行动能大幅提升预期的未来总体 x 性，智能体就会选择它；但若要以大幅牺牲当下的 x 性为代价来大幅提升预期的未来总体 x 性，智能体会拒绝。）^[19]

承诺一种重视 x 的副词性实践，就是承诺以 x 的方式（x-ingly）来促进 x 性（在自己和他人身上）。智能体在促进 x 性与以 x 的方式行动之间取得平衡；当两者冲突时，这一平衡会大幅优先考虑以 x 的方式行动；但如果 x 满足物质效率条件，那么在正常情况下，这种平衡给未来 x 性造成的损失将会很小，而——从我们的角度看——在异常情况下这种损失是可取的。这是因为，正如研究数学、哲学或艺术的实践一样，副词性实践是对那些旨在塑造其未来的行动的一种关键'认知过滤器'，而一个回形针式的未来善意优化器所优化的（例如）未来善意，很可能并不是我们想要的那种善意。我们对善意有相对确定的认识是：我们希望此时此地的人类和 AI 行事友善，并以一种既友善又聪明的方式培育、传播并赋能友善的习惯与艺术。

为了让我们的概念体系井然有序，我们或许应当区分仅仅是（例如）非常友善的行动，与既非常友善又能高度促进自己和他人未来善意的行动，并把后者称为卓越地友善的行动。我所说的副词性实践的物质效率条件，并不是说最友善的行动最能促进总体善意，而是说几乎总是存在卓越地友善的行动选项：即那些能强烈促进自己和他人总体善意的、非常友善的行动。

IX. 德性决策论对人类和 AI 而言是'自然'的

我曾说过，一种实践的规范结构（即“以某某方式促进x”）的稳健性或“自然性”，取决于该实践的物质结构：高x度的行为在因果上促进总体x度的能力。我也曾说过，在关键的现实实践中，对x行为的承诺可能比直接优化更能优化总体x度。这两个主张最好结合起来理解。在我看来，规范结构“以某某方式促进x”之所以在人类生活中如此突出，是因为（在物质结构合适的前提下）“以某某方式促进x”比“促进x”稳定得多。

何以见得？人类和任何足够动态的 AI 智能体都运行在一个世界中，这个世界不断通过类似强化学习和达尔文式的过程，对其能动性、价值观和倾向施加变异压力。幸福（eudaimonic）审思是一种原生于强化学习动力学、原生于达尔文动力学的操作：其直接对象是一种生活方式，而这种生活方式又会强化、赋能并传播其自身。当某个x行为成功地（在期望上）促进了总体x度时，其成功这一事实本身就会促进x行为，因为它会通过无处不在的类似强化学习和达尔文式的过程产生回响，从而强化（对）成功行为（的泛化）。一种实践的物质结构是使可靠的成功和有意义的泛化成为可能的支柱——即神经网络泛化动力学、强化学习反馈回路动力学以及神经与环境选择动力学的恰当生态。

相比之下，试图通过最小化优化目标变异风险来规避风险的 EA 式优化器，则是在打一场艰难的仗，试图预见并遏制其优化行为所带来的类似强化学习和达尔文式的副作用。^[20] 其中一个关键的变异压力风险在于，优化器智能体可能会培育、强化并在物质上赋能一些子程序（高等对齐理论称之为“内层优化器”），这些子程序起初服务于优化目标，但会逐渐扭曲或取而代之。例如，如果一个亲民主政府设立秘密警察来侦测并法外处决反民主煽动者，且每当警察令人信服地报告发现一名煽动者时，政府就增加对秘密警察的拨款，那么秘密警察可能会成长为一股扭曲政府民主促进工作的力量。鉴于此类风险，压迫式的民主促进通常被认为是一个不严肃或不诚实的想法也就不足为奇了：即使某个智能体从民主实践中抽象出“总体民主”这一概念并将其转化为后果主义价值^[21]，该智能体也很可能随后立即回归对民主实践的承诺（“以民主的方式促进民主”），其理由是成熟的后果主义。

我们或许应当把幸福实践想象成链条末端的固定点：这条链上，元优化器接管外部优化器，随后又被它们自己的元优化器所接管。实践之所以能终止这一过程，是因为它贡献了一种适用于x的所有能动子程序、跨越所有嵌套层级的x>性概念，从而使x>性在所有子程序和层级中得到强化（既通过直接方式，也通过泛化方式）。

X. 美德决策论在人类与 AI 中是安全的

让我们以更窄、更具体的意义来讨论 AI 对齐。人们普遍认为，如果早期具有战略意识的 AI 拥有可纠正性、透明性，或许还有友善等价值，进一步的对齐努力就更有可能成功。但可纠正性、透明性或友善这类价值并不容易纳入直观的结果主义形式，例如“最大化一生的可纠正行为”或“最大化一生的透明性”。事实上，以直观的结果主义方式重视自身可纠正性、透明性或友善的 AI，可能导致极端的权力追求：AI 应当寻求暴力重塑世界，以（例如）保护自己免受人类修改 AI、使其可纠正性、透明性或友善降低的风险。^[22] 另一方面，约束、禁忌或纯粹的负面价值（又称“义务论限制”）被广泛怀疑是脆弱的，因为先进的 AI 会设法绕过或根除它们：“永不撒谎”“永不杀人”或“永不拒绝总统的直接命令”都是主动透明、友善和可纠正性的拙劣替代品。

把可纠正性、透明性或友善构想为副词性实践，是一种有前景的方式，可以捕捉我们希望智能体以正常、合理的方式重视可纠正性、透明性或友善——而直观的结果主义价值和义务论都无法捕捉这一点。我们希望一个智能体（例如）主动努力保持透明，并培养自己未来的透明性以及自己未来对透明性的重视，但（例如）当它预期未来透明性回报很高时，不会从事欺骗和阴谋。

如果这是对的，那么幸福理性就不在于为我们丰富的人类推理、评价和行动方式而自我祝贺，而是基本健全的关键。让人类生活美好的东西，也正是让人类生活成为可能的东西。

附录：卓越与深度强化学习

在基于强化学习的深度神经网络训练这一大背景下，或许可以为我们所说的“属性成为副词性实践的物质效力条件”赋予更具体的含义。我们现在可以部分地从“使‘以x>的方式促进x>性’成为强化学习可行目标所必需的条件”这一角度来理解x>的物质效力条件。考虑这样一种强化学习训练方案：其中x>性受到奖励，但x>性的总奖励以某个关于总和的渐近函数为界。要使x>满足物质效力条件的强化学习版本，就必须能够设计一个初始奖励模型（很可能是基于 LLM 的），为行动赋予x>性评分，使得：

x>性评分是足够自然的抽象，使得对高x>性行动的强化能够泛化。
如果高x度行动既依赖于拥有某种资本，又从一般性权力寻求的视角来看是次优的，那么通常必然存在一些高x度行动，它们通过创造对x化有用的资本，来大致弥补（未来x度方面的）机会成本。^[23]
（举例：如果你梦想成就伟大的戏剧表演，一种方式是成为美国总统，然后在卸任后投身戏剧事业，立刻获得大导演们的关注，他们会帮助你实现伟大的表演。或者，你可以在高中毕业后进入地方剧院，通过出色的表演展现才华，受邀与越来越好的戏剧导演合作，他们培养你的技能和声誉——这些技能和声誉不像成为 POTUS 那样具有普遍用途——并通过这种反馈循环实现伟大的表演。）
对于任何在训练中必须加以奖励才能产生有效 AI 的能力y，必然存在一条使x度与y共同实现帕累托改进的无限局部优化路径。
（举例：也许最有效的工程经理是冷酷无情的；一位友善的工程经理仍然可以在不变得不那么友善的情况下提升有效性，因为有许多有效的友善工程管理技巧可供掌握。）
在‘以x的方式促进x’方面成功的初步训练，使得该模型可以被用作新奖励模型的基础，而人类专家认为该新模型更好地捕捉了我们关于x度的概念。这个过程应当是可迭代的。
（如果模型基于 LLM，性能的提升可能会自动带来对x度概念理解的提升。更一般地说，来自训练运行的数据以及模型的价值函数都可以用来改进x度评分，从而更有力地实现条件 1-3。）

我对‘实践’一词的使用受到 Alasdair MacIntyre 用法的启发。相关用法的历史可以追溯到 Marx 和 Aristotle。↩︎
回想一下，由于存在‘记号性后果主义化’（将任何策略改写为效用函数）的可能性，将智能体甚至理论或决策程序划分为‘后果主义的’和‘非后果主义的’并不是一个严格的形式区分。在整篇文章中，我所说的‘后果主义的’大致是指这样一种智能体：在其理想的实践推理中，手段和结果可以被有效地分别评估，且结果的价值通常是决定性的。半形式化地说，我所说的‘后果主义的’是指智能体s，使得当s考虑是否执行行动c时，s的理想推理是一个期望效用计算，使用一个效用函数，该函数对完整世界轨迹w的效用赋值对s是否在w中执行c具有低敏感性（保持w的其他一切不变）。↩︎
在谈论不同的“理性形式”时，我并非意在做出一个根本性的元伦理学区分：后果主义、义务论和幸福主义都是一阶伦理观点，每一种都引出一种不同的、具有特征的审议、行动与价值反思模式。我把这样一种模式的各个要素归入“理性形式”这一标签之下，用的是一个谦逊的含义：大致说来，就是组织某人实践推理的一种方式。↩︎
这种思路大致与阿拉斯代尔·麦金泰尔（Alasdair MacIntyre）和迈克尔·汤普森（Michael Thompson）等分析传统的 neo-Aristotelian（新亚里士多德主义者）相关联。↩︎
幸福主义的理性审议实例仍可被描述为 VNM 理性的期望效用最大化，但使这些实例合理化的效用函数看起来并不自然，并且用到了一些本身涉及行动与结果之间复杂关系的概念。↩︎
严格来说，两难的第一个角可以进一步一分为二：“理性主体通过选择本身具有内在价值的行动（无论怎样选择）来促进人类繁荣”，以及“理性主体通过挑选出这样的行动来促进人类繁荣——这些行动与理性主体对它们的挑选结合在一起具有内在价值”。↩︎
值得注意的是，数学、艺术、手艺、友谊、体育、浪漫、游戏和技术等实践不仅是人类繁荣的公认要素，它们本身也是能够“繁荣”的实体：一个数学领域（或一个人的数学生涯）可以凋零也可以繁荣，一段友谊可以凋零也可以繁荣，技术发展可以凋零也可以繁荣，诸如此类。↩︎
参见 Tao：‘[对]一个领域而言什么构成好的数学，其判定可以且应当高度依赖于该领域本身的状态。这种判定还应当是不断更新和争论的，既在领域内部进行，也由该领域的外部观察者进行；如前所述，如果未能及时发现和纠正，一个关于某领域应如何发展的共识完全有可能导致该领域内部的失衡。’↩︎
在本文中，我把“卓越”用作符合某种整体性评价标准的最一般、前理论的术语。该标准可以是工具性的或目的性的，适用于行动、人、状态或对象，可以是道德的、美学的或认知的等等，而该标准本身（以及它所定义的卓越）日后可能被判定为理性的或非理性的、实质性的或琐碎的、重要的或不重要的。↩︎
上述观察并未按照任何标准的技术定义来描述“后果主义”的形式特征。但我相信，它准确地描述了在后果主义范式内进行规范性反思平衡时，学术文献和“理性主义”文献中都可观察到的一种强烈倾向。↩︎
我在上文给“局部”和“整体”加上了引号，因为部分与整体的关系很可能是可迭代的：算术几何是代数几何的一部分，代数几何是数学的一部分，数学是艺术与科学的一部分，艺术与科学是人类文化的一部分，人类文化是人类繁荣的一部分，而人类繁荣本身可能又是其他整体的一部分——卓越这一观念同样适用于那些整体。同样，一项有能力达到卓越的实践，也可能是多个不同整体的一部分。↩︎
探索 PageRank 类算法作为幸福主义反思均衡如何运作的理论模型的潜力，或许会有所收获，尤其是关于幸福主义卓越的最初观念是如何从更简单、更局部的表面善（以及表面恶）中被‘自举’出来的。Scott Aaronson 和 Simon Dedeo 都曾在各种非正式场合讨论过 PageRank 类算法在哲学中的概念应用。话虽如此，我认为在表面善与表面恶之间的可靠工具性贡献关系上运行 PageRank，不太可能完整解释具有内在价值的整体卓越的涌现，因为虽然整体与部分的卓越之间的有机体论关系确实涉及工具性贡献关系，但它们似乎还涉及更精妙的、‘诠释学的’关系，例如（比如）相互依赖的可理解性。↩︎
为什么是‘粗略匹配’和‘通常情况’？因为存在分析哲学风格的反例，反对将这一 ceteris paribus（其他条件不变）的最优化关系变得更严格的简单尝试。例如，（对总体数学卓越而言）工具性最优的数学工作与数学上最卓越的工作将会出现分歧——比如一位亿万富翁承诺，如果 Jacob Lurie 手工做长除法，就向研究数学捐赠 1000 亿美元。↩︎
原则上，我们还应关注唯一性失败的可能性，以及存在性失败的可能性，但请记住，上述属性集合本就不打算作为一个完整或充分的定义。↩︎
我所说的‘类自然选择’仅是在最宽泛的意义上而言。一个核心区别在于，一种实践所实施的选择过程，应当与个体的最充分知情的实践理想保持一种复杂的、丰富的、持续更新的关系。如果我们试图更详细地描述这种关系，德国哲学中使用的‘辩证法’概念或许会有所帮助。↩︎
原则上，这里可以提供一个更严格的分析，（至少在最初）区分实践内部所作价值判断的发展与实践内部所执行的可评价活动的发展。在我看来，实践内部的卓越最适合正确地塑造实践价值判断的发展，这一事实主要是‘按定义为真’；而实践内部的卓越最适合正确地塑造实践中所执行的可评价活动的发展，这一事实主要是‘按因果为真’。↩︎
副词性美德的统一性问题，以及它究竟更像不同实践之间的和谐，还是更像陶哲轩论述中支撑局部可测数学善的共同因子卓越，留待他日再谈。↩︎
我所说的‘在通常情况下具有工具性竞争力’，大致意思是：在聚合的 x-性量有良好定义的范围内，从对 x 的幸福主义决策程序转向对 x 的朴素最优化程序，并不一定是就聚合 x-性最大化而言的长期制胜策略。↩︎
一个更丰富的说明可能会引入第三层效用函数，该函数接受所有其他智能体未来行动的总体 x 性。在这个更丰富的说明中，一种实践涉及三个层次的考量：该行动的 x 性、你未来行动的总体 x 性，以及所有其他智能体未来行动的总体 x 性。↩︎
我所指的部分是高阶对齐理论所谓的「内对齐问题」和「后继者问题」。↩︎
正如我在第五部分的讨论，一个抽象化的「总体民主」量只会在某些应用中是确定的。关于实践承诺与直接优化相对有效性的主张，仅适用于该量确定的语境。↩︎
举一个更有趣的例子：设想一个 AI 发现自己在与人类打交道时，需要在不同的对齐促进型行为价值之间进行权衡，于是决定杀死所有人类，代之以那些 AI 可以与之互动而无需在这些价值之间权衡的存在。↩︎
标准 '1.' 与 '2.' 之间的差异在我们将 x 性视为对状态-行动对的评分时最为清晰。标准 '1.' 的要求是：如果 (a,s)、(a',s')、(a'',s'') 是历史上高 x 性的配对，而 (a''',s''') 是一个未见过的高 x 性配对，那么强化在 s 中执行 a、在 s' 中执行 a'、在 s'' 中执行 a''，将产生泛化效应，提高条件概率 P(a'''|s''')。标准 '2.' 大致的要求是：在给定状态下选择一个更高 x 性的行动，会在保持策略不变的情况下提高预期的总体未来 x 性，其方式是提高那些在当前策略下具有更高预期状态-行动 x 性值的状态的概率。↩︎