Rob Wiblin 呼吁前沿AI公司员工重新评估工作优先级

文字记录

对 AI 公司员工的请求 [00:00:00]

Rob Wiblin：我对所有 AI 公司员工有一个请求：今天请反思一下，你正在参与的项目是否确实是你所能做的、在延迟递归自我改进（RSI）或使其顺利实现方面最有效的事情。如果不是，请争取调到一个你认为更有价值的替代项目上。

显然，许多员工已经在努力尝试这样做了。但战略形势正在以极快的速度变化，因此，如果你不经常向自己提出最尖锐的问题并诚实地面对，那么你无意中浪费时间的风险就会越来越大。

在技术层面，有几类工作特别有可能在 RSI 到来之前始终保持相关性：

解决对齐领域根本问题的工作，这不言自明；
让当前模型如今就能更好地从事对齐研究的工作；
以及确保我们能尽早发现、理解并公布模型不当行为或滥用情况的工作。

相比之下，一些在我看来可疑的工作包括：

任何只是给现有问题贴上创可贴、但无法扩展到将要进行递归自我改进的模型上的对齐方法；
任何在实际效果上会让公众和政策制定者更难看清底层对齐问题的做法——而没有同时修复导致这些行为的驱动力；
任何主要提升模型能力的工作——尤其是模型自主进行 AI 研发的能力；
以及任何主要为了吸引客户或取得商业优势的工作。

我理解这些优先级决策极其困难和复杂。仅在这两份简短的清单中，就存在明显的张力：

一方面，我认为让当今的模型更积极、更真诚地协助技术对齐研究是有价值的。
另一方面，我对那些今天有效、明天就会失效的对齐方法持谨慎态度，也对任何让 AI 更擅长 AI 研发的事物持谨慎态度——尽管许多类型的 AI 对齐研究与 AI 研发非常接近。

这就是为什么无论我还是其他任何人都无法替你做出这种优先级判断。你能接触到我们接触不到的实验结果。你可以合理地向自己提出这样的问题：“我的工作更多是在帮助从当今的模型中获得有用的对齐研究，还是更多在缩短通往 RSI 的时间线？”而远离你具体处境的人是无法这样做的。

我也知道，对你们几乎所有人来说，这不会是第一次有人促使你更好地做出这些权衡。但在如此混乱的情况下，很容易滑向去做那些影响不大、甚至有害的事情。

比如：

也许你正在做一个一年前启动的项目，当时你认为 RSI 最早可能在 2029 年成为可能。现在你认为递归自我改进最有可能在 2027 年成为可能，而你目前的工作到那时似乎不太可能还有关联。但时间线上的这一转变尚未落实到你工作的改变上。
也许你今年通过 Mythos 和 Hugging Face 以及其他所有渠道变得更加关注安全了。但你还没有做出那个需要你从事截然不同工作的艰难决定。
也许过去三个月你一直在忙于救火和发布模型，忙得连一个下午都没有用来反思你的高层优先事项应该是什么。
也许你认为有更重要的项目，但你目前做的是你经理想要的，而推动别的事情会让人觉得尴尬、困难。
也许你已经在一个有前景的项目上投入了一年并从中获得了切实的成果。但你越来越不确定它是否值得第二年，而中途放弃会很不愉快。

这些都是极其人性化的、我们所有人都经历过的。在情况不那么极其危险和紧迫的时候，我们会让人们在准备好时自行重新评估。但就目前而言，没有时间这样做。

我自己并不在前沿公司，因此缺乏许多机密信息。但为了给你们一些思路，以下是我看到的一些优先事项似乎发生的转变。

为此，我将假定 Anthropic 和 OpenAI 内部的模型再次远比 Opus 5.5 和 Astra 强大，并且 OpenAI 已经看到其未发布模型的对齐状况出现倒退。并且与前沿公司内部的主流态度一致，我假定完全自动化 AI 研发可能在 2027、2028 或 2029 年成为可能。

思维链 [00:03:34]

正如我上次所讨论的，OpenAI 已报告，思维链（CoT）监控在其模型上的有效性正在急剧下降。Google 最近在其最新模型 Argon 上也报告了同样的情况。

这一趋势有多种影响：

思维链监控与分析如今绝对仍然有用，因为它帮助我们更早地识别、理解、公开并应对不当行为。只有在失控 AI 事件发生数月后才发现，会剥夺我们做出反应的时间。
但思维链监控只有在我们能够找到方法减少模型在没有思维链的情况下所能达成的能力，或者让模型在思维链上保持诚实和坦率时，才能扩展到递归自我改进的起点。

如果你正把思维链可监控性作为一项策略来研究，你必须问自己，你认为这些事情会发生吗。Opus 5.5 没有同样的能力来控制它在思维链中写下的内容，所以也许这是可以做到的。如果你相信那会奏效，就继续下去，也许还能出一份力让它奏效。如果不是，那就是重新确定优先级的时候了。

可监控性问题的日益加剧，也是支持白盒监控技术（如机制可解释性）而非黑盒技术（如思维链监控）的一个新论据。

另外，我认为这些情况也是支持将递归深度或无思维链能力列为监管目标的新论据。这又是改天再讲的故事了。

别只是把裂缝刷上漆 [00:04:44]

假设你负责一栋大型公寓楼的维护。人们不断抱怨外墙上出现裂缝，油漆和灰泥从上面掉下来。你绕着大楼走了一圈，意识到这不仅仅是外墙的表面问题。这栋楼的地基有问题，导致一半楼体下沉，而裂缝只是这个更深层问题的迹象。随着时间推移，下沉可能会恶化，最终变得真正危险。

和任何人一样，你的时间和金钱都有限。你可能会做四件事：

两个问题都不处理。
重新粉刷墙壁，但不处理地基问题。
或者，让可见的裂缝留着，优先修复根本问题。
或者最后，既重新粉刷墙壁又修复地基。

当然，刷漆覆盖裂缝和修补灰泥本身并没有错。高质量的建筑维护会两者兼顾。

但地基的根本问题显然重要得多。如果你只有资源做其中一件事，你会修复可能导致大楼倒塌的地基，而不是仅仅影响美观的表面问题——尽管正是这个表面问题让你最初注意到了问题。

如果你知道地基没有得到修复的希望，却把墙上的裂缝刷上漆，让外表看起来一切正常——这对住户来说是一种欺骗。

不要被哄骗或同侪压力所迫，参与一项只会让风险更难被发现、而非真正降低风险的行动。

它可能不是你有史以来最对齐的模型 [00:06:00]

现在每次发布模型卡时，实验室实际上都在说：“我们的安全评估看起来比以往任何时候都好”——但随后又用稍微更技术性的语言说：“我们对安全评估的信任比以往任何时候都少。”

这有很多原因，包括评估意识、在思维链之外进行谋划的能力，以及实际上在测试集上进行训练的风险。

我很高兴现实没有被掩盖。但如果你从事的安全评估工作，你怀疑它们现在误导人的程度和提供信息的程度一样多，那就问问需要什么才能让它们重新真正可信：

模型实际上无法与真实使用区分开的场景
直接抑制评估意识的方法
或者也许是我从未听说过的某种新方法

如果你的工作有助于恢复可信度，让你真正相信你的安全评估，那很好。如果不是，在我看来，是时候重新评估并可能找些更有用的事情做了。

能力进步看起来更糟了 [00:06:44]

无论过去是好是坏，随着我们越来越接近递归自我改进和超级智能，提升AI能力的工作看起来不如以前那么有吸引力了。

这有几个原因：

如今的模型已经更接近你打算把 AI 研发托付给它们的那些模型，因而也构成了最严峻的风险。这意味着我们有了更多可供研究和改进的研究用模型，而无需进一步提升能力。
我们现有的模型确实能够为各种技术性对齐工作做出非常有用的贡献，有时甚至能为政策和治理工作提供帮助。我们越是能延长时间线，就有越多时间来利用这种协助。
事情拖得越晚，你在提升 AI 能力过程中积累的任何职业资本能够回本并远远抵消所造成损害的时间就越少。
现有的内部模型已经足够聪明，能够胜任大多数商业应用，因此，通过为这些企业客户打造更好、更便宜、更对齐的产品，而不是把它们推向更接近超级智能的方向，人们完全有可能打造一个繁荣的 AI 业务。
超越现有内部模型能力的进展，如今主要通过生物滥用，或模型悄悄攻破 AI 公司的系统，带来真正的灾难性风险。

在一家异常鲁莽的实验室做能力研究，在当下这个阶段是极难辩护的。不过，如果你在一家你认为拥有世界最佳安全实践的公司工作，我知道最强反驳是这样的：如果最谨慎的实验室不在前沿，就会有其他更鲁莽的人抢先。

这是一个合理的观点。但有两件事正在逐渐削弱它随时间推移的说服力：

首先，突破如今正通过蒸馏、间谍活动和挖角员工，非常迅速地泄露给不那么谨慎的行为者。因此，保持领先比以往任何时候都更难。
其次，我们正在接近的前沿本身就是自动化 AI 研究。只有当谨慎的实验室能够判断是否可以安全地做到这一点，以及如果可以、该如何做到时，率先到达那里才有意义。而今天，没有人能做到。

这就是为什么我们必须控制前沿的推进节奏。

这也是为什么，如果你一直在权衡'提升能力'与'其他影响'之间的取舍，就有必要重新计算并仔细核对你所做的事情是否仍然真正合理。

利他主义者越来越不需要从事以商业为导向的工作 [00:08:50]

这种转变已经持续了多年，但现在所有前沿 AI 公司都是庞大的商业企业。在这些公司工作的许多人主要把它们看作企业，他们的工作是想办法吸引客户、打造更好的产品。从事这类工作的商业激励是巨大的，因为带来的收入远远超过成本。

如果你的动机主要是降低灾难性风险，而你主要在做改进产品或客户体验的工作，你就应该认真思考这是否真的是你能做出的最大贡献。我认为，通常情况下，如果你不在，公司也能从其他人那里得到类似的结果，而你本可以去做更重要、更被忽视的安全、对齐和治理工作。

控制前沿的推进节奏 [00:09:29]

我们已经到了这样一个地步：如果不解决对齐问题，AI 能力就是真正危险的。我们曾试图通过更早地唤醒世界来避免这种情况很多年，但遗憾的是，我们失败了。

如果我们只是继续横冲直撞，让能力提升的速度超过对齐研究——或者，老天保佑，以我们目前这样薄弱的安全论证为前提，就推进到完全自动化 AI 研发——那么人类灭绝的风险将高得可怕。

这意味着，如今大多数美好的未来都取决于这样的情景：我们以某种方式成功地控制住了前沿发展速度，从而为自己争取几年时间，让自动化对齐研究、数据中心安全、法律等各方面得以迎头赶上。

许多参与者都能为此出一份力：

目前相关的公司只有几家，所以我们只需要少数几家公司自愿限制它们所从事的 RSI 类型，就能开始争取时间。例如，OpenAI 的安全与安保委员会就有可能介入，对 OpenAI 危险的研究做法提出异议。
加州或许能在其可能于十一月和十二月举行的特别会议上出台一些有用的法律。
而且，如果问题变得更加显而易见，新一届国会最快明年就可能采取果断行动——无论总统是否试图否决。
如果国会不作为，公众的愤怒或许就成了迫使他们出手的必要条件。但考虑到公众对 AI 的看法，即使在现在，如果问题足够明显，我认为这其实相当现实。
而且，这样的速度控制协议很快也必须扩展到中国，这就需要可信的技术论证来说明其必要性，以及其他种种努力。

如你所知，这里的奥弗顿窗口在过去两个月里已经发生了巨大的转变。所以，如果你之前一直在做前沿速度控制之外的工作，但你认为上述某个步骤是你能发挥重大作用的，你就应该重新评估，看看这是否可能成为你如今最具影响力的机会。

组织员工 [00:11:07]

换项目是你一个人就能做的事。但如果你以团队的形式行动，你的杠杆作用可能会更大。如果你是技术人员，你就拥有非凡的议价能力。你只需不参与，就能让事情慢下来。你可以离职，去做其他有影响力且薪酬丰厚的工作。而且当你公开发声时，公众对你的重视程度远超对我这样的局外人。

但你在公司内部的影响力，只在你的雇主需要你的时候才有效，而你正在建造的，正是研究人员设计出来让你变得多余的机器。一旦那一天到来，你引导事态发展的能力将大大丧失。所以，如果这种力量要被使用，就必须尽快使用。

如果 OpenAI 和 Anthropic 的员工只是拒绝继续把我们推向悬崖边缘，那可能就是让我们得以控制前沿发展速度的若干机制中的第一个。在实践中，这可能意味着推动限制 AI 研发自动化的程度和速度；或者坚持在跨越危险阈值之前进行可信的、独立的安全评估；或者要求建立一种途径，让员工能将严重关切一路反映到董事会，而无需担心遭到报复。

这种方法实际上绕开了这些公司面临的一个问题，并在某一方面帮了他们：实验室负责人之间达成的减速协议会触犯反垄断法。但员工作为个人良知的体现，向自己的雇主施压要求减速，则没有这个问题。

难点通常在于没人愿意第一个出头，这就是为什么只有在达到某个关键阈值后才生效的协议可能会有所帮助。

你们肯定比我更清楚这些想法中有多少是现实可行的，但也许正在收听的某位听众有能力推动这件事的启动。已经在做这件事的一个团体是Coalition of Concerned AI Staff，它于今年早些时候成立，旨在帮助员工以团体的形式践行自己的信念。

考虑换个工作 [00:12:38]

或者，你最好的机会可能并不在你目前任职的组织。

我们最近采访了 Geoffrey Irving，谈到了他正在联合创办的新组织：Resolution。

他们正在按两到三年内实现超级智能的时间表推进，扩张速度极快，目标是攻克对齐领域中被忽视的赌注——这些赌注有望在递归自我改进过程中持续发挥作用，甚至可能延续到更远的未来。

主要机制是实现研究的自动化——也就是说，引导 AI 替我们完成研究。而且他们的方法比 AI 公司正在做的更具形式化和数学化，所以既然 AI 基本上正在为我们解决数学问题，就更容易看到这些研究方向取得成果。这需要极其密集的算力，但如果他们取得早期进展，我认为他们极有可能获得所需的数十亿算力，让整个项目得以运转。

如果你想了解更多，请收听我们对 Geoffrey 的采访。如果你对自己现在所做的事情感觉不佳，可以考虑申请加入他们，或者申请加入另一家做出卓越工作的团体，它们都在领先公司之外。

重新确定优先级 [00:13:27]

以上只是我基于自己不在前沿公司所观察到的情况做出的当前最佳猜测。我确信其中有些是错误的，如果你认为其中某些内容在特定方面存在误导或信息不实，我真诚地希望听到你的意见——请给我发邮件至 [email protected]。

我相信你们中许多人近几个月来已经重新确定了优先级，并勇敢地改变了工作方向。但如果你还没有着手去做，今晚就是最好的时机。

花 20 分钟。用几句话写下你当前的项目如何让 RSI（递归自我改进）变得更好或更晚到来。它是否聚焦于合理的目标？能否及时见效？如果你离开，公司会找别人来做你现在所做的类似工作吗？你还能做什么，你怀疑可能更具影响力的事情？然后把你的答案给你尊敬的人看，征求他们坦诚的意见。

我们都希望这一切不要发生在我们这个时代。至少我肯定是这样想的。但遗憾的是，这不由我们决定。我们要决定的只是如何利用不幸短暂的时光。

说到这里，我很快会再和你们交流。