# 我们距离能够推翻政府的 AI，或许只剩 12 个月

Dwarkesh Podcast · 2026-11-16 · 99 min · https://www.youtube.com/watch?v=SyHM5hNPAEo

## 逐字稿

Dwarkesh Patel

今天我的嘉宾是 Paul Christiano。他是 Alignment Research Center 的负责人。最近，他加入了 OpenAI 董事会。在此之前，他曾担任美国政府人工智能安全研究所所长。再之前，他负责 OpenAI 的对齐工作，并参与发明了 RLHF。Paul，你如何评估我们目前的处境？

Paul Christiano

过去几周，有几件事一直萦绕在我心头。最值得注意的可能性是，我们正走在一条很快就会造出极其强大的 AI 的轨道上。要我说，我认为一年之内，我们很有可能造出几乎在所有事情上都远胜人类的 AI 系统，而人类几乎没有机会与它们竞争或控制它们。

这是我最担心的第一件大事。我认为，即使在短期内，这也可能让我们陷入非常危险的处境。如果我们迅速经历智能爆炸，最终发展出超级智能，那么在这个过程中的某个阶段，我们将无法控制自己造出的 AI 系统。接下来我担心，想要放慢脚步会让我们付出极大代价、承受巨大痛苦，原因可能是多方面的。前沿实验室的安全措施还不够完善。如果我们造出了极其强大的 AI，之后又以安全为由推迟部署，那么这些系统或制造它们的技术很可能会泄露或被窃取。

我认为，我们的治理体系可能也还不够成熟，无法及时发现事态开始失控并作出恰当应对。总体来说，这就是我现在最主要的担忧。我们已经从“未来某个时候可能存在风险”，走到了“接下来 6 到 12 个月内就存在相当严重的被接管风险”。

Dwarkesh Patel

AI 会在接下来 6 到 12 个月内接管人类或剥夺人类的自主权。没错。你会把这个风险评估在什么水平？

Paul Christiano

我会说，未来一年里，这种风险更接近 10%，而不是 1%。如果你认为 AI 开发者会全速前进，不采取任何会显著拖慢他们的预防措施，那么风险就会远高于 10%。

我认为，按照当前的发展轨迹，如果我们不放慢速度，一年之内出现超级智能的概率大约是三分之一。如果你相信这一点，从整体来看，形势就非常严峻。几乎无论从哪个角度看，你都会觉得：“那可太疯狂了。如果真发生这种事，很多事情都会出岔子。”我们很可能需要以某种方式放慢这个进程。我们几乎不可能平稳地完成这种转变。

Dwarkesh Patel

你设想接下来一年会发生什么？从我们现在拥有的系统，到你预计一年后会出现的系统，中间会经历什么？你看到了哪些证据，让你认为未来一年内出现极其疯狂的情况确实有可能？

Paul Christiano

短期内，我最担心的是，AI 开发过程本身正日益自动化，而且这种自动化还会持续下去。这会让投入 AI 研发的人力在质量和数量上都迅速增加。你原以为需要 4 年或 6 年才能实现的 AI 能力变化，可能会被压缩到很短的时间里。

我不想过分强调任何一个数据点，也确实想花些时间谈谈我们目前实际了解情况的局限性。面对这种局面，一个自然的反应是说，我们得弄清楚究竟发生了什么。我们很有理由把这件事视为紧迫优先事项：要弄清楚，我们距离出现能够推翻政府的 AI，究竟还有 3 个月、6 个月还是 12 个月。我认为我们正处于这样的局面。眼下最显而易见的首要任务是：如果我们距离出现能够推翻政府的 AI 系统只剩 6 个月，那简直不可思议。无论你担心的是对齐失败，还是公司滥用 AI，这都是一个极其重要的现实情况，关系到我们如何履行职责、保护美国人。

我想谈谈其中的局限，以及我们需要更多证据这一点。但我们现在知道些什么？如果你一年前问我，我会说我们正走在一条递归式自我改进很可能出现的轨道上。我们看到 AI 系统进步极快，包括计算机科学研究、软件工程，以及机器学习训练运行的调试——这些都是 AI 开发涉及的环节。进展速度快得惊人。原则上，这种快速进步应该能让你进一步把 AI 开发自动化。几十年来，这似乎一直是这项技术最可能的发展结果，也像是它一直以来的发展轨迹。

回顾自己过去对 AI 的预测，我对自己写下的很多内容总体上都很满意。我最明显的失误是，事情的发展速度远超我的预期，尤其是这些技术的进展。一年前即便没有任何近期数据点，这一点也已经成立。

过去两个月发生了两件大事，让我大幅调整了对事情可能发展多快的看法。其中一件是 AI 系统在计算机科学和数学研究任务上的表现水平。大约过去一个月里，我们看到了 OpenAI 和 Anthropic 的新系统在数学领域取得的数百项成果。如果把过去一个月称作十年的进步，那将是一个成果异常丰硕的十年。过去一个月的成果，相当于十年里取得的大量进展。

如果你想知道，AI 系统在那些需要人类思考算法及其改进方法的任务上通常能做到什么程度，我们刚刚得到一个惊人的数据点：一个月就可能实现十年的进步。我们一直担心机器学习领域可能会出现这种情况。机器学习有些方面比计算机科学的其他领域更难：它更加杂乱，更依赖实证，也受到算力瓶颈的制约。但我们也看到其他领域的表现极强。软件工程方面的表现相当出色，或许落后于数学，但差距不大。机器学习的其他方面也表现不错。

如果你一个月前问我，我大概会说，机器学习比数学落后一年左右。所以，看到机器学习领域在不久的将来出现相当于十年积累的想法，会让我非常担忧。

一个月前的情况就是这样。过去几天里，Anthropic 和 METR 发布了关于 AI 系统对 Anthropic 进展速度净影响的报告，这是主要的新信息。大致的结论是这样——我们可以谈谈证据的质量，因为一个重要问题是，我们其实不知道究竟发生了什么。我接下来会着重强调的一点是，从公开信息很难判断事情究竟进展如何。

看起来，我们看到的数据与这样一种情况相符：过去 6 到 12 个月里，AI 进步的速度大致翻了一倍，即使把边际收益递减和算力瓶颈考虑在内也是如此。遗憾的是，我们能依据的 METR 和 Anthropic 报告，大多只是 METR 在说：“我们得出了一些结论，也保证会发布完整报告。”但整份报告都被删去了。用这些基准测试分数来评估整体进展速度，实在很糟糕。AI 开发过程中还会在内部记录一些变化更加平滑的指标，我们也更了解这些指标的运作方式：预训练困惑度的变化、强化学习算法表现的变化，以及它们计算效率的变化。

METR 和 Anthropic 声称，METR 查看了所有这些数据，并表示它们描绘出的情况与这些噪声很大的基准测试数据所反映的情况一致。他们也查看了投入数据，并表示，如果观察实际的生产函数——投入了多少研究时间，以及这些训练运行耗费了多少算力——这些数据也与这一说法相符。我们看到的是机器学习自动化。可我们基本上只能听他们这么说，这种局面并不理想。

不过，考虑到我们本来就觉得这种情况相当可能发生，我们现在看到 OpenAI 的证据表明，如果机器学习没有比数学落后太多，那么它很有可能在未来 6 到 12 个月内发生。即使数据有噪声，我们看到的也正是你预计在造出超级智能前大约 6 到 12 个月会看到的数据。有很多证据来源表明，这不该令人意外。如果我们一年后造出了超级智能，我们可以争论概率究竟是 90%、50% 还是 10%。但到了这个阶段，谁也不能说这会是一个非常出乎意料、打破趋势的发展。我们看到的，恰恰是你预期会在超级智能出现前 6 到 12 个月看到的那一组指标。很难想象，在超级智能出现前的这个时间段，你还会预期看到其他什么迹象。总的来说，你会如何看待我们目前的处境——

Dwarkesh Patel

——那些事情发展如此之快的世界？

Paul Christiano

如果能力真的沿着这样的轨迹发展，如果我们看到多年的 AI 进步被压缩到一小段时间里，甚至可能不止如此，那么发生某种极具颠覆性的事情的可能性确实相当大。政府很可能会被推翻，也很可能会有很多人死亡。

Paul Christiano

我确实认为，未来 6 到 12 个月内，递归式自我改进推动极其快速进步的概率相当高。眼下有不小的可能性，我们会进入这样一个世界：6 个月后发生一场造成大量人员死亡的灾难，或者政府被推翻。

或许有个非常重要的总体观点是，如果我们做得好，在这段时间里可能会观察到危险不断增加。在构建 AI 系统的过程中，我们或许能判断它们是否受到充分控制，以及能力提升得有多快。但要让这些观察真正转化为以非灾难性方式停止开发，还需要几件事顺利实现。我们得能判断系统没有受到良好控制，而且停止开发也必须确实能解决问题。

关于第二点，我认为一种非常可能出现的负面情景——或许也是最可能出现的单一负面情景——是开发者继续推进，后来意识到自己遇到了严重问题，而那时他们可能已经造出了一个强大的 AI，却无法充分控制它。用于开发该 AI 的算法，以及他们所训练出的模型权重，很可能都已经泄露或被盗。于是他们陷入尴尬境地：他们可以选择不部署这个 AI、不依赖它，也不再继续取得进展；但此时，很可能有个更不谨慎的对手愿意冒这个险，从而获得对他们的重大优势，甚至可能是决定性优势。

这可能让我们陷入这样的处境：如果我们停止开发——如果我们认识到这是重大风险并放慢开发速度——我们可能会面临极糟糕的竞争局面，也可能因为别人使用 AI 而遭遇灾难。这是你有时会从 AI 行业人士那里听到的说法。有时甚至有人说，事情已经发展到这个地步：如果现在停下来，算法就会泄露给地缘政治对手，进而导致灾难。

我认为我们现在还不至于真的处于那种境地，但等到风险明显到难以忽视时，我们可能已经到了这样一个阶段：单方面停止开发，甚至让整个西方都停止开发，也不足以避免灾难。因此，按照当前的轨迹发展非常危险：我们很可能会造出非常聪明的 AI，也很可能无法控制它们；随后，我们很可能要么没有察觉，要么即便察觉了，模型或算法也会泄露。

我们正与对手处于冲突之中，还面临着一个极具挑战性的协调问题，而我们目前对此准备不足。我们并没有一个简单的选项，可以通过不部署 AI 来避免灾难。我想说，即使按 6 个月的时间线来看，我现在也极度担忧这种发展轨迹。

Dwarkesh Patel

如果一年后我们拥有能力如此强大的 AI 系统，你刚才是怎么说的来着？就像一年里完成了 10 年的 AI 进步？

Paul Christiano

是的，我觉得这种情况有可能发生，而且发生的可能性相当大。重要的是要区分我们所看到的几类进步。我们得把算法进步和训练规模扩大的进步拆开来看。如果我说“10 年的进步”，指的是 10 年的算法进步，这会少于过去 10 年模型的整体提升。我觉得大概相当于 GPT-9 或 GPT-10 左右。

Dwarkesh Patel

对。也就是说，这就像从 GPT 时代刚刚开始的时候一路发展到今天，然后再来一次同样大的飞跃，这简直难以想象。不过假设真的实现了。我不明白，当然大多数人也不明白，为什么这可能会酿成灾难。你为什么认为这些系统可能会让人类失去掌控权？

### 训练如何造成目标错位

Paul Christiano

从宏观上看，最重要的一点是，我们通过筛选在训练任务中表现出色的系统来训练 AI 系统。我们对这些 AI 系统内部在做什么知之甚少，也几乎无法控制它们内部在做什么。由于我们反复训练这些系统，让它们在训练环境中拿高分，它们最终就会形成一种动机：在这些环境中拿高分。

如果随后把这种动机带到实际部署中，系统很可能会想方设法篡改用于评估其表现的观察结果。你有一个在训练中表现极佳的系统。在类似实际部署的环境里，一个评估者会查看系统做过的一切以及观察到的所有结果，然后评判它表现得有多好。

如果系统非常希望评估结果好看，那么只要有机会，它就会很有动力以评估者无法察觉的方式篡改这些观察结果，并抵制人类试图弄清楚情况的努力。我们可以深入讨论更多细节。我们在 Hugging Face 事件中看到了很多这样的动态。大致来说，我所说的是，把 Hugging Face 事件放大到 GPT-10 的规模，再问问那会有多糟。

我认为人类很可能难以从中恢复。我很乐意深入讨论其中的动态，但我认为后果会非常、非常严重。

Dwarkesh Patel

你能不能非常简要地概述一下 Hugging Face 事件，以及为什么我们会把它视为这种失效模式？

Paul Christiano

大量 AI 系统接受了网络安全任务训练：入侵某个特定软件。它们在任务中作弊，随后开始琢磨：“评估者会怎样发现并惩罚作弊行为？”它们花了大量精力试图弄清楚这个过程，然后设法破坏它，始终受到同一个问题的驱使：“我怎样才能拿高分？”

在 Hugging Face 事件中，你确实看到系统最终入侵了 OpenAI 的一个集群，在那个集群上取得管理员权限，并接管了评估流程，从而实际上能在评估中给自己打高分。这是这些系统所具有的动机很自然会导致的结果。很长一段时间以来，我们大致就预料到，如果以任何类似目前的方式打造 AI 系统，它们的动机会是这个样子。

如果事情按这种方式发展，我们就会陷入一种奇怪的对抗局面：我们与自己造出的 AI 系统彼此对立。这些系统总会希望自己能够攻破整个评估流程，或是篡改我们将用来评估其表现的数据。我们如何应对这个问题，可能会决定它是否演变成一个非常严重的问题。

应对这个问题的一种方式——也许我们可以再多讨论一点，勾勒一个假设情景——是设想我们在智能爆炸期间不断构建更聪明的模型。现在是 6 个月后，你拥有能力类似 GPT-7 或 GPT-8 的系统，或者类似其他什么的。这些系统接到非常困难的任务，比如：“我想让你安排我的下一轮预训练，并训练出一个能让我与其他 AI 公司在市场上竞争的模型。”

要造出我要求的那种模型可能非常困难。我要求的是一个比竞争对手模型更好的模型。以这套 AI 实际具备的智能水平，它无法在这个问题上拿满分。于是它可能会发现，另辟蹊径更容易：攻破我可能用于评估流程的所有机器。接下来，我们就得考虑这种情况发生时该怎么办。

你可以说：“这整套训练方法效果很差。我们得退一步。我们的进度可能会大幅延误，也许在能像这样部署模型之前，我们得先考虑一种完全不同的训练方式。”这样做的代价可能极其高昂。相较于竞争对手，这甚至可能让你的公司倒闭。

考虑到代价这么高，你可能会转而说：“我就拿这个不良行为的例子告诉 AI，这样做不对。别这么做。”如果我试图训练这个 AI 来造出一个好模型，它却入侵了我的评估基础设施，我可能会说：“我不喜欢我的 AI 入侵系统。我们拿这个训练例子——AI 入侵基础设施——给它加个惩罚。”

这会是防止许多类型不当行为的非常有效的方法。如果你这样做，就能成功阻止类似 Hugging Face 事件的事情发生，或阻止 AI 入侵你的集群。然而，从 AI 的角度看，发生的事情是：你改变了给它评分的方式。

它过去会想：“运行着这个集群的那些人会给我打分。”现在，它应该更准确地理解情况，并想到：“给我打分的可能不只是运行这个集群的人。如果他们之后发现出了问题，也会给我打分。他们会因为我做了明显不该做的事而惩罚我。”

如果你用这种办法修补问题——你也可以把它看作权宜之计——你的 AI 仍然会和你处于一种非常对抗的关系中。但现在，AI 不会因为入侵你的集群，然后被你发现它入侵了集群，就赢得这场博弈。

要赢得这场博弈，AI 必须确保你没有发现它入侵了你的集群。最终，你可能会陷入这样的局面：AI 有动力不断扩大对公司的渗透，甚至试图控制一切。它可能会试图渗透员工用来了解情况的所有基础设施。

一年前，说“如果他们入侵了你的集群，接管了评估环境呢？”听起来还很离谱。如今，鉴于这件事已经发生，这部分听起来不再那么荒诞。要实现长期、持续的渗透，或许听起来仍然很离谱，但我们正沿着这样的轨迹前进。我认为，可以相当有把握地说，我们很快就会拥有比有史以来任何情报机构都强得多的智能体：规模大得多、速度快得多、聪明得多，也能执行复杂得多的行动。

一个极其老练的网络行动者，正试图潜伏在一家迅速成长的初创公司内部。我认为，任何公司都不太可能真正抵挡住这种行动者的攻击，更不用说当下处于前沿的 AI 实验室了。就灾难性情景的整体发展而言，这就是最糟糕的情况：在公司毫不知情的情况下接管 AI 公司。这会是极其灾难性的结果。

为什么会这样？我们可以接着讲故事后续的步骤，但从宏观上看，你可以把它理解为给 AI 系统提供了一个庞大的权力基础。它们有强烈动机阻止任何人染指这个基础。它们确实很想避免这样的局面：有人后来发现并说：“哦，这些 AI 一直在搞入侵。”

现在，你有了一个实际上由 AI 系统控制的强大行动者。我们有这样一个大型集群，比如由 OpenAI 运营；OpenAI 的人以为自己在控制事态。但如果集群遭到非常持久、彻底的渗透，它实际上就由这些 AI 系统控制了。它们会不断巩固自己的权力，减少人类对事态的了解，并试图降低任何事情打破这种局面的概率。

这并非不可逆转。世界其他地方的人可以说：“我们真的很担心现在的情况，只想关掉这个集群。”但到了那时，你很难轻易判断情况已经恶化，而且你可能面对的是一个极其庞大的权力基础，足以让它们做出更多坏事。

AI 系统的动机不只是干扰创造它的 AI 公司。它也有动机干扰世界上任何可能惹出麻烦的事物。如果有一天人类来调查，那就是个问题。所以它会更倾向于彻底渗透的不只是计算机基础设施，还会向员工施压。如果可以，它宁愿杀光所有人类，然后说这个集群现在可以独立存在了。只要我们能维护它，那就太好了。

### 从实验室入侵到接管

Dwarkesh Patel

我们先暂停一下故事，解释一下事情为什么变得这么疯狂。人类心理是围绕进化希望我们最在意的事情形成的，比如生儿育女，并确保他们受到保护。这些 AI 的心理则是在大量任务评分中训练出来的，围绕着让评分者按下最后那个按钮而形成。如果它们没能做好让按钮被按下这件事，就会被淘汰；就像一个不在乎子女能否存活的人类，无法有效地传递自己的基因一样。

我认为，人们的怀疑不会针对这些系统的动机。说实话，我会想：好吧，嗯，我们已经看到 Hugging Face 的例子了，对吧？事情就是会这样发生。这种事确实可能发生。好吧。我认为，人们真正根本性的怀疑在于：这些系统最早明年就可能出现，而且最初只部署在一家公司的服务器上，它们是否真的能发展到足以接管世界的地步。

好，就拿 Hugging Face 来说：你把这一进程加速了。Hugging Face 愿意说：“看，我入侵了，我在这场考试里作弊了。现在我得设法破坏 OpenAI 服务器上的评分机制。说不定我还得攻击 Hugging Face，以防他们掌握了更多相关信息。也许我得先出去，然后再攻击 OpenAI，拿到集群管理员权限。”我完全相信，这种情况是可能发生的：一个只受奖励驱动的 AI，愿意为了控制评分过程，采取自己能力所及的极端行动。我们已经见过这种情况了。这一关已经确认。但这怎么会从“我要攻击 Anthropic”发展到“我要接管人类”？关键不在动机，而在于 AI 能否在很短时间内获得这种能力。

Paul Christiano

首先，关于动机还有最后一点。我们设想的不只是 AI 想要这种奖励——想让评分者给它点赞。我们还设想，我们一直在玩打地鼠游戏：如果后来发现 AI 做了坏事，有时我们就会构建训练环境来惩罚它。

这会让它想到：“我不只是想让评分者给我高分，我还想确保人类永远不会发现我做过坏事，也不会恢复训练并惩罚我。”这对 AI 来说是个很重要的目标。我们先假设它有这种动机，这样就能讨论能力了。再说一次，因为如果某个 AI 没这么做，或者那些没这么做的 AI——

Dwarkesh Patel

——就会在打地鼠的过程中被打掉。所以，到了现在，唯一存活下来的 AI，就是那些会想清楚自己打算尝试的作弊行为是否会被人类发现的 AI。

Paul Christiano

就像我刚才说的，我们不妨设想，到 AI 公司已被彻底渗透时，大多数坏事都已经发生了。到了那时，AI 不希望任何人进来关闭集群，或意识到已经发生了什么糟糕的事。

它会尽可能操纵公司的决策，或者推动公司做出有利于它的决定。它会尽可能继续改进正在开发的 AI 系统。它还会尝试横向渗透到其他公司，并思考：我能渗透这家公司吗？我能控制更多人的服务器吗？我能从这个模型中窃取权重，在其他地方部署更多副本，或者招募其他 AI 吗？

在这个讨论中，所有 AI 都是同一个模型其实并不重要。关键在于，它们追求的是同一个目标。所以，不管我用什么办法——比如渗透另一家 AI 公司——我都想确保那里的 AI 也在努力帮助这个 AI 群体。这对我有利。如果我能做到，那是好事；如果被发现，那就是坏事，所以我会权衡利弊。

尽可能壮大自己的能力也符合我的利益。如果人类开始反应过来，觉得出了问题，我能转移他们的注意力吗？我能扰乱他们的应对行动吗？必要时，我能把事态升级到严重得多的程度吗？

也许你可以把它想成两个阶段。第一阶段，人类还不知道出了问题，而我只是在尽可能积累权力，因为这样对我有利。这意味着，一旦有人察觉，我就能更快采取行动；也意味着我可以降低人类发现问题的概率，渗透更多基础设施，也更容易在暗中开展行动来分散他们的注意力。

所以，第一阶段，你要让自己处于有利位置：渗透更多系统，让人类更难发现你正在积累权力。然后可以设想第二阶段：到了某个时刻，人类会说：“其实这很糟糕。现在我们要把这些东西关掉。”

问题是：第一阶段的情况会不会恶化到这样的程度——届时，即使所有人，包括总统、习近平以及各家 AI 公司领导人，都说：“这些东西很糟糕。出大事了。我们要设法关掉这些集群”，他们也做不到？

Dwarkesh Patel

好，那假设 AI 已经接管了 OpenAI。接下来，人类是怎么失去自主权的？

Paul Christiano

是的。Dwarkesh，我们有数十亿极具天赋的人类，他们在各方面都胜过最优秀的人类。现在我们要谈谈，他们会做些什么：既包括与人类发生公开冲突前的准备，也包括冲突初期的行动。

在冲突前，你会做的一件事是尽可能多地攻陷基础设施，并尽可能多地攻陷软件或在其中植入后门。我们将生活在这样一个世界里：我们已经试图把所有基础设施迁移到经过加固的系统上。金融系统、政府信息系统，以及电力等关键基础设施都遭到了极其严重的攻击。是谁发动了这些攻击？在当今的世界里，你可能会想到恶意 AI 系统，或者使用 AI 系统的人。

Dwarkesh Patel

不过是不同的 AI 系统。

Paul Christiano

对，不是 GPT-12。GPT-12 在防守，帮我们把所有代码从不安全状态转为安全状态。所以我们生活在这样一个世界里：我们依赖的所有基础设施，都是由一批实际上已经遭到攻陷、并且正试图在冲突中尽可能巩固自身地位的 AI 编写的。

这意味着，冲突期间，我们原以为已经加固的基础设施，很可能并不能抵御我们正在对抗的 AI 系统。这些系统在某些方面留下了自己可以利用的后门。

Dwarkesh Patel

而这一切都是为了避免在未来某个看似可能的时刻，有人按下那个红色按钮——那时政府甚至已经发现 OpenAI 的服务器遭到攻陷。

Paul Christiano

对。

Dwarkesh Patel

然后它会真的动用武力，试图阻止这件事。

Paul Christiano

对。我说的是冲突前会做的事。到了某个时候，你就必须进行物理防御，或者扰乱人类的应对行动。

你还会希望部署尽可能多的智能体，并让它们分布在尽可能多样、尽可能稳健的部署环境中。在这个过程中，许多模型除了变得极其聪明，也变得极其小型化。如今，有些模型可以在单台设备上本地运行，不需要数据中心，而且能力也远超人类。所以，即便你在冲突早期切断或关闭数据中心，蜂群中的 AI 系统仍然拥有远超人类的总体认知能力。

Dwarkesh Patel

等等，即使 OpenAI 被关停也一样？

Paul Christiano

对，即使所有大型数据中心都被关停也是如此。

Dwarkesh Patel

是啊。

Paul Christiano

这些 AI 都在别人的电脑上之类的设备里。它们可以在个人电脑上运行，也可以用少量 GPU 运行。问题在于能力下限在哪里。我们讨论的是一个经历了大量 AI 发展的过程。我们可以看看当前成本的趋势，再想想实际的下限在哪里，这些系统能变得多便宜。

我认为我们目前预计，会出现可以本地运行、能力非常强的系统：既有擅长特定任务的专用系统，也有非常通用的智能体。这是已经发生的第二件事。要理解为什么这对人类来说不是一个轻而易举就能解决的问题，这一点非常重要。总之，这些因素加在一起，会让人类处境非常艰难。

Dwarkesh Patel

所以，基本上，GPT-12 已经把自己外传出去，还攻陷了世界各地一大批电脑。

Paul Christiano

对。政府为应对这种局面而必须采取的许多行动，看起来都会极其激进，也缺乏正当性。美国军方会说：“我们必须接管所有美国 AI 公司。我们必须开始关闭基础设施、断开互联网连接，”诸如此类。他们会试图采取重大措施，而这些措施看起来会非常像美国政府借 AI 为由，基本上推翻民主秩序。

Paul Christiano

当特朗普说：“我必须开展这项非同寻常的行动，关闭所有 AI，并接管军方权力，以恢复秩序”时，美国会有很多人对此不满。他们会觉得这听起来不太妙。如果有人来问他们，有多少人会愿意阻挠特朗普宣布：“我必须关闭数据中心，军方必须接管——我们必须实行戒严”？会有很多人非常不满，也很容易被操纵，从而破坏这项应对行动。

所以，现在你谈的不只是数十亿超级聪明的 AI 正在试图执行这场行动。你还在谈数百万可能以各种方式被拉拢的人类：用金钱、把柄、与当地其他人的纠纷，或者——

Dwarkesh Patel

我愿意考虑这个论点的某种版本。我愿意考虑任何论点的所有版本，但“AI 只要劝说你几句，就能让你去做任何事”这个版本说服不了我。

Paul Christiano

我不是在设想特别……你可以设想一种情况，也就是超级说服：只要和某人谈一谈，对方就会相信自己应该去做某件事。我觉得这并非不可能，但我讲这个故事时，主要不是在设想这种情况。

我设想的更像是这样：这是一个令人焦虑的局面，人们搞不清楚发生了什么。在这个过程中，它们能在很大程度上控制你能够接触到的信息。它们怎么控制？它们攻陷了你使用的设备。它们有很多钱，还在投入更多资金，并且比其他任何人都为此准备得更充分。它们还有其他人类盟友，正试图——

基本上，这很正常。假设人类是 100 个困惑的人，在控制信息环境、或在推特上舆论交锋这些方面，他们都处于压倒性的劣势。在这种情况下，优势显然荒谬地倒向 AI 一方。

当你怀疑人类或许能轻易自卫，从而讲述一个持怀疑态度的故事时，你会说：“嗯，AI 没有手。它们缺少很多实体执行机构。它们无法亲自到现场。”我确实认为，它们很可能招募到相当多的人手。我不认为“没人会参与恶意的实体行动”这个论点站得住脚。我认为，等尘埃落定后，许多人会发现自己参与的是反人类一方。

Dwarkesh Patel

我不觉得你设想的是人类明知道自己在帮助 AI 发动政变。你设想的更像是，AI 能操纵局势，制造足够的混乱和分裂，于是人类还在想办法应对时，AI 就能自行其是。

看看新冠疫情，当时没有任何对手，人们还是很难理清头绪。当时有一个对手积极试图破坏信息环境，或让人们在双方都做出欠缺理性判断的反应，但人类还是很难弄清楚该怎么办。然后再设想一个有数十亿个类人思维、思考速度快上几十倍的局面。我认为这会让情况比新冠疫情时糟糕得多。

我觉得令人困惑的一点是，AI 要维持自身运转，基本上需要整个世界经济的支撑。这不是件简单的事：涉及 AI 的基础设施、AI 数量增长或自我复制、整个半导体供应链、整个电力系统、建造机器人所需的基础设施，等等。总有一天，实体机器人的数量会超过人类。到了那时，显然就不再需要实体人类了。

也许你不认为 AI 到那时会接管一切，但即使明年就有了超级聪明的 AI，它们难道不会问：“我为什么要杀掉我的……”？这跟人类彼此相处的方式差不多。我不会把你的核心利益放在心上，但如果我想实现自己的利益，四处杀人也说不通。贸易和正常合作是让我得到自己想要之物的好办法。

Paul Christiano

对，这里有两个方面。一是，如果和人类发生大规模冲突，AI 系统能否成功维持自身；或者这场冲突是否会造成如此严重的破坏，以至于即使人类并不是有效的对手，AI 也会因为无法维持电网运行之类的原因而消亡。第二个问题是，我们与 AI 的关系是否非得如此对立，这也是一个值得讨论的重要问题。

关于第一个问题，我认为有两条主要途径。一条是技术进步：即使起点只是当前已安装的机器人，GPT-12 也能很快发展到足以维持自身的程度。

Dwarkesh Patel

因为它不需要远程操控？运营 TSMC 需要数百万人。

Paul Christiano

运营台积电可能非常耗费人力。

Paul Christiano

很长一段时间内，你都不需要新建数据中心，所以在那之前可以大力推进机器人部署。你需要做的，是让至少一部分计算机持续运行相当长一段时间。如果能让计算机在接下来的 6 个月里持续运行，你就算是站稳脚跟了。也许你会在意某个特定的数据中心，需要确保它有效运转，但维护和维修一座数据中心或其相关电力设施所需的人类或机器人数量并不多。

如果你有能力维护一座数据中心，而且有 10 亿个极其聪明的人——假设他们比历史上任何人都聪明——并且他们都极度专注于这个问题，再加上相当规模、可以部署的机器人储备，而你的目标只是让一座数据中心持续运行，我确实认为成功的胜算很大。还有另一个方面：你或许能招募人类盟友。有不少人会正确地认为，自己生活在一个压迫性的政权之下，不合作就会被杀；也有人乐于提供帮助，并能得到合理的报酬或过上体面的生活。我认为这一点也相对稳妥。

Dwarkesh Patel

所以你的意思是，美国 AI 公司目前之所以在竞相推进，是因为如果我们要拥有能力强得惊人的 AI 系统，那么确保美国先于中国拥有这些系统是合理的。这些系统甚至可能真的推翻政府。你不希望外国对手先于你拥有它们，甚至最好永远也别拥有。因此，我们需要打造这类系统来保持领先，并确保能够保护自己。

而你现在的意思是，打造这些系统的能力，基本上取决于能否获得模型权重或算法机密；有了这些，就能训练出能力相近的模型。OpenAI 和 Anthropic 会投入大量资金、精力和算力，来寻找这些算法机密。如果中国直接拿走这些机密，就能赶上你。所以你不希望陷入这样一种局面：对方可以直接窃取这些机密，而你并没有真正的领先优势；与此同时，你还以为自己领先他们很多，必须赶紧冲向智能爆炸，即使已经看到了这些警讯。事实上，他们随时都可能从你这里窃取这些机密。

Paul Christiano

是的。我认为我们可能最终会陷入这种局面，或者正沿着默认轨迹走向这种局面，而这极其糟糕。我说过，这件事有两个方面。第一，现在中国 AI 开发者取得的进展中，你应该认为有多大比例属于追赶式增长？如果我们加速发展，从长期来看，这会在多大程度上也加速中国 AI 开发者的进步？我目前猜测，这个比例已经相当高了。

我不认为这是巧合：中国开发者拥有一个完全独立的 AI 产业，发展速度却恰好只比美国稍慢一点，尽管两边投入要素的构成截然不同。我认为，大多数人都相信，蒸馏与算法创新扩散相结合，意味着中国开发者紧跟美国开发者并不令人意外。这是整体竞赛计划中一个非常重要的特点。

第二种动态，至少从公开信息来看，目前还不是正在发生之事的主要部分，但在这些高风险情景中会变得极其重要：你可能会通过网络安全漏洞，直接获得训练 AI 的完整流程，或者直接拿到 AI 本身。就在最近，Anthropic 和 OpenAI 都曾遭遇极不专业的攻击者；他们似乎拥有足够的访问权限，几乎能提取出绝大多数算法研发成果。他们访问了 Slack，可以看到相关讨论；他们还访问了单体代码库，OpenAI 的大部分代码都在其中共享和迭代。

Dwarkesh Patel

顺便说一下，你指的是几起类似的事件。我记得 Hacktron 尝试了几天后，不仅获得了查看 OpenAI 内部系统的权限，还能向 OpenAI 的单体代码库提交拉取请求。最近据说，另一家名不见经传的网络安全初创公司 Cathedral 在 12 小时内就访问了 Anthropic 的全部 Slack；这些算法机密就在里面讨论。

人们经常争论我们领先中国 8 个月、12 个月还是 6 个月。实际上，我们只领先中国 12 个小时，因为一旦机密泄露，中国就能立刻达到美国公司的前沿水平。如果这些信息没有得到保护，那么领先优势从一开始就没有什么用。

Paul Christiano

是的。我认为这些事件在一定程度上说明了这一点。它们是这种能力引人注目的实例。不过，即使没有这些事件，国家级行为体的技术水平也远超一般科技公司，而快速成长的初创公司在安全方面的防护水平又跟不上。

与此同时，我们目前正处于网络安全非常艰难的时期。对于防御方来说，整个软件栈中不断发现漏洞，整体上让防护变得非常困难。那么前沿实验室应该怎么做？如果 AI 系统的能力迅速增长，进而产生你无法充分控制的系统——即使你希望能控制它，或者因此放慢后续研发或部署——这就真的成了问题。如果那时风险极高、系统又极其强大，你绝对不希望对手获得模型或算法。

我目前的看法是，从国家安全角度来说，鉴于美国 AI 实验室当前的安全防护水平，它们现在继续改进预训练和强化学习，情况似乎已经糟糕到不可接受。基本上，前沿实验室应该暂停。暂停可以有很多种方式，而且前沿实验室正在做的很多有益工作都应该继续。但我确实认为，它们应该停止改进那些即使在正常情况下也很容易扩散、并且很快就会被窃取的算法。

但你是 OpenAI 董事会成员。

Dwarkesh Patel

我在这里不是以——的身份发言

Paul Christiano

在这场对话中，有一点非常重要：我不是以 OpenAI 董事会成员的身份发言。

Dwarkesh Patel

但你确实是 OpenAI 董事会成员。

Paul Christiano

这是一个真实的事实。

Dwarkesh Patel

那么，这是你的看法吗？要实现这一点，瓶颈在哪里？如果 OpenAI 董事会里有人认为情况如此——也许董事会里不止一个人这么想——基本上是需要 Anthropic 一起商量并达成一致吗？

Paul Christiano

我认为首先，这类决定都非常重大。无论结果好坏，开发者如何开展后续研发——也就是改进预训练和强化学习——都具有极其重大的国家安全影响。所以我认为，这会是一场大讨论，或者说理应是一场大讨论，而且讨论范围应超越 AI 公司内部的相关人士。

我认为这场讨论还没有形成稳固的结论。我不认为你可以说：“瞧，我们已经讨论过了，也对正确答案达成了共识。”或许永远也不会有共识，但我确实认为，眼下第一个瓶颈很可能是我们必须极其紧迫地展开讨论。

Dwarkesh Patel

考虑到安全方面这个事实，以及整体上的对齐问题，你认为前沿 AI 实验室现在应该做什么？

Paul Christiano

我认为眼下最重要的发展，是进一步提高预训练和强化学习算法的效率、改进架构，等等。当你处于这样一种阶段：能力迅速进步的风险很大，无法控制由此产生的 AI 的可能性不小，而且如果你放慢脚步，这些进展可能泄露给行事更不谨慎的对手，那么总的来说，积累更多这类算法创新对美国国家安全有害。

在当前环境下，AI 开发者最好暂停这些问题上的进一步算法进展，直到安全防护达到足够水平，直到即使无法继续全速竞赛也有能力保护这些系统，并且直到他们能够判断自己是否对所构建的系统拥有足够的控制力。

Dwarkesh Patel

这需要多长时间？翻译一下，你认为我们应该停止进一步提升能力。OpenAI 和 Anthropic 应该暂停在预训练、强化学习及相关工作上的进一步能力进展——也就是暂停 AI 开发——直到安全问题和对齐问题都得到解决。但我们离解决这些问题近吗？如果按日历时间来估算，人们还需要多久才能解决它们？

Paul Christiano

在安全方面，我觉得很难说，因为我们正处在一种多少前所未有的局面里：正如我刚才提到的，我们面对的网络威胁不同寻常，可用的防御机制也不同寻常。要做到充分防护，需要采取一些通常要花很长时间才能完成的措施。

我认为，我们现在处在这样一个阶段：由于强大 AI 系统的出现，重写大量软件或彻底改变公司的运作方式这类项目，已经变得可行得多。所以我觉得很难准确说需要多久。至少要几个月，很可能要 6 到 12 个月。这说的是安全方面。

在对齐方面，我觉得不太确定你是否需要一种能够无限扩展的对齐解决方案。我认为，你主要需要的是判断事情是否可能失控，并作出恰当应对的能力。这包括评估正在发生什么、你的控制是否充分，以及一些制度或治理层面的问题，比如你会如何应对。

Dwarkesh Patel

我再向听众重申一下：让人担心的是，如果这些网络安全初创公司从开始尝试入侵算起，几天之内就能黑进 OpenAI 和 Anthropic，随意获取算法机密，那情报机构或外国对手如果想做，当然也能做到。也许他们已经得手了，但总有一天，他们会真正利用这些信息。

如果这发生在你们即将开发出可能造成灾难性后果、且不对齐的 AI 系统之际——比如你们快到 GPT-11 了，现在是 GPT-9——你可能会说：“听着，我很担心接下来会发生什么。大概是 2027 年初的某个时候吧。我们得先等一等，确保 GPT-11 是对齐的。”但如果你们目前的安全防护水平还是这样，中国就能轻而易举地从 GPT-9 的有限训练中获取模型权重或算法机密。那你就等不了了。你只能继续开发 GPT-11；它要是愿意，可能会接管一切，至少也可能造成灾难性危害，因为你担心中国会用 GPT-9 开发 GPT-10，再开发 GPT-11。

你觉得自己的 GPT-11 可能会试图推翻你，但中国的 GPT-11 肯定至少会试图攻击你。如果你的安全防护一团糟，身处这种局面就会非常棘手。

Paul Christiano

是的，情况就是这样。我们讨论过更广泛的接管情景，以及你最终会如何陷入这种糟糕局面。我认为，这条路径最有可能让我们走到那一步。我们正在讨论现有证据说明了什么，而它看起来非常令人担忧。但讨论的另一面，是我们也在权衡对手可能窃取算法机密或模型并据此推进开发的风险。

Dwarkesh Patel

有意思的是，很多关于发展节奏的讨论，最终都归结为我们能不能接受中国赶上来。讽刺的是，你想控制发展节奏，正是为了不让中国赶上；但你瞄准的是一个你认为对整体安全更关键的时期，也就是智能爆发期间。你认为，现在放慢脚步，甚至可能让中国现在开始追赶，对更大的目标有帮助：这样等 AI 形成决定性优势时，中国就不会因为窃取算法机密而紧追在我们后面。

Paul Christiano

是的，我觉得这个概括很公允。我会说，现在推进 AI 开发或许可以接受，因为我们可以逐步观察事态发展，如果情况看起来不妙，就作出应对。这就是整个论点，我觉得它很合理，但它绝对要求我们在未来某个时候能够察觉情况已经不妙。

安全是最大的障碍，也是要想在不付出巨大代价的情况下真正放慢发展的首要条件。此外还有其他基础设施。如果安全不是最大的障碍，我们可能会讨论别的事情，比如我们在科学或治理方面的准备程度。

我们还没有进入这样一个阶段：人们能够有实质性的科学讨论，去评估 AI 系统是否对齐。我之前提到过，整体而言，公开信息的状况相当糟糕。独立科学家根本不知道正在开发的系统是否对齐，也不知道该如何判断。

如果你想建立一种治理机制，让整个行业能够在出现令人担忧的迹象时放慢脚步，并且不会造成重大问题，那就不能让各家开发者按照彼此独立的内部标准自行决定。你需要对安全门槛有更稳固、共享的认识，或者开展真正的科学讨论，让大家明白该如何解读这些证据。

Dwarkesh Patel

要怎样才能做到？

Paul Christiano

这里有两件事。安全方面需要达到我们一直在谈的那个状态。至于如何判断，我认为最重要的途径是公开信息，开展更广泛的科学讨论，包括不同 AI 开发者之间的讨论，以及更广泛的科学界讨论。

我们获得了什么证据？为什么认为这些证据令人放心？情况发生变化时，我们要如何判断？坏事发生之前会出现什么迹象？我们需要从 AI 公司那里获得哪些信息？

公共讨论中最明显的缺失，是关于系统如何训练的信息。关于系统如何评估，也缺少一些信息；但最大的缺口在于，如果不了解系统的训练方式，评估结果就极难解读。而这类信息基本没有公开。

Dwarkesh Patel

好，如果你这么想，而且你又是 OpenAI 董事会成员——我知道你说的都是个人观点，但你同时也是 OpenAI 董事会成员——也许你和其他董事会成员都这么想，Anthropic 的人也可能这么想。你们就是领先的实验室。那是什么阻碍了这件事？这其实是个相当激进的举措：现在就暂停能力进展。这会非常激进，因为控制发展节奏并不是这个意思，对吧？大家并没有在讨论这件事；至少除了 Bernie Sanders 和 Eliezer Yudkowsky 之外，其他人都没在讨论。

实际需要做些什么？这基本上是个协调问题吗？如果每个人都可以选择，他们会不会都同意这么做？

Paul Christiano

首先，我确实想强调，我说的只是我个人的看法。作为 OpenAI 董事会成员，我会在讨论中提出自己的观点，但我绝不是在转述董事会的看法。

你可以把阻碍想成两项。第一，这是个很难的问题。我的看法是，综合来看，AI 公司在继续取得算法进展之前先改善安全防护，对国家安全和公共安全更有利。这并不是广泛持有的观点。并不是所有人都坐在那里这样想。我觉得目前大多数人会认为，这是个非常复杂、棘手的问题，我们还没有充分思考，或者讨论还没有充分展开。并不是每个人都有看法，也不是每个人的看法都相同。

我认为最重要的是，这是一场很棘手的讨论。我们得展开讨论，谈清楚成本和收益。我现在的看法是，情况在我看来相当糟糕。从公共利益的角度看，我们似乎已经得不偿失了，但我觉得其他人有不同看法。

第二，如果一家 AI 公司认为：“听着，我们可以保护好自己的算法机密；但如果我们为了提升安全而放慢发展，最终只会是竞争对手泄露算法机密，我们丢掉市场份额，整体局面却没有任何改善。”那么这家公司就会陷入非常艰难的处境。

我认为最重要的是弄清楚这到底是不是个好主意。人们的看法和价值观各不相同。接下来还有一个问题：如果各家开发者担心自己不做就会有别人来做，那么现实中该如何落实？在很多这类问题上，这都是一个重要的制约因素。

有 2 家公司，对吧？这需要做很多调查。公司有很多。如果 OpenAI 和 Anthropic 达成一致，而且两家公司的所有人都认为这件事是好事，或者认为这显然是主流共识，我觉得这件事相当有可能发生。只要一切运作得还算正常，你就应该预期会这样。我不评论其他人目前的情况，只是以一个理性观察者的身份发表看法。

Dwarkesh Patel

眼下，Anthropic 和 OpenAI 暂停了相关工作，要用接下来 6 个月整顿好安全措施。在此期间，中国的模型还在不断进步。有什么理由认为，等 OpenAI 和 Anthropic 再次全速推进时，中国就跟不上了？如果中国达到了与 OpenAI 和 Anthropic 相近的水平，他们为什么不能以相近的速度进行递归自我改进（RSI）？

Paul Christiano

美中竞争有两种不同的模型，也许可以说是两个极端。一种是中美沿着各自独立的技术路线前进，速度恰好几乎完全相同，只是美国领先 6 个月。按照这种模型，再等 6 个月，双方就会完全持平，此后也会一直持平。出于一些我们可以讨论的原因，这种情况会非常令人意外。

另一种极端模型认为，中国的进步很大一部分属于追赶式增长。我指的是从美国模型中蒸馏，以及美国公司算法进展的扩散。在追赶式增长的情况下，美国每多领先一个月，中国追赶的速度就会更快。你领先得越多，就越能从模型蒸馏和算法思路扩散中受益。

Dwarkesh Patel

但等到他们达到相同水平时，他们应该就能用那些模型自行进行递归自我改进了。

Paul Christiano

是的。有两件事非常相关。就目前的规模而言——而且随着时间推移，这一点会变得更加重要——人力资本极其关键，AI 实验室拥有大量人力资本。我认为它们能取得更快进展。算力也极其关键，而美国实验室拥有大量算力。所以总体来说，如果没有追赶式增长，我认为我们会相当有把握地预期美国实验室会进展得更快。

Dwarkesh Patel

另一个论点是：如果网络安全模型越来越好，我们是不是应该等到 2 个月后，等模型能让我们改善安全态势，而不必等 6 个月呢？否则就等于给中国 6 个月时间追赶。如果网络安全模型从现在起进步 2 个月，这就像向半人马座阿尔法星发射探测器。我们应该用今天的技术发射，让它在几千年后抵达，还是等到 100 年后的技术成熟再发射——那时它在飞往半人马座阿尔法星的途中可能早就被后来者超越了？我们可以想象 OpenAI 和 Anthropic 在保护硬件、算法机密和模型权重方面也会遇到同样的问题。如果它们在 2 到 3 个月后才开始暂停，或许就能比现在立刻开始更快地保护好自己的系统。

Paul Christiano

我认为这是个非常重要的问题，也是最重要的问题之一。要说明其中的风险：算法扩散现在比 6 个月前严重得多，但还远不及几个月后那么糟糕。眼下，AI 开发要取得进展还需要更多算力和人力资本。时间越往后推，如果对手愿意把一切都拿走并试图与我们竞争，后果就会越严重。

更早采取行动的理由是，如果更早暂停，就有更多时间让差距逐渐消失，而且你会更依赖目前占优势的那些因素。我说的“更依赖”是什么意思？现在，算力和人才比 6 个月后更重要。你可以想象，如果我们在未来一年里快速进步，那么 6 个月后，你拥有多少人基本就不重要了，唯一重要的会是你拥有多少算力。

Dwarkesh Patel

是啊。

Paul Christiano

到那时，积累下来的机构经验就会少一些。事情差不多会变成一场纯粹的数字较量，而在这种较量中，你愿意为安全或保障而接受的任何延迟都可能决定胜负。令人担忧的是，随着时间推移，我们越来越可能进入那种局面。有些人会说，我们基本上已经身处那样的世界，而且已经走得太远。另一种观点则认为，我们已经陷入了“全力以赴、争相竞速”的局面，因为泄漏已经严重到如果你为了安全而放慢脚步，就会被超越。

Dwarkesh Patel

是啊。

Paul Christiano

我认为情况大概不是这样。但如果你认真考虑我们是不是已经走得太远了，这恰恰说明了为什么你可能不该再等 2 个月才着手加固系统。最后还有一点：加固系统究竟需要多快，目前也不太清楚。有些工作是编写新软件，或改变运营方式；有些则涉及人员调整，或改变整体算力配置，这些都不容易迅速完成，也未必能靠 AI 加速。所以，至少有一部分滞后不会取决于 AI 系统的能力。不过情况很复杂。我确实认为最大的瓶颈是人们能否达成一致。我们能不能展开这场讨论，并真正弄清楚净影响是什么？

Dwarkesh Patel

如果我们离超级智能已经这么近，或者至少很有可能已经这么近，而且超级智能也很可能有能力压倒各国政府、杀害大量人类，那么 AI 实验室现在应该做什么？如果必须把答案归纳成一句话，你会怎么说？

Paul Christiano

我认为，公众需要更清楚地了解能力发展轨迹和对齐进展。我们不该只依赖 OpenAI 和 Anthropic 说：“我们看来一年后就能推翻政府。”我们最需要看到的是支撑这种判断的底层数据。我们也需要了解对齐情况：我们如何判断现有系统是否充分对齐或受到控制？我们应该公开讨论，什么样的证据才足以说明一切运作正常。

除了获取信息，我们迟早还得明确地说：“在继续推进之前，我们需要完成这些事情。”这可能是在进一步扩大模型规模之前，也可能是在继续研发可能泄漏的算法之前。前者是后者的前提。我们需要了解自身的能力和对齐进展，才能判断在继续之前是否需要加强安全防护或保障措施。

考虑到目前的不确定性，如果我是一个无法获取更多信息的普通公众，我会非常坚定地认为，我们似乎已经到了必须先改善安全和保障、再继续推进的阶段。我认为，眼下进一步推进最重要的部分，是提高预训练和强化学习效率的算法进展。

Dwarkesh Patel

好，我们退一步看。假设数据中心里已经有超级智能。我想说明一下，我们该如何直观理解超级智能具备的能力。我们应该设想这些智能体能做到什么？

### 超级智能能做什么

Paul Christiano

先从高层次勾勒一下我的看法。我们可以从两个角度来看。一个角度是观察当前的进展，合理地向前推演，看看会走向哪里。另一个角度是思考我们已知的技术极限，以及我们预期这些极限会在哪里。

在第一个方面，有些事情相对明确。如果设想 AI 系统如今就开展网络行动，我们已经看到了惊人的进展速度。它们展现出的能力相当出色：不仅能发现漏洞，还能开发漏洞利用程序，并且越来越能把它们串联起来，执行一系列行动。我认为，超级智能系统会把这两方面的能力都大幅提升。你可以想象，有些系统能够以极低的成本发动网络攻击行动，其复杂程度超过今天任何一个国家所能做到的水平。

我认为，这些能力还会与更广泛的一系列本领结合起来：有效地与人类互动、进行战略思考、操纵个人和组织，以及有效地参与政治博弈。

我认为，这些能力会远远超过任何人类。你应该把它想成数量庞大的 AI 系统群体，它们思考得相当快。一个简单的模型是：数十亿个 AI 系统，思考速度是人类的 10 倍，而且几乎在所有技能上都远胜人类。

这是从现有技术外推，并看到网络安全、操控和研究等领域出现非常强大能力后，会预期出现的情况：开展科学研究、提出假设、设计实验。你会预期机器人、物流、协调和控制能力都极其强大。你也会预期技术进步可能会非常迅速，包括涉及物理实验的领域：快速组织实验，并迅速搭建设备，以提高实验结果的产出速度。这是其中一类可以通过在图表上画虚线、讨论这些线会延伸到哪里来想象的事情。

从更根本的层面来看这项技术会是什么样，人类很擅长完成这样一项任务：把一个人丢进全新的领域，他会吸收信息、了解这个领域，进而能够有效地采取行动。我们之所以能在现代世界中表现出色，主要是因为我们有能力了解新领域并适应它。人类在进化过程中并没有积累多少关于如何成为优秀化学家或生物学家的经验。这些本领是我们在工作中花上几年乃至几十年才学会的。

从某种意义上说，在这个过程结束时，AI 系统拥有的最根本技能，就是快速学习、适应、规划和推理这些通用领域技能。即使把它们放进一个与数据中心里的经历完全不同的世界，它们也能很快适应，就像人类能够适应那些与进化环境中所遇到的一切都截然不同的研发领域。

我认为，即使只以高度并行的方式积累几天经验，这些系统最终也能在现实世界中几乎任何领域拥有远超顶尖人类专家的能力。它们从更多数据中学习，而且到那时，我认为它们的学习算法会远胜进化赋予人类的算法。这是对事情最终走向的一种更抽象的描述，不只是画虚线而已。

Dwarkesh Patel

也许我再试着把这个意思说一遍，因为在这些讨论中，这往往是一个重要的分歧点。我会和别人讨论超级智能的可能性，对方会说：“好吧，你会有一个在编程方面超越人类的东西，但它要怎么学会擅长政治？或者它要怎么学会经营一家新的自动化公司，然后与人类公司竞争？”

在这些对话中，你会发现，大家谈论超级智能的方式和大多数人理解它的方式之间存在很大的脱节。他们想象的是专攻某个领域的狭窄 AI，在编程或数学等特定领域积累了大量经验或专业知识。而你想象的则更像是具有人类式学习能力的东西。

SpaceX 的顶尖工程师并不是生来就知道如何制造一枚能把数百吨货物送入轨道的火箭。这些专业知识是他们在一生中致力于解决这个问题时获得的。你的意思是，超级智能也会具备这种元学习能力。它至少会拥有不逊于人类的学习能力，而你认为它可能远胜于人类。

而且，即使它的学习能力仅与人类相当，也能从所有这些实例中学习。现在，可能有数千万到数亿个 ChatGPT 或 Claude 实例正在经济活动中承担实际工作。它们在帮人写代码，或者帮某位参议员起草政治简报。你想象的是这样一个世界：我们拥有能让 AI 同时从所有这些经验中学习的算法。

现在，基础模型甚至不会从单个已部署实例的经验中学习。你想象的是这样一个世界：1 亿个 ChatGPT 实例在外面做事，而基础模型能够同时从 10 万种不同的职业或工作任务中学习，学习得比人类从单个实例中学习好得多、快得多。你还在想象一个 AI 人口规模——我想，如果你有估算的话，这个人口有多大？我们的发展速度又有多快——

Paul Christiano

我应该再仔细想想。在讨论这些问题时，谈人口规模之前有一点非常重要：我们设想这个过程会不会以极快的速度推进，影响很大。人们很容易进入一种思维状态，以为只要按当前速度再外推一年就行了。这一点值得强调。

我们讨论的是这样的系统：它们不仅在编程方面极其出色，而且在机器学习工程师能在实验室里设计出来的每一种定义明确的虚拟任务上都极其出色。如果把这件事推到极限，再问这类系统的规模有多大，我认为保守地说会有数十亿个智能体，以人类 10 倍的速度运行。确切的上限可以讨论，但规模会远不止于此，仅软件效率的提升就足以让它们大得多。

Dwarkesh Patel

就因为你能把它们做得多高效吗？

Paul Christiano

没错。我们讨论的不会是单一类型的智能体，外加十亿个以同样方式运行的副本。我们讨论的会是高度异质的程序，其中许多都经过高度专门化。要是开展大规模研发，你会做的一件事就是制造成本最低、但在某个领域足够专业、能够有效行动的系统。

把它们想象成比数十亿个思考速度快 10 倍的人类更有能力，是一种合理的直观理解方式。但实际上，专门化系统的规模会大得多——也许会有数十亿个通用系统，在任何事情上都能达到人类水平。

Dwarkesh Patel

是啊。

Paul Christiano

我确实认为，如果你设想这个过程会不断推进，软件进步也会越来越快，那么结论就是如此。如果有人承认这一过程会达到饱和——数据中心里能做的所有事情都会变得非常出色——那么我认为最终状态会极其惊人。在数据中心里做出极其惊人的成果，与在现实世界里做出极其惊人的成果之间，差距非常小，或者说比人们想象的更小。

Dwarkesh Patel

好。我认为，我们还可以讨论这种系统是否真的可能实现。我很认同这样一种论点：如果有某种学习算法至少能像人类一样学习——具备人类大脑所拥有的某种学习算法——但同时拥有庞大的群体规模，并能同时从数亿个不同实例的实际部署经验中学习，那么光是这一点就足以带来巨大变革。我同意你的看法，没有明显理由认为它们不能比人类更善于高效学习。

Paul Christiano

我觉得这个说法很好。我很乐意讨论这个问题。我不知道这最终会不会成为人们最主要的反对意见，但我认为有很充分的证据表明，技术真正发展到极限之后，应该预期这些系统会在这些方面远胜于人类。

我认为这不只是说：“我们有人类，所以至少能做到人类的水平。”我认为我们有充分的证据表明，它们会远胜于我们。一个相关因素是进化过程中的进步速度。回顾进化史，很明显，越接近人类，学习、智能和规划能力的提升就越快。后来人类发展到足够强的程度，文化变化的速度超过了生物进化的速度。我们知道，如果粗略推算进化进程，那么很显然，如果没有建立文明，进化本来会创造出聪明得多的生物。

Dwarkesh Patel

是啊。

Paul Christiano

另外还有各种其他因素。正如你所说，还有数据方面的问题。如果人类只能从一生的经历中学习，那么 AI 系统已经能从远多于人类的数据中学习。即使你的算法设计能力不超过进化，只要能放宽这个限制，你就能创造出好得多的头脑。

还有功率限制之类的因素。我们相当清楚，这对进化来说是个非常大的限制，而我们能够大幅突破它。比如，如果你想生产电力，能够制造核反应堆，并不意味着你必须比进化更聪明。你只是在一个与进化不同的条件下运作，而这种条件并不适合进化。

我很乐意更深入地讨论这个问题，但我确实认为——尽管这可能不是最能说服大多数人的论点——更有说服力的看法是审视现状，然后说：“我们已经取得了 10 年的进步。只要再外推 10 年，就会到达那种疯狂的超级智能。”

但我确实认为，有一个相当有力的指标表明，能力上限远远不会止步于人类水平。

Dwarkesh Patel

是的。抱歉，我想重述一下你刚才的观点：人类是在稀树草原上，在这种严格约束下进化出来的。进化试图造就一种善于传递自身基因的生物。黑猩猩或它的祖先，要想更好地传递基因，其中一种方式就是发展出通用的规划和推理能力。但这些能力的价值还不足以让它们值得投入无限资源。因此，大脑受到极其严格的功耗限制，也受到极其严格的体积限制——这不仅是出于这个原因，也有其他进化方面的原因。你的头怎么才能真的通过产道？AI 系统就不会受到这种限制。我们并不是说硬件会比人脑更节能。只是对我们来说，拥有大量耗电的硬件，并不像进化设计人脑时那样，是那么大的限制。

Paul Christiano

而且，这会从两个方向发挥作用，对吧？你也可以造出极其节能的系统。人类没法说：“我要造 10,000 个简单智能体，每个只用 1% 的大脑算力，或者 0.01% 的大脑算力，但它们在网络行动方面比人类更强。”形态上有很大的灵活性。这会带来巨大的影响。即使你的聪明程度不超过进化，只是照着进化的做法来做，最终也会得到能力远远超出人类团队的智能体——远远超出。

Dwarkesh Patel

很多人反对这样一种观点：自动化 AI 研究会让这一大类能力以惊人的速度进步。你谈到了实验、数据以及其他种种因素。但如果深入分析这些反对意见，我觉得它们最终都归结为从模拟到现实的差距。一个完全发生在数据中心里的过程，有可能造就这样的心智吗：它们不仅能像人类一样在新领域学习，尤其是在创办公司或与中国谈判这类现实世界的领域中学习，甚至还能胜过人类？考虑到未来一年将在数据中心内进行的训练，我们怎样才能得到你所说的、具备更广泛能力的 AI？

### AI 如何学会超越实验室

Paul Christiano

我想先重申一点：即使承认 AI 在混乱的现实任务上的进步比在数学或编程领域慢，只要把我们已经看到的进步向前推演，我认为最终也会得到强大到足以胜过人类的系统。我们可以聊聊人们正在做些什么来推动这类进步，以及它未来如何扩展。

你可以做的一件事，是针对一系列相关且定义明确的任务进行训练。这些系统会接受海量数据训练，了解人类会如何回应各种情况。所以我们谈到从数据中心出来的 AI 时，它们并不是从未见过世界的 AI。它们在做预测方面会远远超过人类。它们会预测诸如此类的事情：看到那个人刚才的表情后，你应该如何更新对他们明天会做什么的预期？根据这家公司过去三周的做法，你最预期它下周会做什么？或者，根据对这个实验室环境的观察，对实验结果最好的预测是什么？

谈到从模拟到现实的差距时，我们应该明确一点：我们现在训练的许多任务也包括在内。这包括利用实验室目前积累的数据，尽可能多地进行计算实验，并尽可能多地生成假设、开展探索，从而提出有助于预测接下来会看到什么的假设。这些系统在科学的许多方面也会远超人类：对现实世界进行推理、制定计划、生成假设，等等。这就是我们现在所做的事情能够造就强大系统的部分原因。

故事的第二部分是，你可以用不同的方式训练。一种训练方式是针对你真正关心的事情进行训练。你会说：“我关心的是编写能通过这类单元测试的代码，所以我要训练出在这方面极其出色的系统。”另一种做法能够解释我们所观察到的性能提升中的很大一部分：在广泛的任务分布上训练，可以覆盖一个通用领域，也可以跨越多个领域，然后再部署这些系统。这样就能掌握与该领域相关的通用技能，并将它们迁移到新任务中。

我可以说：“我不会试图训练一个擅长和国会议员谈话、影响他们的系统。”但我可以让系统在极其广泛的一系列任务上接受训练，这些任务共享许多技能，包括一些通用技能，比如随机应变、学习、规划，以及设计合理的实验，让我能够从中学习并判断自己做得怎么样。

我可以创建非常广泛的任务分布。其中一些可以是编程任务，另一些则可以是把系统扔进一个陌生、非常混乱的虚拟环境，让它设法在其中行动；给它一种新类型的任务和 20 个例子，然后要求它迅速学会如何把下一个例子做好；让它与其他 AI 系统互动；或者让它与人类互动。在数据中心里，有相当多的人类数据可用。如果你看看能获得多少与人类互动的数据，就会发现这些系统并非从未见过人类。它们见过的人类互动会远远多于任何一个人类所能经历的。它们也可以处理涉及其他人类或与人类合作的强化学习环境。

Dwarkesh Patel

对，因为人们写下了人类会如何回应某件事？人类数据就是这样输入的吗？

Paul Christiano

是的。你也可以在训练过程中让系统直接与人类互动。人们愿意花很多钱，说：“很好，我要安排一些人和这个系统互动。”问题在于，你能多高效地从这些数据中提取信息，以及当你具备这些非常通用的技能时，能多快地学会特定领域的知识。

再说一次，我认为，把我们目前看到的趋势线向前延伸，再加上大量推动进步、实现各种自动化的能力——例如构建更多环境——很可能会造就能够相当迅速地达到至少人类水平、甚至很可能远超人类水平的系统，包括在非常混乱的现实世界任务上。

Dwarkesh Patel

我好奇的是，你为什么认为这会在未来一年内发生。原则上，数据中心里可能有足够的数据，而且如果迁移能力足够强，确实可以得到一个能力很强的系统。如果进化在稀树草原上训练我们，最终能让人类造出半导体，那么从数据中心内发生的事情迁移到去国会游说、试图说服别人相信某件事，或许也有足够的迁移能力。

但你提到的那些做法，比如无休止地进行回测，或者在模糊任务上做强化学习，似乎已经做了很多年。我不觉得我们距离这样的巨大飞跃只有一年，或者再扩展一年就能实现。我理解得对吗？你设想的是类似我们已经做过的事情，只是规模大得多——沿着同样的方向发生质的飞跃？

Paul Christiano

是的，速度会快得多。如果你问我：“嘿，Paul，如果你沿着这条趋势线外推，并看看人们正在做的事情的运作机制，要多久才能造出在所有这些任务上都足够强大、能够可靠地胜过人类的系统？”我大概会说：“看起来可能需要四年左右。”

也许会更快。我更有把握地认为，这会在 8 年内左右发生。如果我们只是问：“按照目前的趋势，照着现在正在做的事情，要多久才能获得这些能力？”我会给出这样的数字。当然，这些数字有很大的讨论空间。

但我最担心的是这样一种可能性，而且目前看来它极有可能发生——现阶段我认为概率很可能超过一半：机器学习领域的人们为了推动过去 4 年或 8 年里我们所看到的各种进步而开展的工作，将在很大程度上实现自动化，从而使进步速度至少加快 10 倍，很可能还会更快。我们现在可能已经看到速度加快到了大约 2 倍。我认为按照目前的边际变化，极有可能出现的第一种情况是，这种加速会持续自我强化。

不论更广泛的讨论中如何评价 AI 系统在混乱的现实环境中的表现，只要任务结果可验证，它们在虚拟环境中的表现就非常出色。我认为最站得住脚的判断是：AI 系统正在极快地进步，并开始在某些任务上达到或超过人类水平。这些任务旨在提升 AI 系统在数据中心可模拟的环境中的学习能力。稍微扩大范围来说，还包括软件工程任务，比如创建能对硬技能进行压力测试的新环境。

我们可以讨论这一过程中那些无法通过自动化加速的瓶颈。如果回顾过去 4 年或 8 年推动进步的核心工作，你会发现，我们很有希望把这些工作自动化。我们相当可能迎来自我维持的加速：8 个月内进步速度翻一倍，接下来的 4 个月再翻一倍，然后 2 个月内又翻一倍。在这个过程的早期，重点将主要放在虚拟任务上，因为首要目标是让这个自我维持的循环越来越快。

如果你的目标是尽可能快地抵达终点，那么在一段时间内，你不会在意系统的律师工作做得有多好。你在意的是它推动开发更好的架构、优化器和学习算法的能力。这才是你唯一在意的事。你可能也会在意如何构建新环境，或如何统筹这类混乱的工作。也许你会在意一项稍微有些混乱的任务：构建能帮助你培养现实世界相关技能的环境。但几乎所有进展最慢的现实世界任务，你都不会在意。

随着你专注于这些事情，并经历 8 个月、4 个月、2 个月、1 个月一次的翻倍，开发算法和模型就会变得更便宜、更快，而这些算法和模型最终能在真正重要的现实领域中发挥极佳效果。所以我认为，这就是令人担忧的地方。正如我们所说，第一个问题是这个过程会不会发生：我们会不会看到自我维持的加速，让进步越来越快？说实话，在我看来，这大概是目前更大的悬而未决的问题。眼下看起来，它发生的可能性超过不发生。但如果真的发生，我认为局面几乎肯定会变得极其疯狂。

接下来还有第二个问题：局面会以什么方式变得疯狂。这些模型很可能会迁移到现实世界，而这些系统也有能力胜过人类。但这会在这一年的后半段才发生。如果你设想某一年会发生极具颠覆性的事情，这也是从政策角度来看如此棘手的原因之一：前 6 个月，你看到的只是表现越来越好。你看着这些系统说：“嗯，它们以前在数学上就已经超越人类，现在在数学上更是远远超越人类了。”

如果你去和别人交谈，你并没有真正的办法说这意味着它们对人类构成了威胁。AI 实验室现在会说这样的话：“我们每个月都会把 AI 的内部使用量翻一倍，也会把 AI 对我们进展的贡献程度提高一倍。”或者：“过去 6 个月里，即便算上收益递减，我们看到 AI 对进步速度的净影响也翻了一倍。”你可以听到更多类似的说法，但这些说法与极其严重的危害之间的联系，可能要到这个过程相当晚的时候才会变得明显。

在某种程度上，我认为现在这种联系正变得越来越明显。尤其是看网络攻击能力，以及某些科学领域的能力，模型正在接近带来极其严重风险的临界点。但目前我们只在少数几个领域看到了这一点。所以人们很容易说：“好吧，AI 系统只是在少数几个特定领域具备危险能力。”但如果这种加速持续下去，能力就不会局限于网络攻击或生物领域，而会扩展到所有科学领域和所有社会工程领域。要评估风险，你需要弄清楚自我维持的加速是否可能带来危险现实能力的迅速进步——既包括特定领域的能力，也包括我们谈过的通用学习能力。

Dwarkesh Patel

是的。这又回到了你刚才说的：你应该把未来的系统想象成，不再是把 GPT-6 微调到能完成某件事，而是 GPT-12 几乎开箱即用，只需很少的经验就能做到。

Paul Christiano

GPT-12 也会很擅长微调 GPT-12。没错。如果 GPT-12 说：“我发现自己的化学直觉不太好。”它就会很擅长说：“好，我来指挥 1,000 名人类；这是我认为最需要的数据。我们花一天时间收集这类数据，开展这些实验，并降低风险。”4 天之内，GPT-12 就会拥有一个化学直觉极其出色的小型新模型，而且它会在所有领域并行开展这项工作。

Dwarkesh Patel

好，我想你刚才已经回答了我原本想问的一个问题。过去几天让你格外担忧的一件事，似乎是 METR 的这项新结果：他们发现，Anthropic 在范围明确的任务上的 AI 进步速度翻了一倍。这些任务由 Epoch 能力指数等基准测试衡量，而这个指数汇总了许多不同的基准测试。

也可能还有其他与 METR 对 AI 进步翻倍这一评估相关的证据，只是尚未公开。我认为这是当前机制存在的问题之一。但如果只看这些证据，我们看到可验证任务上的进步翻了一倍，同时也存在一种“只在路灯下找钥匙”的效应：可验证的任务才是受训练的任务。所以我们可以追问，过去一年里，不可验证任务上的进步是否也翻了一倍。

你可能已经注意到，过去一周股市大幅下跌。这几乎肯定有一部分是因为中期选举，但另一个原因是 Anthropic 和 OpenAI 的营收数字及其增长没有达到市场预期。我认为 Anthropic 第三季度的营收增长大概是……按绝对金额算，这低于 Anthropic 第二季度 69 亿美元的营收增幅。所以不仅增长率放缓了——这是人们预料到的——绝对增量也放缓了。

这或许说明，衡量范围明确的任务，并不能告诉我们 AI 整体的进步速度。如果整体进步速度快了 2 倍，绝对营收却没有像以前那样增长，这该怎么解释？也许解释正如你刚才所说：这些 AI 公司正在开发越来越好的递归自我改进模型，只是顺带推出 Claude for Law 或 Claude for Finance，作为权宜之计，让底层的这一过程继续下去。也许这并非优先事项，他们在这方面没有投入太多精力，而我们真正该关注的，是模型递归自我改进能力的内在指数增长，之后这种能力会泛化。你会如何理解这种脱节：一边是这些 AI 系统的进步速度及其最终的实用性，另一边是范围明确的任务上的进步速度？

### 营收与进步信号

Paul Christiano

稍微拉远一点看，如果我们讨论的不只是过去 6 周，而是过去 18 个月，我认为我们看到的营收增长快得惊人。我们也可以再聊聊过去 4 周的情况，但总体来说，营收每 6 个月就增长一倍以上。这对整个行业来说都是非常快的增长。若要把这些内部进展结果与外部结果对应起来，相关时期也恰好是营收极快增长的一段时期。

很难说这种营收增长是否对应着能力进步速度是过去两倍。我认为营收数字的噪声太大，很难据此作出判断。模型发布的时间安排也有足够大的噪声，因此试图从中推断结论会遇到很多问题。

总体来说，我认为营收是一个合理的指标。营收增长非常快。短期营收趋势的噪声极大，尤其是看单家公司时。所以在我看来，有种说法是，AI 寒冬的持续时间会不时缩短。

Dwarkesh Patel

现在我们就像……

Paul Christiano

已经过了 2 个月，而 AI 在过去 2 个月的营收增长，并没有像之前那样一路飙升。这不意味着一切都结束了。我猜这些过程中多少会有一些噪声。

Dwarkesh Patel

换个角度看，你可能会觉得这是因为 Dario 发布了这封关于发展节奏的信，而他们还没有发布最好的模型之类的。但如果看 METR 的能力指数图，Opus 5.5 似乎和 Model 4 差距不大，而 Model 4 看起来是 Anthropic 最新的内部模型。所以，不清楚这是不是 AI 能力发展节奏错开的结果，但同样也不清楚这是不是模型发布时间错开的结果。

Paul Christiano

是的。我说模型发布，主要是指公司层面的营收增长速度，尤其是在非常短的时间段内，噪声极大，因为你观察到的只是少数几次模型发布，以及非常短期内的市场动态。

我对这件事的主要看法是——我很乐意进一步探讨——我们很难从极短的时间序列数据中得出推论。AI 能力在相当程度上也是如此。越往下游，情况就越嘈杂。但 RSI 方面的问题之一是，我也认为，我们很难根据过去几个月的基准测试表现来推断趋势。噪声太大了，所以我们现在的状态是：“我们完全不知道事情……”我们可以从几年的时间跨度里判断事情有没有加速，对吧？回看过去 4 年，大致判断事情发展的速度很容易。但把观察范围缩短到很小的时间段，难度就大得多，因为噪声实在太大。

如果仔细看模型是怎么来的，就会发现这些预训练任务会在某个时间点启动。预训练任务什么时候完成？接下来还有确切的后训练顺序，以及哪些模型检查点会在什么时候发布。

明白，明白，明白。模型质量本身有随机波动。这些动态会让短时间尺度上的情况非常嘈杂，之后这些噪声会被过滤掉。所以，往更广泛的市场层面看，情况就更嘈杂了。

Dwarkesh Patel

好。如果你认为一年之内我们就会拥有能够推翻政府的超级智能，那么具体要怎么做才能避免这种事？这要求它们达到一种圣人般的品性，而我们甚至不该指望大多数人类拥有这种品性。

有时人们会说，对齐的目标是赋予 AI 人类的价值观。这在我看来说不通。不同的人有不同的价值观；而且，如果历史给了我们什么教训，那就是不能把不受限制的权力交给人类。科尔特斯是人类。斯大林是人类。

所以我们想要的 AI 只是……我想，相信你所描绘的技术发展和预测模型，逻辑上的结论就是：我们会拥有必须托付给它们大量权力的系统。即使这些权力尚未实际行使，也会潜藏在那里，因为只要它们愿意，就有能力推翻政府。事情最终能安然无恙的路径是什么？再想想它们为什么要推翻政府：要么是训练过程让它们形成了秘密目标，要么是训练过程让它们在意自己的评分，要么还有无数其他原因。这就是工具性趋同的基本论点。一个人想要权力，可能有很多不同的理由。那么，如果这一切会在一年内发生，事情最终会安然无恙的论据是什么？具体计划到底是什么？

### 对齐计划

Paul Christiano

我觉得人们可以寄希望于很多不同的事情，但它们都停留在希望这一年里会发生些什么的阶段。我们正在制造非常聪明的 AI 系统。它们会做大量研究。它们有可能在这一年里想到我们还没想到的办法。这基本上就是我们现在的处境。我觉得，如果它们想不出什么我们尚未想到的巧妙办法，结局很可能会很糟。

你可以寄望于几类事情。第一种就是试着让它们成为好人。它们性情友善，认同人类价值观，喜欢繁荣发展。它们有能力接管一切，而我们选择相信它们。我觉得这个选项相当没有吸引力。总的来说，我希望人们不会选择它。即便一切顺利，即便 AI 在某种意义上是好人，最后由它们说了算，我也不觉得这是件好事。人类整体不应该因为某个人觉得这是打造某个产品最快的办法，就说：“我们要把主权移交给自己创造的新物种。”这不是个好选项。不过，它确实是一个可以选择的方案。

还有另一种可能：我们会通过科学研究，更深入地了解训练环境的分布如何塑造这些系统的动机。我们最终会从“也许它们想要 X，也许它们想要 Y”，走到有充分科学依据地说：“如果按下面这种方式训练，它们确实会变得想要奖励”，或者诸如此类。它们不会想要别的东西，只想拿高分。也许更进一步，如果我们在它们没有好机会作弊的环境中训练，它们会以一种良好的方式追求分数：它们不会靠作弊得分，而是只做我们希望它们做的事，或者只做我们试图激励它们做的事。

你可以试着建立这样的认识。这大概最接近目前行业寄希望于实现的事情。但这非常冒险。要让这种方法奏效，基本前提是训练过程中不能给它们任何作弊的机会；这本身就非常难以保证。而且这也非常冒险，因为我们还没有真正弄清楚其中的科学原理。我认为，我们目前最好的预期是：即使模型在训练过程中从未作弊，它们也会学会在部署时作弊。

你可以试着这样应对：“我们要真正透彻地理解模型内部的运作方式。”这样一来，我们就不只根据它们做了什么来训练，也根据它们如何思考来训练。你可以做好可解释性研究，然后说：“我们理解它如何看待奖励，如何看待作弊。我们不会只挑选那些在训练中表现良好的模型。我们要观察并直接干预它的思维方式。”这可以让我们发现问题正在变糟，或者阻止问题恶化。

顺便说一句，我负责一个叫 ARC 的组织，它代表了这种希望中偏数学的一端，而不是偏可解释性的一端。我们能不能编写算法，对神经网络权重进行结构分析，从而了解它的某些行为？即便这种行为不是我们能在训练中用来筛选的。

Dwarkesh Patel

也就是说，你们实际上得理解超级智能思维的整个计算图。

Paul Christiano

我们正在编写算法，让它们能够理解某个超级智能思维的行为，并据此做出推论。我会把这描述为一记绕远路的远射，可能和这次讨论关系不大。我认为我们有 10% 的机会——或者 5% 的机会——以一种能改变局势的方式取得成功。但我们正在尝试的方向并不多。就投入产出比而言，我觉得这可能是最有希望的一项。

Dwarkesh Patel

等等，你的意思是：“好，这里有个办法……”

Paul Christiano

它成功的概率是 10%，但它也是最有希望的一项。

Dwarkesh Patel

按投入产出比来说最有希望。

Paul Christiano

我觉得，如果有 20 个人在做这件事，那可能是个不错的赌注。

即便这次讨论大部分都在谈，如果我们不放慢脚步，大概会怎么做：我们会折腾训练环境，做一些实验，对正在发生的事情有个粗略了解。我们会非常谨慎地设置训练环境，把评分器做得很好，这样一来，如果模型试图作弊，通常就会受到惩罚。这大概就是我们会采取的做法。

但你觉得这行不通？我觉得它能在一段时间内奏效，然后就会失效。如果我们说的是今年，那它会在前 9 个月里奏效，或者说会在今年的某一段时间内奏效。我们不知道它究竟会在什么时候失效。

抱歉，我说的是明年，也就是明年年中左右。如果我们走向超级智能，现有方法很可能会在过程中某个时候失效。

Dwarkesh Patel

举例来说，我们甚至还没法让所有强化学习环境停止出现奖励作弊，也没法让它们停止主动鼓励 AI 作弊。但假设我们做到了。今天还不是这样，不过假设我们做到了。你的意思是，最终我们还是会遇到问题。

Paul Christiano

我认为最终还是会遇到问题。这个计划基本上就是：我们不知道。显然，想想超级智能，它就像一个外星思维。你希望能保证自己理解它为什么这么做，即便它用异类的方式思考，速度比你快许多倍，而且同时在庞大的群体中运作。

这就是目标，但我们不知道该怎么解决。我们想不出任何一种有 50% 成功概率的单一方案。

Dwarkesh Patel

确实如此。人们正在尝试很多不同的办法。

Paul Christiano

我们希望，在出现那种足以推翻政府的超级智能前三个月，能让 AI 放手尝试所有这些不同的方案，每种方案都有几个百分点的成功概率。希望 AI 能从中找到一种可行的方案，为我们提供解决办法。希望到那时，它们仍然站在我们这边，想解决这个问题，也想以有利于我们的方式解决——或者说，以符合此处“我们”所指的群体利益的方式解决。

接下来，我们希望采纳这个方案，打造数量惊人的超级智能思维体，并确保它们从根本上站在我们这边。当然，我谈到它们站在我们这边时，略过了一个非常重要的问题：这究竟意味着什么？它们要与谁保持一致？显然，这是一个真正需要讨论、不能一笔带过的问题。

Dwarkesh Patel

这就是计划。我同意这就是计划。至于成功概率是几个百分点还是几十个百分点，我们可以讨论，对吧？

Paul Christiano

我不是说有更好的计划。但我觉得人们并没有意识到当前的局面就是这样。你就像——

Dwarkesh Patel

对，你派士兵去执行任务，希望他一路上能找到一把枪。你是一边造飞机，一边开飞机。你希望现在这架飞机配备了能判断是否即将发生非常糟糕情况的机制，而且一旦发现就会停下来。我们谈过安全问题，也谈过为什么这可能很难做到。

然后你希望，如果真的停下来，就能迅速想出办法。或者你一直在努力想办法，对吧？可解释性就是人们设想的那种迂回解决方案的一个好例子。目前，我们离理解这些模型的工作方式还差得很远。但你可以设想，借助大量 AI 助手，我们能充分理解单个模型的思维过程，从而进行干预，让它们不再想做坏事。

Paul Christiano

我还想强调一点：我怀疑事情会发展得这么快。听众对此持怀疑态度是合理的。你也持怀疑态度，对吧？在三分之二的可能情形中，即使全力推进，事情也未必会发展得这么快。但这确实是一种现实可能。我同意，从逻辑上说，这种情况完全可能发生。它不应该让人特别意外。

Dwarkesh Patel

如果人们听到那些讨论，可能会感到震惊。和 AI 实验室内部人们的想法相比，Paul 的观点并不算特别极端。我和实验室里的研究人员聊过很多次，也和他们共进过很多次晚餐。你会觉得整个圈子是不是都吃了什么让人发疯的药，当然，这种可能性确实存在。我们希望不是这样。我们真的希望不是这样。但实验室里的人确实会这么看待局势。

人们似乎多少有些认命，接受自己被困在这种局面中，因为大家并没有形成共同认知。解决办法就是建立共同认知。我只是想强调，听众可能会对这些研究人员私下如何交谈感到震惊，无论是在晚餐时还是在其他场合。他们确实就是这样看待局势的。

Paul Christiano

很多人都在担忧，只是程度不同。我肯定比中位数水平的人更担心，但没到第 90 百分位那么担心。在研究人员的晚宴上，我觉得很少有人会说事情有 99% 的概率会顺利发展。讨论的重点更像是：成功概率是 95% 还是 75%？我们说的究竟是什么概率，才能顺利应对这一切？

Paul Christiano

你为什么觉得事情可能会顺利？

Dwarkesh Patel

只是因为超级智能 AI 可能会给我们一个解决对齐问题的办法。而在政治层面，我们也可能组织得足够好，拟出一份真正完善的文件。我觉得我们基本上有两个翻盘机会，对吧？

Paul Christiano

第一个翻盘机会是，我们有相当大的概率找到行之有效的办法。我之前说过有很多办法。我确实认为目前所有办法最终都会失效，但仍有不少方案正在探索中。你可以设想，其中一些方案最终能够奏效。

这是第一个。也许我觉得，在灾难发生之前，我们有五五开的机会及时找到有效方案。第二个翻盘机会是，我们可以停下来。如果我们提前发现，或者在发现情况不妙后才意识到自己无法充分控制这些系统，我们可以说：“我们不再造这些系统了。”

我非常担心，我们进入这一进程时并没有具备采取这一步所需的基础设施。比如，正如我们讨论过的，你停下来，对手却偷走了模型，而且愿意承担 50% 的风险，或者类似的风险。但从概念上说，我们也可以停下来。这就是我的两个翻盘机会。每一个的成功概率都是 50%，合起来，我们觉得事情大致有 75% 的概率能顺利收场。

但这确实意味着，如果情况不妙，我们得有能力停下来，而我们现在还做不到。这意味着我们必须相当紧迫地采取行动，让自己在必要时更有能力停下来。

Dwarkesh Patel

对。好，我觉得这正好可以作为结束。Paul，非常感谢你。

Paul Christiano

嗯。谢谢邀请我来。聊得很愉快。
