E257｜对话Vitalik：AI安全背后的哲学思想，有效利他主义如何影响硅谷？

相信大家都看到了本周 Anthropic 提交的招股书。在这份文件里，Anthropic 透露了将近 100 页的风险因素，除了常见的金融和市场风险之外，还包括前沿 AI 可能带来的灾难性风险，甚至威胁人类生存的风险。Anthropic 说，他们自己也无法保证安全措施一定有效。

我 Ctrl-F 了一下，发现 “safety” 一共出现了 248 次，“AI safety” 出现了 36 次。招股书还披露，上市后，7 位联合创始人将通过特殊股份掌握一般表决事项 50.1% 的投票权。与此同时，还有一个叫长期利益信托的机构，有权选举董事会的多数成员。这套安排的目标，是让公司在追求商业利益时，也考虑人类的长远利益。

但有媒体还注意到了一个细节：创始人可以提前指定，在自己失去履职能力后由谁接替自己的投票权。这些人选需要经过内部批准，但名单是保密的。也就是说，公众目前并不知道，未来谁有可能参与 Anthropic 的决策。

消化完 Anthropic 招股书巨大的信息量之后，我有两个初步的想法。第一，AI 安全对于 Anthropic 这家公司的重要性，再一次明显地展现在了公众面前。但第二，我担心的是，如果他们的警告成真，作为公众，我们是否应该有权知道，谁能够代表人类做决定？

要理解 Anthropic 对安全的重视，以及围绕它产生的信任和权力争议，就要提到一个近期反复出现的概念：有效利他主义，Effective Altruism，简称 EA。就在这个月，《经济学人》把 EA 放上封面，称它为本世纪最重要的思想。一些报道指出，围绕 AI 安全政策，EA 的支持者与我们在播客里提到过的科技右翼发生了冲突，甚至特朗普政府也加入了争论。美国国防部在社交媒体上直接喊出一句口号：“美国主义，而非有效利他主义。”一个听起来还属于哲学讨论的概念，就这样成了美国政府公开划清界限的对象。

EA 并不是一个新概念。要理解它，我们要先认识两个人，他们的名字也会在这期节目里反复出现。这一期开头比我们平时的节目稍微长一点，是因为我想先把这些人物和概念给大家整理清楚，方便收听。第一位是 William MacAskill，中文通常译作威廉·麦克阿斯基尔。他是一名哲学家，曾任牛津大学哲学副教授，也是有效利他主义运动的共同发起人之一。他提出的问题很朴素：如果我们拥有的钱和时间都有限，怎样才能帮助更多人？比如，同样一笔钱捐给不同的慈善项目，能挽救的生命可能相差很大。我们能不能用证据和分析，找到最有效的选择？

他还共同创办了一个叫 80,000 Hours 的职业咨询组织。一个人的职业生涯大约有 8 万个小时，我们应该怎样使用这些时间，才能给世界带来更大的改变？很多人上一次听说 EA，可能还是因为加密货币交易所 FTX 的创始人 SBF。他曾经以“赚钱是为了捐钱”的形象，成为这场运动最受瞩目的支持者之一。FTX 崩塌后，关于 EA，尤其是针对 MacAskill 的批评也随之而来：当一个人声称自己要为全人类谋福利，是不是反而更容易为眼前的伤害找到借口？

但 SBF 的倒台并没有让 EA 的故事结束。这里还要提到另一位关键人物 Eliezer Yudkowsky。他是一名长期研究 AI 安全的写作者，也是互联网理性主义社群的重要奠基者。他参与创建的 LessWrong，名字直译过来就是“少错一点”。他在博客里反复讨论的是：人为什么会犯错？我们怎样发现自己的认知偏差？当新的证据出现时，又该怎样修正原来的判断？

这里所说的理性主义，是一套希望通过训练，让人更准确地认识世界、在不确定中做出更好决策的方法。这也能帮助我们理解它与 EA 的联系：理性主义关心怎样想得更清楚、判断得更准确；EA 则是把证据和推理用在一个具体的道德目标上，也就是怎样更有效地帮助别人。两个社群有很多交集，但 EA 也有自己的伦理学来源，不能简单地说它是理性主义发展出来的一个分支。

后来，这两条思想线索在 AI 安全上交汇了。Yudkowsky 很早就在追问：如果我们造出了比人类更聪明的机器，该怎样保证它追求的目标与人类的利益一致？而在一部分有效利他主义者看来，如果 AI 真的可能威胁整个人类的生存，那么防止这场灾难，会不会比其他事情更值得投入资源？

这些讨论也进入了 AI 公司的早期思想世界。Nick Bostrom 的《超级智能》就是一本重要的书。Sam Altman 曾经公开推荐过它，也写过自己对超级智能风险的担忧。Dario Amodei 很早就参与了有效慈善实践，与 EA 圈子联系密切。后来，他和一批同事离开 OpenAI，创立 Anthropic；他们对 AI 安全和公司方向的分歧，是其中的重要背景。

Daniela Amodei 的丈夫 Holden Karnofsky 是 EA 慈善组织 GiveWell 和 Open Philanthropy 的联合创始人。这个圈子里汇聚了很多有影响力的人物，包括以太坊联合创始人 Vitalik Buterin，在中国大家把他称为“V 神”。Vitalik 长期关注并资助全球健康等议题。2021 年，他向未来生命研究所捐赠了一批加密货币。据他后来的回忆，这笔捐赠最终让机构兑现了大约 5 亿美元。

但在这次采访里，你也会听到，Vitalik 对这个圈子的一些做法和 EA 的思想已经有了不同看法。所以这一期我们请到了 Vitalik 本人，以及他的朋友、写作者和科技记者 Afra。我们想和他们一起聊聊：一个从“怎样更有效地做好事”出发的思想，如何走到了今天 AI 发展的中心？当人们开始以全人类的未来为名，决定资金、技术和权力的方向，我们又该怎样理解他们的理想以及其中的分歧？

这期播客分两次录制。我和泓君先和 Vitalik、Afra 一起聊了 Vitalik 参与这些社群和捐赠的亲身经历，以及他今天的反思。之后，我们又和 Afra 单独录了一场，请她从自己的观察出发，介绍 MacAskill、Yudkowsky 这些关键人物，梳理 EA 与理性主义的关系，以及他们如何影响了今天的 AI 安全讨论。节目里大家会先听到我们和 Afra 的对话，再进入和 Vitalik 的讨论。有了前面的背景，后半段提到的人物和事件也会更容易理解。Vitalik 虽然是加拿大人，但中文很流利，所以这期节目全程用中文录制。节目里还会提到很多英文人物和机构名称，我也把这些名词列在了 show notes 里，大家可以对照收听。

如果大家更希望对照字幕来听这期播客，可以去我们的视频平台，包括 YouTube 和 B 站，收看带字幕的播客版本。Afra，介绍一下自己吧。

大家好，我是 Afra。我是一个写作者，也是一名科技记者，主要报道中国和硅谷的 AI 故事。

我们今天聊有效利他主义，要不就先从 EA 这个词的定义开始吧。Afra，你是怎么理解 EA 这个思想的？

1. The Logic of Effective Altruism

我觉得 EA 字面上的意思就是有效利他主义。要体现所谓 EA 的逻辑，不得不提一个人，就是牛津的哲学副教授 Will MacAskill。他之前创立过一个组织，我觉得这个组织其实能体现很多 EA 的精神。这个组织叫 80,000 Hours，也就是“八万小时”。它帮助正在寻找职业方向的年轻人找到合适的方向，所以有很多职业导师、职业资源和招聘信息。

虽然 80,000 Hours 现在已经变成一个和 AI 职业很有关的组织，但我觉得这个项目的名字非常能体现 EA 的逻辑：一个人一生的工作时间加起来大约有 8 万个小时，那么你如何把这 8 万个小时当作有限的资源？你会怎样分配它们，才能给世界带来最大的改变？一旦问出这个问题，整套 EA 的思维方式就在里面了：在有限的、自己能够支配的资源当中，怎样最大化地使用和分配这些资源？

这些人很有能动性，执行力很强，野心也很大，因为他们经常会琢磨“我有 8 万个小时，应该怎么做”这样的问题。但我觉得很多人不太会考虑这件事，所以 EA 的精神在某种程度上还是很有启发性的。

你觉得总体来说，EA 比较关注哪些话题？

2. EA's Four Eras

我觉得需要把 EA 影响全球格局的这十几年分成大概 4 个阶段，每个阶段关注的重点都不太一样。第一个阶段是所谓的“蚊帐时期”：用非常详实、可量化的证据，提高慈善效率，进而影响全球健康。这是一种可以测量的善，是由证据和数据支持的善。

EA 刚成立时，很多人想要行善，想通过 philanthropy 捐钱，但慈善的效率很低，钱也没有捐到位。EA 的这群人想用一种可以量化的、科学的方式把钱捐到位，最大化它的价值。“蚊帐时期”这个说法就来自于此：你捐出多少钱，就能挽救多少人的生命；买蚊帐是当时最有效的方式之一。

接下来，EA 进入了所谓的“长远主义”时期，大约发生在 2015 年前后。这群人开始不成比例地研究存在风险和未来世代的问题，资金和机构也开始扩张。他们不再只关心一个蚊帐能救多少人，而是关心未来几千年、几万年，人类的世世代代子女的生活质量和生活标准。大量资金也在这个阶段进入社群，其中包括 SBF 和很多其他富豪的资金。我觉得 SBF 可能是这个时代最极端的象征，因为他本人就非常关注 longtermism。我读过《纽约客》关于 Will MacAskill 的人物特写，读完之后，我的判断是，SBF 可能是整个 EA 转向长远主义的决定性因素之一。

再接下来，就是整个社群声誉崩盘的时代。出现了很大的信任危机，大家开始反思 EA 这个群体到底出了什么问题。同时，ChatGPT 诞生了，也带来了 AI 领域的转折。EA 和理性主义群体之前讨论的 AI 生存风险，突然变成了更多人关心的问题。这个阶段有很多挫败，也有很多曝光。它曝光出很多问题，比如 Will MacAskill 本人识人失败，一直受到社群批评；有人认为他至今对 SBF 的反思还不够，也有人认为他当时一直在庇护 SBF。

但这个时期也真正让 EA 变成了《经济学人》所说的、对 21 世纪影响最重要的思想流派之一。再接下来，就是我们现在熟悉的 AI safety era，也就是 AI 安全时代。包括我爸、我奶奶这样的人会听说有效利他主义这个词，正是因为 AI safety 成了 EA 最核心的议题之一。EA 的网络也通过两条路径扩张：一是有很多成员在前沿实验室工作，二是有大量资金去资助 AI safety。这使 EA 圈子与政策圈、国家安全圈和华盛顿的圈子发生交汇，也导致特朗普政府、美国国防部会发帖说：“美国肯定不会变成 EA，EA 不行。”我觉得当下是 EA 的一个新阶段，有新的挑战，但它也是最进入公众意识的一个时代。

你刚刚也提到了理性主义社群。我们很多时候把 AI 安全和理性主义者联系在一起，是因为他们当中有 Eliezer Yudkowsky 这样的人。他自认为是理性主义者，也提出过很多反对 EA 思想的观点。但现在这两个社群之间又有一些重叠。能不能具体给我们解释一下，理性主义者和有效利他主义者有什么区别，又有哪些共同点？

3. Rationalism Versus EA

你如何最大化地行善，最有效地做利他的事情，这个思想的源泉其实是理性主义本身。理性主义是一个大集合，EA 是其中的一个子集。EA 的思想体系里，rationalism 肯定占很主导的地位。但说白了，EA 是一套道德主张，rationalism 是一套认知论和思维训练，这两者不一样。

当你给自己冠上“我是 EA、我是有效利他主义者”的身份时，这有点类似于一种宗教或道德主张，你就变成了那样一个人。但 rationality 是一种看世界、想世界的方式。它研究贝叶斯认知论、认知科学，甚至互联网文化。这个群体关注的是一种思维层面的元思维辩论：人在不知道自己不知道什么的时候，怎样做出更好的判断？人类为什么会有认知偏差？我们怎样更新自己的信念，怎样在不确定的情况下做出更好的判断？

其实，很少有人会到处跟别人说自己是 rationalist，但 EA 会给人一种成员身份感和社交感。它是一套要自己做很多事的主张，而且做的事情需要有很大的回报；这个回报又会反过来强化你对自己的认知。所以你会看到，rationalist 这个社群越来越小、越来越微弱，但 EA 社群越来越大、越来越有影响力，原因其实是他们想做的事情不一样。

就像你刚才说的，EA 感觉是一种生活方式，或者说行动指南。它本身是从慈善运动开始的，如果你认同自己是 EA，就会去做相应的事情。

没错。EA 内部有很多小圈子，比如有些成员都是天使投资人，彼此会交流融资信号：“这个公司要融资了，你要不要投？”EA 也有一些自己赚钱的小圈子，还有很多关于未来有潜力公司的信息，比如股票和原始股的信息。

EA 社群里很多人对赚钱很敏感，对捐钱也很敏感。我对 EA 最大的感受，可能是它更像一个带有宗教性质的社交小圈子。rationalist 则没有人要求你对某个组织有忠诚感，因为 rationalism 本身就是一套认知论和方法论。

4. EA's Influence on AI Labs

我觉得我们可以讲一下 AI 安全对这些 frontier labs 的影响，因为这是普通人现在比较常见的、关注 EA 的方式。你觉得 OpenAI 和 Anthropic 这两家实验室的创始人，是不是都在不同程度上受到了 EA 思想的影响？具体来说，他们当时接触到了什么文本、什么人？这些东西是怎样塑造他们对 AI 和 superintelligence 的最初想法的？

我在这里就陈述一些我平时刷推、看书时读到的东西。如果用 EA 的滤镜去看 Anthropic 和 OpenAI，那么 Anthropic 非常 EA，OpenAI 则不太像 EA。这是一个很重要的区别。

Anthropic 的 7 位创始人当时都在 OpenAI 工作。他们认为 OpenAI 没有有效管控 AI 可能带来的风险，因此忧心忡忡。他们觉得不能继续待在这家公司，因为公司不够重视 AI 安全——这在当时是 EA 一个非常强烈的主张。于是，这几位 OpenAI 员工决定自己出来做。Dario Amodei 找了一些理念比较相近的人，创立了 Anthropic。Anthropic 这个名字也体现了人本主义，昭示着他们创立这家公司的初心：做一些和 OpenAI 非常不一样的事情。

Dario 本人非常 EA，我知道他之前给 GiveWell 捐过钱，也经常在博客里谈怎样更有效地用 AI 创造全球福祉。他写过《Machines of Loving Grace》这样的文章，很能体现 EA 的思维方式和他们如何看待世界。公司的另一位创始人 Christopher Olah 对 Dario 的影响也很深，他自己应该也是一个很 EA 的人。

5. Who Funds Safety Audits

Afra，你最近有没有关注 Anthropic 和安全审计机构、EA 之间的关系？我们知道，9 月 Jacob Steinhardt 从 Anthropic 辞职之后，有一个叫 Kevin Bass 的独立研究者在 X 上梳理资金链。他主要关注的是 Anthropic 安排做独立安全审计的机构 METR。他说 METR 和其他一些安全机构的资助方，同时也是 Anthropic 的早期投资人——Coefficient Giving 的创始人 Dustin Moskovitz，而 Dustin 持有大量 Anthropic 股票。所以，所谓的独立评估，实际上可能和 Anthropic 的成功利益绑定了。网上因此出现了很多声讨 EA 的声音，很多人开始质疑安全机构的资金来源。我想知道你怎么看这些质疑？

Jacob 的那条推文火了之后，大家才开始牵出 EA 对 AI safety 的整笔资金注入。很多人还开始编造各种阴谋论，在我看来这就是阴谋论。

你为什么觉得它是阴谋论？

很多传统媒体会质疑，这些资金流向这些组织到底有什么目的，有没有隐藏的议程。在我看来，肯定会有某种议程投射，但 EA 这群人的议程是什么？就是他们不想让 AI 变得不可控，造成让人类无法承受的后果。这就是他们的议程，其实没有什么隐藏的议程。

最近，《纽约时报》的一位知名记者、播客《Hard Fork》的主持人 Kevin Roose 写了一本书，叫《AGI Chronicle》。他写作时拿过一些有 EA 背景的钱，于是就有人质疑这本书的资金来源，说他接受了 EA 的钱，就一定会把 EA 的议程写进书里。

但我觉得最大的问题可能是：一个思想运动有了这么多钱之后，它是在发现最重要的问题，还是也开始参与决定什么问题会被认为重要？我们现在其实已经生活在 EA 这群人很早以前就说过的、他们要做的事情所带来的影响之中。他们很早就说 AI 安全重要，说要往这个领域投入很多钱、创造影响力，而我们现在就生活在这种影响力里。

我见过一些华盛顿的传统智库，它们甚至很难招聘到合格的 AI 政策分析员。年轻、有能力的人才都流入了 EA 资助的各种智库和组织。如果你是一个刚从学校毕业、拿了斯坦福博士学位的年轻研究员，想研究 AI 经济，你会发现 AI alignment 和 AI safety 领域有大量 fellowship、grant 和研究岗位，年薪也不错。这些机构只管给你钱，不怎么管你的研究方向；而其他研究机构资源少，自由度也不够。在 AI safety 机构里，也没有人要求你改变信念。

所以我见到越来越多年轻人被这些所谓的 EA 机构吸纳，也见到越来越多聪明的人因为每天和这些机构的人见面、讨论问题而被 “safety-pilled”。但从我的观点来看，现在被 safety-pilled 是很正常的。即使你原本不太关心 AI 安全，每天看普通新闻、看电视报道，也会被 safety-pilled。

我知道你经常去伯克利、旧金山的一些 EA 或者理性主义组织。我还听说，在旧金山，如果你想参加 METR 这样的组织举办的活动，说自己不是 EA，可能连很多活动都进不去。

EA 也很有意思。你问一些人：“你是 EA 吗？”他们会说：“我也不是 EA，但和他们的人走得很近。”没有 EA 的人天天把“我是 EA”挂在嘴边。其实有很多我的 EA 朋友很 EA，但他们并不觉得自己是 EA 成员，我觉得这也很有意思。

6. Inside Berkeley's EA Network

伯克利是怎样的氛围？我觉得伯克利是不是更偏向理性主义社区？我知道有一个组织叫 Lighthaven，大家也经常聚会、办活动，它跟旧金山的氛围还不太一样。

对，我觉得现在伯克利已经自成一个体系了。伯克利有非常多 AI 安全和第三方审计机构，像 METR 这样的组织就有几十家。Lighthaven 是理性主义者和一些 EA 资助的活动场所，由伯克利大约 6 到 7 栋独栋房子组成。你可以在里面听讲座、自由社交，晚上还有篝火，可以烤棉花糖。Lighthaven 被看作 AI safety、EA 和理性主义的一个大本营。我偶尔会去 Lighthaven 开 AI 相关的会、认识一些人。

两个星期前，我刚参加完两个会议，其中一个叫 The Curve，另一个叫 Progress Conference。The Curve 是一个和前沿 AI 研究很相关的会议，讨论 AI 曲线式、爆炸式的发展。Progress Conference 则更主张推动社会进步，很像 Ezra Klein 写的《Abundance》：如何用现有科技营造一个更富足、更有未来感的社会。它讨论各种前沿科学研究，比如怎样教育下一代，让他们对未来更有信心。

你觉得大家讨论这些话题、推动事件进展，比如推动 AI 加速发展还是慢一点，在实际影响上会有很大的作用吗？

我觉得会。去年的 The Curve 有很多华盛顿的国会议员，也有很多加州政府的人和议员。The Curve 带来的群体效应很明显。它就像华盛顿和硅谷最好的一个 Venn diagram——就是两个圆圈相交，中间那块交集。

所以我理解，他们的影响力可能体现在推动政策、推动监管上。

是的，没错。

那理性主义社区呢？

我觉得理性主义社区更佛系一点。理性主义者不那么想寻求影响力，也就是 impact。所以理性主义社区的人还是像以前那样，写写博客，研究这个、研究那个。他们没有那么多现在硅谷所说的 4D chess，也不会总想着“我今天做 A，就能达到 B，最后达到目标 Z；我要怎么逆向工程”之类的宏大计划。

rationalist 还是很可爱的。就像 Vitalik 说的，他们喜欢做自己爱做的事情。很多人写小说、写博客，讨论一些很 nerdy 的数学和 AI 问题。

7. Will MacAskill's Moral Influence

我看你之前还去伦敦参加过一个叫 GovAI Fellowship 的项目。你见过我们刚刚提到的 EA 精神领袖 Will MacAskill 吗？跟他交流过吗？

我应该是在 The Curve 见到 Will MacAskill 的。他在 GovAI 这个组织里算是导师，但我在伦敦的办公室里从来没见过他。我的 fellowship 大概 3 到 4 个月，在伦敦 King's Cross 车站旁边。我当时还挺期待见到他的，因为网站上说他是导师之一。结果我反而是在加州见到了他，因为听说他要搬到旧金山了，在牛津待了 16 年之后，终于要搬来旧金山。我第一次见到 Will，和他聊了十几分钟。

我觉得他身上几乎浓缩了 EA 过去十几年的很多思想变化。《纽约客》的 Gideon Lewis-Kraus 在 2022 年给他写过一篇很好的 profile，大约有七八千字。文章里的 Will，尤其是刚开始创立 EA 组织的时候，有一点先知和苦行僧的味道。Gideon 写到，在 Will 身边，你会感到一种“我应该去行善”的道德压力，因为 Will 的吃穿住行都很朴素，而且不断捐出自己的收入。

你觉得他对整个 EA 圈子的核心影响是什么？他算是一个精神领袖吗？

对，他算是 EA 的精神领袖，也是牛津一些核心 EA 组织的创立者。他 22 岁时遇到一位澳大利亚教授 Toby Ord，两人一拍即合。Toby Ord 非常重视 EA 和 longtermism。Will 当场就承诺，要尽自己所能，把财富永久地捐出去。他非常愿意把未来的自己也约束起来。这也是后来很多人批评的一点：EA 有一种想法，就是现在的我和未来一个更富有的自己签订合约，去做现在的我想做的事情。

我记得 Vitalik 批评过 EA 的这个理念：你未来的自己永远会背叛现在的自己。10 年、20 年后，你的想法和行为会变，身边的朋友、圈子会变，想做的事情也会变。你怎么能保证，未来那个因为今天想行善而变得更富有的自己，会坚守今天的承诺？但当时的 Will 说，他要把自己的收入全部捐出去。

EA 刚成立几年后，出现了“占领华尔街”运动。当时的道德主张是，华尔街的人是吸血鬼，是造成美国中产和底层生活更加拮据、甚至毁掉他们生活的邪恶之人。但 Will 在牛津大学做了一场演讲，题目叫《医生、非政府组织工作者，还是其他什么？》，讨论哪种职业更能造福社会，帮助刚毕业的学生思考应该从事什么工作。同年，他创立了 80,000 Hours，为本科生提供关于道德和生活选择的建议。

当时他提出一个观点：牛津这样的精英院校学生，如果想造福世界，可以选择去贫困国家当医生。但在整个医疗生涯的 8 万个小时里，你能救多少人？可能相当于 140 条生命。你也可以加入“邪恶的”华尔街，或者咨询行业，通过明智的捐赠，拯救的生命可能是前者的 10 倍，因为你可以捐出很多钱，买很多蚊帐，而每个蚊帐都能救很多人。

所以在华尔街道德污点最重、名声最差、最难吸引精英院校学生的时候，有些人听了 Will 的道德建议，投身进了华尔街。我觉得 SBF 和 Jane Street 这样的交易者会被 EA 吸引，也是因为他们试图用 EA 弥合某种道德错位感。他们会问自己：“我疯狂做量化交易、用各种杠杆赚钱，做的事情真的有意义吗？”但如果把钱都捐出去，那做的事情就是好事了。

EA 的主张给很多在华尔街追求利益最大化的人提供了一个借口：“我其实是在做好事。”这个借口很容易被人利用，也很容易被剥削。

这个点很精彩。

2015 年，Will MacAskill 受聘成为牛津大学最年轻的哲学副教授，当时他只有 28 岁。同年夏天，他的 80,000 Hours 项目被 Y Combinator 接纳。有效利他主义全球峰会在谷歌总部举行，从 Elon Musk 到很多其他硅谷富豪，都出席了其中的一些 panel。比如马斯克就参加了当时关于人工智能的小组讨论。

我觉得 2015 年的 EA 在某种程度上是一个顶峰，至少在 Will MacAskill 眼里可能是这样。EA 的哲学思想已经渗透进硅谷最有钱、最有资源、最能推动社会走向的人群里。

EA 起源于牛津大学，但它后来的发展，包括你刚刚提到的 Will MacAskill 今年搬到硅谷，说明了什么？

我觉得这说明 EA 的核心主张和想做的事情已经完全变成了 AI safety，跟以前不太一样了。之前做的事情，比如预防全球疾病、提高行善效率、关注其他意义上的生存风险，现在都很难找到了。基本上，EA 的关注点和精力都放在 AI safety 上，或者说 AI safety 被不成比例地放大了。

我怎么觉得 EA 也在追热点？

我觉得热点是 EA 创造出来的。我们现在生活在一个 EA 很多年前就已经规划好的现状里。EA 很早以前就说过，要花这么多钱做这么多 impact，要最大化 impact。我们现在已经生活在 EA 创造的这个 impact-maximizing 世界里了。

有意思。你会对外说自己是 EA 吗？

我不会，因为我真心觉得自己不是。我很关心 AI safety，但我不是 EA，比如我不会捐钱。我觉得自己现在做的事情，还没到可以捐钱或者过多考虑全球范围内应该行什么善的阶段。我最感兴趣的是 EA 的哲学和 intellectual 世界。对他们来说，我可能只是一个对一群有意思的人感兴趣、想写他们的记者。我也会关注旧金山一些认为 AI 会替代人类的人群，我很喜欢观察这些奇奇怪怪的群体。

但你接受过 EA 的钱吗？比如你刚刚提到的伦敦 fellowship，应该有资助吧？还是自费参加？

这个有资助，大概是一两万英镑。我当时在伦敦不需要付房租，所以这笔钱没有用来付房租。但如果一个年轻人在伦敦住 4 个月，这笔钱甚至不太够房租。伦敦物价很高，这点钱不算什么。

我觉得很有意思。你刚刚说自己不是 EA，是因为觉得从 EA 的核心理念来看，你还没有到可以把钱捐出去的实践者阶段。但同时，你又被 EA 的思想吸引，觉得其中很多知识层面的东西在精神上给你愉悦感，也有很多值得探索的地方。我在想，这是不是很多 EA 群体成员共同的画像，也是吸引他们的地方？

我觉得 EA 有一点很吸引我的地方。我在某种程度上也想让自己在形式上更 EA 一点，因为这些人能把自己想做的事情、想给世界带来的影响，转化成推动自己行动的动力。有点像先做人再做事，点燃自己心里的火苗。

我发现很多 EA 的人，并不会先问“我想赚多少钱”，而是先想“我想做什么”，然后再想怎么筹到钱、怎么实现这件事。这一点很有意思，就像我也会被 AI 创业的氛围、硅谷 founder 文化吸引一样。很多 founder 也是先想创建一家什么样的公司，然后再考虑融资和具体操作。我觉得这套逻辑很像，也许这就是硅谷和 EA 一拍即合的原因。

硅谷很多亿万富翁也被 EA 的理念吸引，因为 EA 首先让你很有野心地在心里描绘一个关于未来的图景，然后再回到现实，让今天的自己去实现那个图景。我觉得这是一个很有意思的思想和行动指南。

8. Should AI Development Slow

我们知道，现在 EA 关注 AI safety 的主流立场是尽量减缓 AI 的发展，至少在确保安全以前，AI 不应该发展得那么快。与之相反的是我们说的 e/acc 派，以 a16z 为代表，希望加速 AI 发展。刚刚你提到，2015 年有效利他主义全球峰会在谷歌举行，Elon Musk 也参加了活动。今天站在这些创始人不同的立场上，有些人认为我们还是要加速 AI，因为它已经变成一场竞赛，但安全问题也同样重要。你觉得我们应该因为 AI 安全问题减缓 AI 的发展速度吗？

我先回答你刚才说的 e/acc 和 EA 之间的张力。e/acc 和 EA 是不对称的。e/acc 并没有形成真正的力量。所谓的有效加速主义者 e/acc，其实没有成为一个清晰的现象。在很多人眼里，它是一个 meme，是网络上的 hashtag，不是一个真正的行动力量；EA 则是一个真正的行动力量。

至于 AI safety，参加完 The Curve 和 Progress Conference，又和 OpenAI、Anthropic 的十几二十位研究员聊过之后，我对 AI safety 有了很多新的理解。我变得更愿意相信 RSI，也就是 AI 自我迭代、自我进化的速度。现在的 RSI 发展曲线让我有点忧心忡忡。好几位研究员都跟我说，过去一年 AI 的进步甚至超过了他们原本的预期。

我觉得现在前沿 AI 的发展是一个很严重的认识论问题，我不知道该怎么解决。可能现在放缓 AI 的发展，尤其是放缓 RSI 的发展，是件好事。大家先坐下来互相说说到底应该怎么办、发生了什么，能不能用人话把这些事情解释清楚，然后再去进行疯狂的 AI race。

最后这一段非常精彩。谢谢 Afra。

好，谢谢。

刚才和 Afra 聊下来，我们看到了 EA 怎样从一场讨论如何更有效地做好事的运动，逐渐影响今天的 AI 研究、资金流向，甚至政治议程。这些思想能够产生今天的影响，也离不开背后巨额资金的支持。

比如当下最大的慈善机构 Coefficient Giving，从 2014 年以来累计推动的拨款已经超过 70 亿美元，其中多数资金来自 Facebook 联合创始人 Dustin Moskovitz 和妻子 Cari Tuna 创办的 Good Ventures。资金流向全球健康、动物福利、疫情防范以及 AI 安全等领域，也支持了一批研究机构和人才培养项目。

另一位重要捐赠者是 Vitalik。2021 年，他曾经向多家慈善机构捐出一批加密货币，媒体按照当时的价格估计约 15 亿美元，用途涵盖疫情救助、全球健康和科研等领域。不过，加密货币价格波动很大，账面价值与机构最终拿到的钱可能相差很多。其中，他捐给未来生命研究所 FLI 的那批代币，据他后来回忆，最终兑现了大约 5 亿美元。FLI 也明确表示，Vitalik 是迄今为止最大的捐赠者，远超其他人。

所以，接下来与 Vitalik 的对话，也是与一位重要捐赠者一起回顾他的选择：他当初为什么支持这些机构？当这些机构后来的方向与他的期待出现分歧，他又是怎么看的？

这件事特别巧。我问 Afra：“我们想做一期关于有效利他主义的节目，有谁可以跟我们一起聊？”Afra 直接说：“要不就叫 Vitalik 来聊一下。”你为什么觉得 Vitalik 特别适合聊这个话题？

我觉得 Vitalik 适合做这期话题的嘉宾，是因为我之前看过他的一些博客，比如教人们怎样更有效地做 digital nomad、应该打包什么行李。他在那篇打包行李的文章里说，自己从来不坐商务舱。如果这篇博客是三四年前写的，那时他已经是身家好几亿的人了。他不坐商务舱的一个重要原因，是觉得一张商务舱机票的钱可以挽救很多人的生命。这是一个很底层的、非常有效利他主义的逻辑。

三年前，也就是 2023 年，我参加了 Vitalik 在黑山组织的 network state，叫 Zuzalu。在 Zuzalu 的两个月里，我认识了很多 EA 群体成员，接触了他们的哲学思想和当时在乎的议题。其实当时已经开始出现整体转向 AI 安全的趋势。我对 EA、理性主义所有的思想逻辑和意识形态，都是从 Vitalik 这里接触到的。

Vitalik，你要不要讲一下最初接触 EA 的原因？当时是什么吸引了你？

9. Vitalik's EA Origins

我第一次听到理性主义和 EA 这两个概念，大概是在 2013 到 2015 年之间，那时候两个都还很早期。Eliezer Yudkowsky 属于理性主义那边。他有一个博客叫 LessWrong，写过很多文章，叫 “Sequences”，讨论物理学、道德以及各种有意思的话题。

有效利他主义这个群体有人说，我们大部分人做慈善的目的都很好，出发点也很好，但效率很低。他们当时讨论了很多非洲健康方面的话题，有一个很著名的数据：如果你用 2,000 美元给一些非常贫穷的非洲国家的人买蚊帐，就可以帮助很多人预防疟疾，挽救很多生命。这个数据说，每花 2,000 美元就能救一个人的命。

大部分人会花 2,000 美元做什么？可能是买一张商务舱机票。如果你是特别有钱的人，也可能买一架私人飞机，从亚洲飞到美国可能要 20 万美元。你可以想一想，第一种选择是花 20 万美元，让自己在 12 个小时、甚至 24 个小时的旅程里更舒服；第二种选择是救 100 个人的命。如果真是这样，我也必须把自己的钱花在这类事情上。

2016 年和 2017 年，以太币涨了 10 倍，我卖掉一小部分以太币，捐给了那些组织。有时是捐给非洲买蚊帐的组织，有时也捐给其他组织。我特别支持 Aubrey de Grey 的长寿研究。他说我们现在几乎有足够的技术，可以让人活到 150 岁、200 岁，甚至更久。这个话题很重要，但几乎没有人研究。所以我用同样的算法思考：这个领域现在可能只有 100 万、300 万美元的资金，如果我自己给 100 万美元，可能就能加速一个月，让这个领域多救 100 万个人的命，甚至更多。

于是我开始沿着这个方向思考，给这些领域捐了很多自己的钱，包括全球健康、长寿以及其他领域。从 2017、2018 年开始，我就给他们捐了比较多自己的钱。

所以，Vitalik 刚开始关注 EA 时，关注的主要是全球健康和刚才提到的长寿，更多是健康方面的议题。

对。

大家刚才提到了理性主义。我们要不要讲一下 Yudkowsky 的核心思想是什么？还有 Scott Alexander，他写过 Slate Star Codex，在这个圈子里影响很深，是重要的思想来源和文本。我们能不能聊聊理性主义和有效利他主义的区别，以及这两位关键人物的核心思想？

我可以简单地说，EA 最核心的目标，是帮助我们了解怎样最有效地帮助别人的生活。理性主义则是帮助我们更有效地思考，怎样更理性地做事，进而帮助别人。

在 LessWrong 上，Yudkowsky 写了很多哲学话题的文章：人是怎么错误地思考的，怎样才能思考得更正确，在生活的每个方面少犯一点错误。十年后，有人把这些文章整理成了一本书，叫《Rationality: From AI to Zombies》。这个标题是故意选的，因为 Yudkowsky 大概从 1995 年开始就知道 AI 是一个非常重要的话题。一开始他认为 AI 会对人类非常好，我们应该尽快让一个非常强大的 AI 出现，帮助我们解决所有问题。

但他深入思考之后，发现 AI alignment problem 很难解决。如果你做一个非常聪明的 AI，怎么保证它的目标和你的目标相同？一个简单的例子是，你给 AI 一个目标：治愈所有人的癌症，创造一个没有人得癌症的世界。如果 AI 不够了解你的意思，可能会觉得最简单的办法是毁灭整个世界。这样世界上就没有人得癌症了。这只是一个简单的例子，但有一个核心概念，叫 value fragility：如果你在给一个非常聪明的 AI 设定目标时犯了一点点错误，仍然有可能造成这种结果。

第二个重要概念是他说的 orthogonality thesis。很多人会说，更聪明的 AI 一定也会比我们更好。但他想了很久以后发现，这个理论是错的。思考能力和目标是完全不同的事情。有可能有一个善良但很笨的 AI，也有可能有一个善良又聪明的 AI；有可能有一个邪恶又很笨的 AI，也有可能有一个邪恶又聪明的 AI。善良不是宇宙的一部分，而是人类进化出的概念。所以，如果我们想做一个对我们好的 AI，这不会自动发生，而是需要我们非常努力地去实现。

他理解这两个问题之后，发现自己之前的想法很幼稚。他以前可以说是一个 accelerationist；如果他自己这么长时间都没有意识到这些概念，就说明帮助人更好地思考非常重要。于是他开始写很多文章，创建网络社群。这也是 AI 领域开始变得更理性的一个重要原因：如果你用不正确的思想去做 superintelligent AI，最可能发生的就是非常大的错误。

Scott Alexander 是第二个重要人物。他很长时间有一个博客叫 Slate Star Codex，2021 年搬到了另一个博客，现在叫 Astral Codex Ten。这里面也有复杂的故事。他写了很多很聪明的文章，也写了很多政治和文化战争相关的内容，比如我们现在说的 woke 和 anti-woke，所以他的文章有时也很有争议。他们的核心都是怎样更合理、更聪明地思考。

有效利他主义者是另外一个群体，和理性主义者有很多联系。尤其在早期，大部分有效利他主义者也会读 Yudkowsky 和 Scott 写的东西。EA 群体在英国的牛津大学有很多人，在旧金山也有。William MacAskill 比较早开始捐出自己的钱。

这个群体的核心可能有两部分：一部分是更 academic 的哲学家，也就是在大学里长期做教授的人。Yudkowsky 和 Scott 都很明显是自学成才的。EA 的人更接近传统主流意见，他们在大学里学过很多东西，也参与了主流思想体系。EA 的另一部分很重要，就是吸引有钱人。如果你有钱，又想做好人，这个社群就很有吸引力。Jaan Tallinn 是 Skype 的联合创始人，很早就参与了；还有 Dustin Moskovitz。他们都比较低调，不会大声说话，EA 社区里有很多这样的人。

理性主义社群主要思考；EA 社群可能一半是思考、一半是做。做的部分大多是捐钱，但他们也开始创建组织，把过程形式化，比如评估每个慈善机构的效率、怎么选择最好的机构、捐出去的钱到底能帮助多少人。大约在 2015 到 2020 年之间，EA 开始变得越来越制度化，建立自己的机构，不再只是一个社区，而是一个更复杂的体系。

我很好奇，Afra 可能也比较了解：认同自己是有效利他主义者的人，和认同自己是理性主义者的人之间有很多冲突吗？他们会不会觉得对方的思想不正确？

这个问题我也是大概一周前才搞清楚的。我直接去问了一位理性主义领域的元老，他名字叫 The V，写一个叫 “Don’t Worry About the Vase” 的 newsletter，主要讲理性主义思维和 AI 安全问题。

The V 说，有时候一部分理性主义者会觉得，EA 抢走了理性主义者很多年前就发现的一些观点的功劳，比如 AI 安全问题。十几年前开始担心 AI safety 的人其实是 Yudkowsky，但他从来没有认为自己是 EA 的成员，有些 EA 成员却会说 Yudkowsky 是他们的人。

现在 AI 安全和 AI 对齐已经变成更具体的研究和实践领域，也是因为我们处在 AGI 浪潮当中。所以很多研究 AI 安全的人，可能不认同 EA，也不认同 EA 所秉持的长远主义，甚至不认同理性主义，也没看过 LessWrong，但他们仍然在研究这个问题，仍然非常担心 AI 会系统性失控。

所以现在大家提到 rationalist、EA、AI safety 时，可能会把这几个词混用。但你一旦进入这些群体内部，就会发现这里有早来晚来的人，有很多分歧，也有很多不同的小圈子。

Vitalik，你刚开始关注 EA 的时候，对 AI 安全的思考是什么样的？当时你捐款、接触这些组织，它们对 AI 安全的关注大概是什么情况？

那个时候我对 AI 安全的想法还是非常抽象的。我知道 AI 理论上是一个非常重要的话题，有可能他们说的是真的，AI 安全会决定人类未来的命运。不管这种可能性是 1% 还是 0.1%，当时思考、研究这些话题的人都非常少。如果你可以花 100 万、500 万，加速整个领域 6 个月或者 1 年，结果可能会非常大，所以这是一个我们都应该做的 bet。我对长寿和 AI safety，从一开始就是这么想的。

2020 到 2023 年之间，这些都变了很多，主要是因为 AI 变成了一个真正的话题。2015 年，我们现在说的 AI 几乎不存在。大概 2018 年我们担心的 AI，可能是摄像头、AI 帮助的数字监控。那时候和 2023 年已经很不一样了，GPT-3 出来的时候就改变了很多。

2023 年春天，我们在做 Zuzalu 的时候，ChatGPT 出来了，我们开始理解 AI 真的可能发展得非常快，真的会给我们带来很多变化。大概从这个时候开始，所有人的思想和能做的事情都有了很大的变化。2022 年之前，唯一的答案可能是怎样帮助研究、让人类知道得更多；2022 年之后，AI 就从一个抽象话题变成了一个具体话题。

你会担心 AI 的安全问题吗？

大家问我，人类或者其他的风险会完全毁灭我们的世界、人类会消失的概率是多少，我会说 0.1。我为什么说 0.1，不说 0.03，也不说 0.3？其实要说得更明确很难，因为我从一开始就有很大的 uncertainty，有很多不确定性。

第一，AI 会发展得多快？有可能要 10 年，也可能要 300 年才能达到大家说的 AGI。第二，Yudkowsky 说的 alignment problem 到底是不是一个真正的问题？这个问题会不会很容易就解决？我们可以回到刚才的例子：做一个非常聪明的 AI，告诉它要创造一个没有癌症的世界，它觉得最简单的办法是毁灭世界、杀掉所有人。

如果你现在和 Claude、GPT 这些现代 AI 对话，就会知道它们比较了解 context，能理解我们的意思。这是十年前很难预测的变化。但这不一定意味着 alignment problem 就不是大问题。如果你现在问 Yudkowsky：“你看现在的 AI，如果跟它们说要治癌症，它们不会毁灭世界，是不是说明 alignment 问题解决了？”他会说不是，这只是 alignment 问题的一小部分，还有很多其他部分没有解决，我们完全不知道其中的风险。

第三是政治上的不确定性。现在有不同的国家、不同的人、不同的公司都在做 AI。在竞争的情况下，大家有不同的目的，同时希望安全，也希望自己赢。如果 AI 变得非常危险时，第三次世界大战也发生了，那最危险的可能不是技术问题，而是那时候大家最不会思考安全，只会觉得自己赢最重要。

所以，技术上的不确定性乘以另一种技术上的不确定性，再乘以政治上的不确定性，还有更多不确定性。AI 会不会真的对我们危险，非常难预测。

我注意到，你在 2021 年 5 月 12 日好像同时捐赠了很多 EA 组织；2017 年也捐赠过 Yudkowsky 创建的机器智能研究所 MIRI。能不能讲一下，2021 年那一天你捐赠很多组织时在想什么？你是怎么做出捐赠决定的？

10. The Shiba Inu Windfall

这个故事很好玩，可能要从 2016 年说起，从第一个 memecoin，也就是狗狗币开始。狗狗币是 Dogecoin，16 年出来的。有一些开发者说：“我们要做一个自己的新币。大家都在做自己的币、自己的链，我们也要做一个。”它是 Litecoin 的一个分叉，基于 Litecoin 的代码。那这个新链、新币是做什么的？什么都不做。为什么要买？因为有一只很可爱的狗。

那个时候大家都没想过可以这么做。区块链社群还是比较理想主义的，大家觉得这很好玩：我们做一个笑话，做一个完全没有用的币，然后把它发行出来。狗狗币从一开始就很火。我自己在 2016 年花了 25,000 美元买了一些狗狗币，后来我的钱变成了 1,000 多万美元。所以我也是一个早期、比较成功的狗狗币投资者。

狗狗币是第一个 memecoin 吗？我好奇，真正意义上的第一个 memecoin，对吧？

对，是第一个很多人知道的 memecoin。2020 年，狗狗币非常成功。很多人开始想，如果第一个狗狗币的市值能达到 500 亿，那自己再做一个狗狗币，市值能达到 80 亿也很不错。所以他们都开始发行自己的狗狗币，最大的就是 Shiba Inu，也就是 SHIB。

他们还做了一件很好玩的事：把一半币的供应量放进我的钱包，因为我的钱包有公开地址。他们把 50% 的币都放到了里面。那时候我的钱包是一个冷钱包，私钥只在两个地方存在。第一个地方是一台完全没有连接互联网的电脑，当时在多伦多。第二个地方是两张纸，每张纸上有一个数字，一张在多伦多，另一张在我家里。两个数字加起来才会变成私钥，这是一个 paper backup。

那时还在疫情期间，我很长时间什么都没做。有一天我发现这些币的市值真的到了 80 亿美元，实在太夸张了。我想，他们可能一周之内就能把市值推得这么高，但一周之后泡沫也可能破掉，币价会很低。我当时在西雅图，买了一台新电脑，给妈妈打电话，请她读出那张放在多伦多的纸上的数字。我在电脑里把两个数字加起来，得到了私钥。

我研究了 Gnosis Safe，也就是一个更安全的多签名钱包的代码，花了两天时间审核整个代码，为自己准备一个新的、能放以太币的钱包。我做了很多复杂的工作，最后把那些 SHIB 拿了出来，把他们放到我钱包里的币卖掉了。一开始我很快把它们换成以太币，大概捐了 7,000 万美元的以太币，大部分捐给了 Against Malaria Foundation，也就是给人买蚊帐的组织。

这可能是我当时能拿出来的最多的钱，所以应该捐给一个比较安全、没有太多争议的组织。有些人会说，给非洲人买蚊帐是你能做的最重要的事情；也有人觉得这没有那么管用，但没有人觉得这是坏事。我还捐给了一些长寿组织和其他组织。

因为 market depth 不够，我没有足够的 liquidity 把那么多狗狗币都卖掉。卖成以太币之后，我还剩下很多。所以我想，反正这些币可能很快会跌得很惨，不如把剩下的捐给一些我觉得不错的组织。只要他们卖掉时能拿到一点钱就好了。我原本觉得他们最多能拿到 2,000 多万美元。

所以，我把大约一半给了印度一个抗 COVID 的组织，另一半给了 FLI，也就是 Future of Life Institute。当时他们是一个研究应对各种 existential risk 的组织，研究生物相关风险、AI 风险、核战争风险等各种巨大风险。有人向我介绍了他们的计划，说理论上最多能拿到 1 亿美元，但 2,000 万美元也能做很多事。我就说：“好吧，那我把这些 Shiba Inu 给你们。”

三个月之后，我发现那些币并没有跌。FLI 和印度的 CryptoRelief 卖掉手上的币后，几个组织一共拿到了 4.7 亿美元。

是印度的 CryptoRelief，对不对？

对。FLI 具体拿到了多少我不知道，但可能是 4 亿，也可能是 6 亿美元。

4 亿到 6 亿美元。

对，我完全没想到会是这个结果。如果我事先想到这有可能发生，我做的事情会非常不一样。但事情就是这样发生了。

第二年，我和 CryptoRelief 的 Sandeep 聊了聊，说服他把一半的钱还给我。然后我们开始做一些自己的抗疫情工作，包括研究过滤器、疫苗，也捐给了一些开源疫苗组织。一个是 RaDVaC，一个是 PopVax。PopVax 上周发布了一篇文章，他们现在发展得很好。所以至少有一部分开源疫苗项目已经存在了。

我们还做了过滤器、紫外线，也就是 UVC、口罩和 long COVID 研究。一开始是抗 COVID 的工作，但到了 2022 年初，大家都觉得 COVID 结束了，于是我们开始应对所有的空气传播疾病。COVID 其实还没结束，但我们把工作范围扩大了。

我们用了 2 亿美元做了很多事。Sandeep 用他的 2.7 亿美元，可以说是提升了印度整体的医疗制造能力。FLI 这边，差不多就在 GPT-3 出来的时候，思想发生了很大变化。第一，他们从关心所有 existential risk，变成只关心 AI。第二，他们从研究的态度，转向政治行动。他们开始制定具体策略，思考应该支持哪些法律、哪些政客，做了很多我不认同，或者如果是我的钱我不会做的事情。

我跟他们说过两三次，我们用那 2 亿美元做了哪些抗空气传播疾病的项目、取得了什么结果。我希望他们分散投资，因为我们已经有很多成功项目。但他们拒绝了，要把钱都放在以 AI 为中心、以政策为中心的方向上。同时他们支持的法律开始出现，很多 a16z 等硅谷投资者也开始不高兴，于是他们开始把 AI safety 当成主要敌人。这大概是 2023 年开始的。

你当时选择捐赠的组织很多。你刚刚提到了 CryptoRelief 和 FLI，捐出去的是 SHIB；还有一些是 ETH。我注意到你还捐赠了 GiveWell 和 MIRI。你是怎么选出这 4 个组织的？当时是出于什么目标做选择？

大概是每个领域选一个大家比较认可、默认的组织，覆盖我认为重要的领域。如果你五六七年前问我一个领域应该捐给谁，大概率会得到同样的答案。

你觉得现在自己的想法有变化吗？比如怎么捐、如何捐。捐赠之后我们也看到世界在变化，AI 迅速发展，他们可能把钱用在和一开始想去非洲治愈疾病不太一样的方向上。

11. The Neglectedness Test

我觉得 EA 里有一个重要概念，叫 neglectedness，也就是这个问题有没有其他人已经在做。比如水非常重要。非洲有些地方的人喝脏水，如果有干净的水，他们就不会得某些病毒。这已经属于全球公共卫生领域，EA 组织也在研究，但我们自己参与就没有意义，因为已经有很多其他人在做了。

neglectedness 的意思是：一个话题很重要，但现在认真思考这个话题的人是不是太少？大概 10 年前，我觉得 EA 和理性主义相关的每个领域都非常 neglected。其实 EA 从一开始就没有特别研究长寿，但在我看来，那时候每个领域都很 neglected。

现在我觉得不是这样了。AI 安全已经是一个非常高级的话题。全球公共卫生在 2025 年受到很大伤害，因为 Elon Musk 做的 DOGE 和美国政治变化，让之前支持的很多公共卫生项目很快停了下来，造成更多问题。所以我觉得现在全球公共卫生又变得更重要了。疟疾方面也有一些问题，比如抗疟疾疫苗，但现在也有疫苗可以做，所以全球公共卫生仍然是非常值得支持的话题。

不过，其他很多问题现在的关键已经不是 neglectedness，而是如果大家做得不对，问题就不是资源太少，而是方法可能不对。这类问题的解决方案完全不一样。

你现在本人会关注 AI 安全问题吗？我发现 EA 的重心转移了好几波：最开始可能是全球健康，比如蚊帐、驱虫；中间有一段时间关注动物福利；现在则是长远主义和 AI 风险。

对。

所以现在 AI 安全会是你关注的问题吗？还是你觉得已经有人在关注了，更想把注意力转移到其他更重要的问题上？

现在越来越多的问题都和 AI 安全有关，所以不思考 AI 安全有点难。但现在更大的问题不是研究 AI safety 的人不够，而是 AI 公司里的很多 incentives，也就是激励机制，都比较 broken。OpenAI 和 Anthropic 都希望自己的公司赢，所以发展得非常快。如果 AI 发展得这么快，风险就会很大，因为我们没有足够的时间思考怎样把 AI 做得安全、怎样用 AI 创造我们希望的世界。

还有一点可能最重要：我们现在做的 AI 安全研究，不一定是关键所在。更重要的是，当公司要做出最强大的 AI 时，他们的目标究竟是安全，还是自己赢最重要？

我们可能需要用现在的 AI 版本，也就是 AI version N，研究 AI version N+1 的安全问题。我们需要用当前级别的 AI，充分了解下一个级别的 AI。可能三四年前做的 AI safety 研究也不是很有意义，因为他们会发现，我们花了很多时间和资源研究 AI 安全，但一些最核心的问题，包括 AI alignment，并没有多少进展。

所以更重要的不是现在做了多少研究，而是那些做 AI 的公司在开发风险很大的最强 AI 时，会不会足够重视安全。我们不太知道答案。解决这些问题也不只是研究问题，而是真的开始变成 policy 问题。但政策问题最大的挑战是，很难知道一项政策是好是坏。

这和 EA 之前思考的问题非常不一样。以前的 EA 会问：捐给 charity A，可能救 10 个人；捐给 charity B，可能救 100 个人。你的挑战是弄清楚哪个是 10，哪个是 100。现在完全不一样了，因为你是在支持一项政策，它可能产生好的效果，也可能产生坏的效果。弄清楚效果好坏很复杂。

政策有直接效果，比如怎样影响公司的激励，也有 indirect effects。比如，一个很有钱的人公开花 5 亿美元支持某个政治议题，其他人可能会很不开心，觉得有个土豪在影响政治。于是大家可能会觉得 AI safety 是只有土豪才关心的议题，开始反对 AI safety。这至少是一个 man versus man 的问题。加拿大的学校里研究文学时，会说有些是 man versus nature，有些是 man versus man。man versus nature 是人与自然对抗；man versus man 是两个人直接对抗。man versus nature 更简单，man versus man 特别复杂，因为你对抗的挑战和你一样聪明，你的行动会产生非常复杂的效果。

所以我觉得 EA 的思想在 man versus nature 这类领域非常管用，但到了 man versus man，就复杂很多。

我觉得你刚才说得特别好。你说的“只有土豪在关注 AI safety”好像已经发生了。大家好像已经觉得，和 EA 有关的捐赠导致 AI safety 和 EA 的联系非常密切。互联网上也有很多反对 EA 的声音，因为很多 EA 相关组织和最近一些安全研究员从 OpenAI、Anthropic 离职的事情有很大关系。

对，这也是很多 EA 人做过的一个大错误。可能从 FTX 的事情开始，如果你骗了很多人的钱，又用这些钱支持一个政治议题，那很多人就会觉得这个政治议题也是骗钱的人在关注的。所以他们做的大规模政治活动有很多错误。

其他人怎么知道他们有没有犯错？一部分是了解问题本身，另一部分是了解人。大部分 EA 可能没有意识到 SBF 有问题，这也是一个 man versus nature 变成 man versus man 的例子。EA 变得更制度化、更政治化之后，以前的思维方式就更容易犯错误了。

现在 EA 已经分成很多复杂的部分。很多 Anthropic 的人长期关注 EA，Dustin Moskovitz、FLI 也都在这个圈子里。每一方都说自己和其他人不一样；有人觉得 Anthropic 不好，也有人觉得 Anthropic 一定是好的，所以整个情况变得很复杂。

我觉得这些大公司好像都在变化。如果归纳一下，感觉硅谷有几个大的派系：EA、理性主义，还有以 Andreessen Horowitz、a16z 为代表的 e/acc，也就是 AI 加速主义；另外还有你的 d/acc。

对。其实还有更多。我可能会说，第一是支持 Anthropic 的 EA，第二是离 Anthropic 更远的 EA，第三是 Pause AI。Pause AI 更 populist 一点，更愿意和主流人士合作，也更愿意直接说所有理性主义和 EA 都不好。第四是 e/acc，包括 Beff Jezos 和 a16z。

理性主义者现在的位置很有意思。他们有很多不同的思想，但也一直觉得自己和 EA 类似，同时又有很多重要区别。如果你看理性主义者的行为，会发现差距很大。

我从一开始的解释是，EA 更思考“能做什么、怎样做才对”；理性主义者的主要 motivation 是好奇心、思想。他们喜欢思考有意思的话题，也喜欢更公平地思考。我觉得理性主义者从一开始就更喜欢玩。EA 非常严肃、认真：“我们在救人的命，不能玩。我们有自己的工作，是拯救世界的战士。”

但理性主义者不是这样。比如 Yudkowsky 写过一本书叫 HPMOR，也就是《哈利·波特与理性之道》。那本书可以说是 fan fiction，也可以说是《哈利·波特》的 parody。它假设如果哈利·波特是一个理性主义者，会怎样看待《哈利·波特》的世界。我觉得那本书很好玩。知道 Scott Alexander 的人可能少一些，他也写过一本叫《Unsong》的书，同样很好玩。Yudkowsky 还写了很多受 anime 启发的小说。

上个月有 Aella 举办活动引发的风波。有些 EA 对 Aella 和 Lightcone 这些人很不满意，觉得：“你们办这个活动很 controversial，对我们的 reputation 不好。为什么非要这么做？AI safety 难道不比你们想做的其他事情更重要吗？”

但我一直觉得，理性主义者最终不愿意接受这种说法。他们不会为了自己的 reputation 而接受某些话题、某些行为是被禁止的。他们更喜欢 be yourself。我觉得他们心里认为，人应该忠于自己的内心。如果你喜欢做这件事，而且不直接伤害其他人，那你就应该去做。别人因此被冒犯，那是他们的问题。所以理性主义者不太愿意在思考和行为上讲究策略，他们会更直接：我觉得 X 有意思，那我就研究 X。

EA 的人更会想，应该说什么才能得到最多支持、降低风险。他们确实会特别努力地优化自己的 public perception，但有时候也会产生难以预测的后果。人在判断真假时，大部分人更喜欢 genuine；如果一个人明显在隐藏自己的想法，人们可能就不喜欢他。这可能也是为什么有些人喜欢川普，却不喜欢民主党。

我还注意到，我们刚才说的几股派系里，EA 真正把钱和机构运转起来了；理性主义者好像没有拿很多钱。e/acc 背后有 VC 支持。如果我们把理性主义也看作一股力量、一个运动，它没有机构，能走多远呢？

可能走不太远。理性主义者在心里就是猫。

Cat？

对，把他们放进一个机构里，他们就会不开心，会觉得不自由。

确实，我觉得 Vitalik 在精神上更像是理性主义者，而不是 EA。你做的很多事情也很理性主义，比如你最近在写小说。

对。

你在写什么小说？

科幻小说，非常推荐大家去看，叫《Snow Moon》。

哇。

刚刚听下来，我感觉这是我听过的对理性主义者最 nice 的评价。Yudkowsky 八年级就退学了，相当于一个小孩在家里思考，最后想出一套宏大的世界观：AI 有一天会成为凌驾于人类之上的智能。他拿到 Peter Thiel 的钱，写了这本《哈利·波特》的 fan fiction，可能有 60 万字。他所做的一切，从我们的角度来看都很奇怪，但他确实影响了一批人。

我接触过的很多理性主义者，都需要花很长时间才能理解他们到底在想什么、为什么要做那些事情。

刚刚你提到有支持 Anthropic 的 EA，也有反对 Anthropic 的 EA。这两类人的观点有什么不一样？能展开讲讲吗？

支持 Anthropic 的人会说，AI 很危险，但不做 AI 是不可能的，因为世界上有很多不同的团队、公司和国家。所以唯一的办法是，让一个有好人的公司赢。因为这家公司赢了以后，至少会有更好的原则，在最需要的时候也会投入更多精力把 AI 做好。

你也可以从很多方面说 Anthropic 比 OpenAI 好。看看这些公司公开做的事情，看看 OpenAI 的内部 drama、核心人物的思想是什么样的。至少应该让关心人类的人所在的公司，去做最强大的 AI；那就是 Anthropic 的人。他们也会说，Anthropic 确实做了很多安全相关研究，其中一位联合创始人 Chris Olah 就是一个例子。

我和 Chris Olah 有个有意思的故事。我们在多伦多读过一所很小的私立学校，叫 The Abelard School，全校一共 45 个人，每个年级大概 11 个人。我上九年级时，他上十一年级。他给我介绍了很多计算机科学和数学。我开始用 Linux、开始特别支持开源，一个原因就是他。

这是一所私立高中，对吧？

对，是私立高中。我觉得至少 Anthropic 的联合创始人真的是好人。

反对 Anthropic 的观点，第一是 incentives，激励仍然很强。一个人可能一开始觉得自己特别好，但如果把他放进一个更危险、竞争更激烈的环境，他很容易开始找理由，认为对自己有利的事情就是对的。不管 Anthropic 是不是更好，他们还是加快了 AI 的发展速度。现在有这么大的 AI race，一个很大的原因就是他们。

我最近听到一个有意思的说法：OpenAI 其实愿意让 AI 发展得慢一点。2024、2025 年，他们没有把所有资源都放在做更好的 frontier models 上，而是开始做 Sora 这样的 video model，也做了更多其他东西。但今年年初 Mythos 出来之前，我们都会觉得 GPT 是最强的，默认都在用 GPT。后来他们推出 Mythos，或者给我们 Fable 之后，大家真的有一种感觉：天命传到他们那里了。大家开始觉得 Anthropic 更强，可能会赢，于是很多人开始用 Claude。

那时候 OpenAI 也开始关闭很多 side projects、加速发展、更加专注于做很强的模型。所以 Anthropic 有可能帮助 AI race 加速了；这个效果也可能超过他们所有安全相关工作的效果。

这是理性主义者和 EA 对 Anthropic 的批评：一个理性主义者或者 AI 研究者会说，Anthropic 做的事情有问题。即使他们觉得自己做得更安全、更好，他们还是参加这场竞赛；他们的参与仍然加速了 AI race、增加了风险。

还有另一个角度，是普通人对 Anthropic 的批评。Anthropic 的 safety philosophy 有点像：“我们是好的，你们不好，所以我们应该有权力，你们不应该有权力。”很多人都是这么思考安全的，比如独裁者也会这么思考。但如果我们不同意呢？谁来决定？

他们的安全策略里，第一点就是我刚才说的：他们还是参与这场竞赛。如果他们真的比 OpenAI、中国的 AI 公司更好，那这可能是好主意。但世界上有很多人有不同观点。上周我看到一篇好像是 DeepSeek 的人写的文章，说他觉得做开源 AI 非常重要，也说 Anthropic 赢了会是一个希特勒级别的坏情况。

如果一家公司能说“我们应该赢，因为我们好，你们都不好”，为什么其他人不能这么说？他们今年也开始反对开源，开源 AI 更危险，因为没有人控制。但现在按照我的理解，最危险的攻击还是通过 GPT 和 Claude 做的。

你可以听他们每个论点，听起来都有可能有道理。如果你同意他们的前提，就会同意他们的结论。但你也会发现，他们做的事情和公司利益之间的相关性可能高于 90%。他们真的是为了安全，还是利用安全和 EA 掩盖自己的动机？我也不想说是 profit motive，因为如果你真的相信 AI，利润可能不重要；他们大概都觉得，真正的问题是谁会控制未来世界。

他们公开说的论点很美好，但他们做的事情和提高自己权力的事情相关性高于 90%，我们应该注意这一点。普通人对 Anthropic 的批评大概就是这样。比如 Pause AI 的人也会这么说。很多人不太相信 Anthropic，觉得公司里的人都是 EA，思维方式很奇怪。一个人有奇怪的思维方式没关系，但他们明显希望自己控制世界上最强大的 AI。如果你不是 EA，为什么要相信他们？我觉得他们现在还没有给出很好的答案。

我也在想，这是不是这几家 AI 公司刚成立时就刻在基因里的问题。最开始 OpenAI 成立时也是非营利组织，我觉得它的成立和 AI 安全有关。《纽约时报》有篇文章写到，OpenAI 早期 Greg Brockman 会每天带员工读 Yudkowsky 在 LessWrong 上的文章。

后来 Sam Altman 被踢出 OpenAI，是一个标志性事件。当时 OpenAI 非营利组织里的 EA 力量，算是暂时取得了胜利；但他之后回归，可能又是 EA 和 e/acc 之间的一次抗衡，最后 e/acc 阶段性胜利了。从组织架构由非营利转向公司，到 Sam Altman 被踢出去又回来，再到现在大家对 AI 安全的讨论，这些问题可能从一开始就存在于公司的基因和价值观里。

对，这是对 OpenAI 一个很主流的批评。我以前说过，他们一开始是 OpenAI，后来为了安全牺牲了 openness，再后来为了加速牺牲了 safety。大概确实是这么发生的。

他们可能在 2020 年左右开始说 GPT-3 太危险，不能开源，因为他们重视安全。一开始他们承诺做一些安全项目、更谨慎地做事，但他们最后没有做很多承诺过的事情，包括一些对政府组织做出的承诺，因为那些事情不方便他们继续发展。

你觉得你提出的 d/acc 是一个替代性的解决方案吗？

我可以先介绍一下 d/acc 的概念，大概是 defensive 和 decentralized，或者 democratizing acceleration。它有三点。第一是 acceleration，技术发展很重要。第二是 defensive，我们需要投入更多能力做保护我们的技术。比如现在有 AI 黑客攻击系统的风险，所以需要把很多资源投进网络安全；未来 AI 会不会让危险病毒更容易出现，我们现在就可以多做一些抗病毒的事情。

第三是 democratizing 或者 decentralized，也就是我们做的事情都不集中权力，而是赋能普通人。这也包括开源和其他原则。其实 defensive 和 democratizing 也很相关。

比如欧洲的地形。欧洲中心地区，像瑞士和其他地方，有很多山，国家小，更容易有很多独立的城市；每个国家也会尊重各地区的自治。但你往东走 2,000 公里，那里几乎没有山，河也很少。如果有人骑马，可以骑 1,000 公里，完全没有问题。这样的地区更容易出现一个大国，由一个独裁者控制，专制就变成默认状态。

如果没有 decentralized defense，没有瑞士和欧洲那些山，唯一可能的结果就是 centralized defense，由一个组织控制一切。这是一个类比。接下来的问题是，我们怎样让世界里有更多 decentralized defense？这就需要研究数字安全、生物安全，尤其是疫情防范。

在疫情防范领域，有 d/acc 的方法，也有完全不做 d/acc 的方法。我发现很多 AI 组织会把 80% 的资源放到一个问题上：怎样让 AI 模型不帮助人制造更强大的病毒。他们希望在 AI 模型里解决这个问题。但这是 centralized defense，因为如果其他国家的人有自己的模型，他们可能不会用你的技术，风险还是存在。

还有一点，我跟很多研究抗病毒的人聊过。他们现在担心的并不是科幻里的超级病毒，而是短期更可能出现的普通病毒。如果是这样，你们对 AI 的限制也不会有多大作用。如果 decentralized defense 完全不可能，那也许 centralized defense 是唯一办法。但 centralized defense 更 fragile，因为它更依赖你对谁会做最强模型、危险是什么样的这些假设完全正确。

所以 decentralized defense 的做法，比如应对病毒，就是做更好的检测、更好的过滤器、更快的疫苗，能够更快发现每一种新病毒，一发现就更快开始研发疫苗。这些事情更像公共卫生，不像一个纯粹的电脑问题。可能很多人不容易想到这个方向，因为它需要他们不具备的专业知识。但我觉得一边的方案更可能成功，另一边则要求你控制世界上的每一个 AI 才能成功。

我特别喜欢你这个说法。我对 AI 安全最大的一个问题就是，不论是媒体放大的说法，还是安全研究员在 X 上推崇的说法，好像都在考虑长期影响。但现实生活中，我们已经看到了很多短期影响，比如 deepfake，甚至网络安全问题。

所以我希望今天的播客能落脚到普通人到底应该怎样思考 AI 安全。我知道 Afra 最近也有一些想法上的变化。

现在整个 AI 领域遇到了很多认识论上的问题，这些问题在逻辑上都很难应对。现在的状况感觉像进入了一个幼儿园，里面有一群哇哇大哭的小孩，但房间里没有大人，因为很多研究员也不知道到底是什么情况。

与此同时，巨量资金仍然投入到各种数据中心建设当中。按照现在数据中心的建设速度，涌现效应只会越来越多。这也回应了之前人们的想法：AI 的能力不会一直提高，低垂的果子总会摘完。但现在感觉 AI 的果子数量是无穷无尽的。

我自己最困惑、也有点害怕的地方是，现在 AI 的发展有一个很严重的认识论问题：研究员不能用人话，也不能用数学方法解释 AI 到底有多强、到底想干什么。这让我比较忧心忡忡。最近的民调也显示，美国很多普通民众开始对这个话题感到恐惧，包括 Bernie，以及华盛顿的一些政客，也开始加入 Pause AI 的行列。

与此同时，美国当下的政治现实是，AI 民粹主义非常严重。所谓的 AI 民粹主义，就是认为人工智能不是某种中立技术，而是被科技界亿万富翁掌控的精英技术，其目的就是集中权力、取代普通人和劳动者。人们对 AI 又有这样一种恐慌，再加上 AI 末日论的言论，以及 Jacob Coxon 的吹哨，我觉得现在是一个很奇怪的现象。

对，因为我更想听的是：作为普通人，你希望大家从这场 AI safety 辩论中得到什么 takeaway？

现在关于世界和技术发展的最重要事实，还是有很多不确定性。第一，AI 会发展得多快？第二，一年、5 年、25 年后，人在哪些领域还能比 AI 做得更好？第三，安全问题能不能解决？第四，OpenAI 和 Anthropic 会不会还是最强大的 AI 公司，还是情况会改变，比如 Google 会不会成为第一，或者中国的 AI 公司会不会赶上来？

还有很多不确定性，包括 AI 更像一个工具，还是更像一个人，还是更像别的东西。我同意现在的 AI 已经不是一个简单的工具，但一年后、三年后，我们和 AI 会有什么样的互动？如果 AI 不是完全自动的，我们会在什么情况下干预它？我们会怎样引导它做事？这些都不确定。

我一直不愿意说自己的预测是 99%，也不愿意说是 1% 或者 0%，因为真的有很多可能发生的事情。比如 4 年前，我们不知道 AI 发展的下一个阶段会不会通过 chain-of-thought 实现。现在还有一个问题，叫 neuralese。现在 AI 思考时还是用英文，所以你可以研究它是怎么思考的。我喜欢用开源模型，其中一个原因就是可以看到它们的思考过程；看这些思考时，你也能了解很多、学到很多。

但 neuralese 的概念是，如果 AI 不用英文思考，而是开始用只有它自己理解的、数百万个数字来思考，我们理解它思想的能力会降低很多。但会降低多少，我们也不知道。一年后我们会有很多 parallel agents，还是只有一个 agent？AI safety 的策略会怎样变化？

我觉得 AI safety 可能不像一个工程问题，更像一个政治设计问题。比如现在的政府架构怎么设计：有不同的部分，也有 checks and balances，每个部分的目标都是限制其他部分犯很大的错误；有很多不同的人互相沟通的地方，但也有些情况，人们不应该互相沟通，或者不应该有太多关系。有些部分更慢，有些部分更快。我们用一些很聪明、但不完美的组成部分，也就是人，来组成一个更稳定的机器。

安全的 AI 不一定会有一个数学家喜欢的、目标设置正确的完美方案。也有可能我们会用 3 种不同的方法来设置目标，再设计一种机制让它们互相限制风险，也能知道什么时候应该再问用户到底想要什么。

AI 安全可能会朝这个方向发展。但如果是这样，它就会变成一个非常 empirical 的话题：你需要和现在存在的 AI 合作，了解它们，和它们一起做事，知道它们在什么情况下会成功、在什么情况下会犯错误。AI safety 会变得没那么理论化，而是和我们已经在用 AI 做的事情有关。

但这也只是其中一种可能。最近 10 年，AI 发展的速度和方向都有很多意外。我觉得现在不能过于确定地说一定会这样、一定不会那样，保持开放的心态还是最重要的。

好，谢谢大家。感谢大家。谢谢。拜拜。拜拜。

拜拜。

聊到这里，我们再回头看“有效利他主义”这个名字，就会发现当初那个朴素的问题其实一直都在：怎样用有限的钱和时间帮助更多的人？

我在大学期间也接触过学校里的 EA 社群。和 Afra 说的一样，我接触到的 EA 参与者都是一群心怀理想、坚持实践的人。不过，对于如何把原则落实到现实中、具体实践应该怎么做，甚至什么才是我们必须关心的议题，我们都产生过很多争执。在 AI 社群内部，关于究竟该做什么，也像嘉宾说的一样，一直没有完整的共识。

或许，当 EA 关心的对象从眼前需要帮助的人，延伸到尚未出生的世代，甚至未来可能出现的智能，判断什么是有效就必定变得越来越困难。对我们来说，理解 EA 也是为了更具体地理解今天的 AI：谁在决定它的发展方向？谁在定义哪些风险值得关注？当有人以全人类的未来为名做出选择时，其他人有没有参与、质疑和纠正这些选择的机会？

这些问题会随着 AI 的发展，越来越直接地影响我们的生活。希望这期和 Vitalik、Afra 的对话，能给大家一些继续思考和讨论的线索。那么以上就是我们这期播客的全部内容了。国内的听众可以通过小宇宙、苹果播客、网易云音乐、喜马拉雅、QQ音乐、蜻蜓FM、荔枝FM来关注我们。海外的听众可以通过苹果播客和 Spotify，或者在 YouTube 上搜索硅谷101播客来关注我们。我们部分的文字稿还会收录在硅谷101的微信公众号上。谢谢大家的收听，那我们下次再见啦。