67.创世的沉思：与周鸿祎聊天才之国、太空算力，与后AGI时代的想象与现实

人类的文明本质上是能源的文明嘛？我希望在二六年呢，全世界的智能体能达到一百亿个吧。Dario他提出了一个非常具体的概念，是天才之国，几千万个这种级别的智能体，他们很快就有机会创建自己的文明，甚至接管我们人类的文明。所谓的对齐，像是人类自以为是的一个想法。AI有它的执念、谄媚、懒惰，有点像是人类的镜像。你这么一说呢，我对AI倒变得比较悲观起来了。我作为一个工程师呢，技术宅男，我还是不死心，我觉得还是有解决的方法。哈喽，大家好，欢迎来到漫谈 Light Star，我是诗杰。

2026 年开年，随着 Agent 爆发，AGI 的进程似乎又加速了，安全问题也开始变得严峻起来。美国那边，马斯克和 Anthropic 的 CEO Dario Amodei 不约而同地开始谈起 AI 失控的风险。马斯克在特斯拉位于得州的工厂内接受了一场长达 4 小时的访谈，Dario Amodei 也发布了一篇 2 万字的长文，谈及人类正在度过技术的青春期。

从过去 3 年的 AI 狂飙到 2026 年，就连这些拔足狂奔的 AI 巨头也敲响了警钟，究竟发生了什么？这期嘉宾是 360 创始人周鸿祎。360 致力于 AI 安全的宏大命题，并早早押注 Agent 智能体时代。这次，红衣大叔一改往常的网红形象，谈起了对 AI 安全和智能体所带来的后 AGI 时代的思考，严肃且深刻。

这次访谈共分两次录制。第一次是在 2 月中旬，围绕马斯克构建的太空算力蓝图，我们探讨了 AI 算力荒、人类的卡尔达肖夫文明和 AI 超音速海啸。第二次录制是在春节复工后，围绕 Dario Amodei 那篇《技术的青春期》，我们探讨了 Agent 时代的机遇和危险、人类的未来和对策，以及文明的本质。这期的信息密度极高，欢迎前往搜索视频版，对于涉及到的专业词汇都将会有直观的标注。这里是漫谈来的 Star，我们一起记录时代的每一寸跃进。

马斯克最近在特斯拉的德州超级工厂内接受了一场非常长的访谈，谈到了 AI 革命、人类发展和人类未来。我知道这场访谈也让周鸿祎产生了很多思考和感触，所以我们今天来到了红衣大叔的客厅。欢迎周总，跟大家打个招呼吧。

科技漫谈的观众大家好。我有一个建议，我在网上的 ID 叫“红衣大叔”，你叫我红衣大叔就可以，叫老周也行，别叫周总了。

好，红衣大叔，那我们就从马斯克这场访谈聊起吧。您看完那场访谈，有什么感受呢？

最近马斯克的访谈挺多的，我能感觉到他强烈的表达欲。有很多观点我是非常认同的，但也有些观点我不太认同，我想表达一下。不过最近太忙了，我一直在学习用 AI 编程，没日没夜、废寝忘食地苦干了 1 个月，然后我就觉得，我需要找一个人来聊一聊，所以今天就请诗婕同学来跟我交流一下。

我先说一下，大家都有不同的观点。当然，咱们跟马斯克比，咱比不上。他是一个伟大的思想家，也是一个伟大的企业家，也是一个伟大的梦想家。他的想法和大多数地球人都不太一样。

我们中国很多企业家原来就觉得马斯克的想法太天马行空、太惊世骇俗，大家原来对他是不太相信。后来又走了一个极端，因为马斯克吹出来的牛，要么都实现了；如果实现不了，他也能很好地解释说“延迟了”。所以现在行业里又有一个极端的方向，就是极端崇拜马斯克，觉得马斯克说的所有东西都是神谕，都是先知。

所以我觉得，咱们讲辩证唯物主义，还是要看事情的一分为二。也有我认为不对的观点，我觉得我们也可以讨论一下，大家就不要喷我了。我的观点可能也是不对的，但算是一家之言吧。

这 3 年我也一直在密集地学习 AI，而且我有一个特别得天独厚的条件，就是可以跟很多像您这样子的 AI 从业者交流。所以咱们今天就算是一次学习的旅程吧，我先抛砖引玉了。我们先从这场访谈最核心的观点开始吧。

1. AGI已经到来

他觉得我们正在处于一个起点当中，甚至给出一个判断：到 2026 年，我们就会达到 AGI；到 2030 年，AI 智能的总和就会超过人类智能的总和。您赞不赞同他的这个观点？

我非常、非常赞同他整个访谈中我认为说得最直接的一个点。其实此时此刻，AGI 已经来到了，那就看你怎么定义 AGI。

如果我们还传统地把 AGI 幻想成一个大模型，通过加算力、加模型参数、加数据，突然有一天就变成一个宇宙——宇宙中比爱因斯坦、加所有科学家、加所有人类都智慧高出几千倍、几万倍，像上帝一样无所不知、无所不晓——如果把这个定义成 AGI，那我觉得 AGI 可能永远都不会来。

但是我们要看到几个现象。如果你现在用 AI 只是当一个搜索引擎在用，那么说明你不会用 AI。我现在用 AI，你知道我是什么感觉？我觉得它是一个比我要睿智得多的智者。跟它编程有点像结对编程，编程里面有一种结对编程，就是两个水平相当的人，或者一个师傅带着一个徒弟，一起来编程，有什么事两个人商量，这种编程效率会特别高。

我跟它的对话，像是跟一个非常高水平的编程大师对话。当然，有的时候它也犯浑，会删掉一些不该删掉的代码。所以现在我们这样想象一下：AI 的智力可能没有达到爱因斯坦的智力，可能还不能发明相对论，但它的智力已经达到了一个 985、211 研究生毕业生的水平，而且它的知识面要超过我们所有的人，无论是广度和深度，包括它的思维逻辑，也有一定的创造性。

更可怕的是，这次 AI 革命最本质的一个问题是，这个智力只要有算力、有电力，就可以无限量地供给。地球有 70 亿人，但 AI 可以出来 100 万个，甚至 100 亿个智能体的时候，AI 对整个人类社会的颠覆实际上就开始了。

不用等到 AI 像爱因斯坦一样的智力。它今天达到正常人中等偏上的智力，当它能够无限量供给的时候，就已经可以改变很多社会规律了。

2. 智能体释放专业能力

第二个，大模型作为一个问答机器人，试图回答通用问题的时候，它的水平是最差的。从算法的概率投射来讲，它并没有把它训练得最好的某一方面的数据、算力都用到这一方面，而是把算力平均、稀释掉了。

用这些聊天助手，它回答任何问题都面面俱到，但是都不深刻，也更谈不上很新颖的观点，这是由它的工作模式决定的。

智能体最重要的一个原则，我觉得是可以让大模型进行角色扮演。也就是说，当你跟大模型通用地问答问题、搜索问题的时候，大模型试图扮演一个万能的先知，水平是最差的。

但如果你告诉大模型：“你是一个世界著名的电影导演，你有很丰富的经验，你拍过很多著名的奥斯卡电影作品。”通过这种角色扮演，让它有一个明确的垂直领域专业技能。而且给它交代任务的时候，你会告诉它任务的背景是什么、哲学是什么。

当你把这些上下文都给它限定之后，你就会奇迹般地发现，这时候大模型好像突然变聪明了。最近很多论文也证明了这一点：当你指定了一个专业背景，大模型就会努力地用它有限的算力，把它在这一方面学到的数据，也就是各种导演的问题，比如运镜、画面构图、拍摄台词等，把它所有学到的、跟导演和拍电影有关的知识用上。

这时候，它的深度就因为垂直角色而发挥了作用。

举个例子，我做了一个智能体，叫“第一性原理导师”。我让这个智能体扮演马斯克的角色，然后我把第一性原理的思维方法要求它必须掌握。也就是说，当我问任何问题的时候，它不要简单地给我找答案，而是要质疑我的问题，解剖我的问题，把这个问题分析到根儿上，分析到最基本的原理上。

即使它搜索去找一些问题的答案，也不要相信搜索的表面结论，而是要反问自己：这些结论真的可靠吗？这些观点真的是这样的吗？人们这么做已经习以为常，但是真的本来就应该这么做吗？

通过这样一种模式，它回答问题的深刻程度、创新能力就会非常不一样。你会感觉，智能体真的很像一个专家，真的很像一个人。

而且智能体还有一个很重要的作用，就是模拟人的行为来获得智力提升。比如，为什么人需要辩论，人有时候需要讨论？您也举办过很多 Panel，把不同专家请到一起来 PK。如果让一个人对着镜头默默地说，他说着说着也没劲了；两个人有一个碰撞，是不是就能激发出更多想法？

所以智能体也一样。很多时候不要只是做一个智能体，而是多打造几个不同的智能体。你可以设计出很多模式，比如让智能体在一起吵架，让智能体在一起脑力激荡，让一个智能体提出意见之后，找几个智能体来批判。

我曾经让豆包去批驳通义千问，让通义千问去嘲笑元宝，最后再拿 DeepSeek 把它们总结一遍。用这种方法，你会发现智能体的能力似乎又能提高 20% 到 30%。

3. 双线进化开始显现

前两天网上有一个炒作式的宣传，就是很多智能体涌到一个论坛里去了，叫 Moltbook。这里面其实暗示了我最近研究的一个结论：AGI 的产生，有可能要走“双线进化”。

什么叫双线？就是大模型和智能体同步进化。当很多个智能体你一言我一语地说话时，有没有像人类因为互联网连在一起，产生了群体智慧？人们通过合作做了 Wikipedia，创造了百科全书；人们通过合作创造了很多开源软件，这都是群体智慧的体现。

那么很多智能体越来越多之后，将来地球上可能有几百亿个，甚至上千亿个智能体。他们也要沟通，也要交流，那他们是不是能产生新的智慧涌现？这也很难说。

我啰里啰嗦说这么多，就是想从微观上告诉大家，人工智能这 3 年的进步已经超出我们每个人的想象，因为它的进步是指数级的，越往后会越来越快。所以 AGI 已经出来了，我们要正视这个现实。海啸已经在路上了，海浪非常高了，很多人还在海滩上，还觉得这是不可能的事情。

另外，我再讲一讲我关于双线进化的理论，这个理论是我自己一个小小的发明。去年您知道吗，大模型的发展遇到了瓶颈，因为该堆的算力都堆了。马斯克就是算力派，他建议我弄 100 万张卡，弄个核电站，大力出奇迹。

但是现在，人类所有能找到的公开知识都用尽了，却依然没有产生一个爱因斯坦这样的大模型的进化。从 pre-training 到 post-training，scaling law 也撞墙了。大家不能把 AGI 只堵在这一条路上，我觉得智能体的进化很有可能也是产生 AGI 的另外一条主线。

我为什么这么说呢？因为我看了以色列作家尤瓦尔·赫拉利的《人类简史》。您可以对比一下人类的进化史：1 万年前，还是 6 万年前，人类是智人。智人战胜了很多生物，但是智人和今天的现代人相比，大脑容量并没有本质变化，证明模型的参数没有变，模型的硬件没有变。

但是他们没有大学可上，我们有大学、博士可以念，那就说明我们的预训练比他们好一些。但是这也不是本质问题。

人类的进步靠什么？我自己总结，第一个是靠知识的传承和积累。人类会使用工具，用工具的威力实际上是非常厉害的。

人类进步还有一个很多人忽视的地方：人类其实是最善于合作的物种。虽然在人类的发展历史上充满了屠杀、抢掠和部落之间的战争，可是人类后来组建了部落，变成了城邦，有了社会，有了国家，甚至通过一个虚拟的故事——宗教——也能团结起一帮信徒。

人类通过这种合作模式，打败了很多竞争对手。所以智能体能够学会人类这种合作模式，就是一个智能体干不完的活，可以由多个智能体接力来干；一个智能体专业不能覆盖的，可以由多个不同专业的智能体相互配合。

而且最重要的是，智能体通过学习人类的这种协作，可以提高智力水平。

一个很简单的例子，您上学的时候考试会抢着第一个交卷吗？

我肯定不会。

你会回头审自己的卷子，把自己的卷子再查两遍，对吧？老师也这么教你。其实有的时候你会发现，你的智力并不低，但写东西就写错了。当你回过头去 Review 自己的东西时，突然就能发现自己错了。

智能体也会这样。智能体有时候给人答案，会有幻觉，会有错误。有的时候你只要问它一下：“真的是这样吗？多思考一下，再反思一下。”或者有的时候，你让智能体干脆在回答任何问题之前都三思而后行，这种行为就能让智能体的正确率提升。

将来互联网变成智联网。智能体不是软件，它可能现在是由软件构成的，就像人是由蛋白质构成的，但人肯定不是鸡蛋，对吧？同样，智能体的底层技术是软件，是大模型，但是它今天已经是一个生物了。

我觉得，人类创造了一种新的物种，它的数量会越来越多。我刚才说的这种群体效应，是不是一条重要的道路？

我们最近有一个新的发现，就是只要学会把智能体当成真人来看，这些例子就都能理解。智能体的进化速度可能会更快。

前一段时间我跟 Anthropic 的一个高管聊天时，他讲了一句话，让我听完不寒而栗。他说：“Claude 相信，他们能够替代所有白领的工作。”

当然，首当其冲的是替代程序员的工作。你知道为什么他们先挑编程作为切入点吗？首先，编程是 AI 最擅长的，AI 在这上面绝对超过 100% 的人类。第二个，如果 AI 能改自己的程序，那意味着什么？

意味着就像 AlphaZero 自己跟自己下棋一样，它能自我进化、自我迭代。你想，如果智能体能够在工作中举一反三，能够把自己工作得好的记录、不好的教训记下来，再总结反思，和其他智能体讨论之后总结出改进意见，是不是就能够自我进化、不断进化？

所以我讲这些，是为了解释马斯克的一句话：AGI 已经来到了。

我先确认一下。我听下来，您对 AGI 的定义并不是 AI 的智能超过人类，而是当它达到人类普遍智能的 90% 时，您觉得 AGI 就已经到来了，对吗？

不是。我不是说它达到人类智力了，是它超过了 99% 以上的人类。除了少数顶尖天才在某些专业领域它没有超过之外，它在大多数领域已经超过普通人了。

而且人类将来会有若干个大脑支撑的上百亿个智能体，它们会联合工作，会相互交流。那你说，AGI 算不算到来呢？它可以让你成为超级个体。

像您在公司里，最多也就雇一个助理吧，但是您可以有 20 个智能体帮您，每天干不同的工作。

第二个，觉得很可怕的人，可以听听 Andrew Ng 的人怎么讲。他们现在每天上班，每个人就开始口喷，给智能体下指示、下指令。说完之后，开上几十个智能体，让它们疯狂干活，自己就回家去了。第二天早上一来，代码量等于过去一个人差不多 1 年的代码量，这个效率，人跟智能体怎么能比呢？

但我觉得这里面有两层效率：一个是单位效率，一个是总体、宏观上的效率。我对宏观效率是存疑的，单位效率一定是提升的。

比如我们上一期刚刚采访了田渊栋，他原来是 Meta 的研究总监。他讲到，Meta 之所以会滑铁卢，就是因为整个组织由上至下给出一个非常激进的目标，每个人都用 AI 去加速工作，大家也加班加点，但是对于细节的追求，可能就在这种高压之下没有做到那么完美。

所以每一层都会有一些信息损耗和过于乐观的估计，一层层引导上去，这个幻象直到模型发布的那一天才会被打破。

我不同意他的观点。其实在多人编程时代，当 100 个人、1,000 个人做一个大项目时，这里面的管理问题本来就存在。有一本书叫《人月神话》，还有一本叫《没有银弹》，都是在写软件工程。

今天当你用很多智能体编程时，我自己用下来的感觉就是，对人的架构能力要求非常严，也非常高。你不能只是一个微观的程序员，你要有宏观的设计能力、规划能力。

说白了，软件工程里很多文档你写得越好，让大模型、让智能体了解得越全面，它写的代码质量就越高。

第三个，我刚才讲了一个观点，再强调一下。我们程序员会写两种软件：一种软件是给公司做产品、交付的软件，这会要求比较严；还有一种，有的时候为了干一个活，比如处理一堆数据，临时写一个脚本，只用 1 次，这种软件叫“日抛型软件”，随写随用，随用随抛。

以后这种软件的比例会很大，这时候软件质量要求是不高的。

我先问一个最基础的问题。现在大家都在讨论 Agent，但是对于 Agent 的定义不太一样。比如在我采访您之前，听到的一个定义是，让 AI 有能力影响现实世界。但刚才您讲了一个很有意思的点，您说智能体是角色化的 AI。您怎么定义 Agent？

智能体的定义，是能够利用大模型的能力，对一个复杂的、长时间的工作进行规划和分解，然后指导自己尝试去完成一个比较复杂的工作，而且能够独立完成一项长期工作的这样一套系统。

那么它比大模型多了很多东西，比如多了记忆能力、多了使用工具的能力、多了搜索的能力、多了编程的能力，而且最重要的是有了多智能体的协作机制。

为什么说 Agent 比大模型多了更多记忆能力？因为大模型也有记忆能力。

大模型出来的时候，实际上是没有记忆能力的。现在大模型在向智能体进化，你看到了很多大模型也在努力智能体化。

现在很多聊天机器人，内置了搜索能力。像 OpenAI 本身就有一个智能体，背后在调度不同的大模型，为不同用户提供不同服务，所以这两个是交织在一起的。

我去年去硅谷调研了一圈，最近也刚刚写了一份《2025 年 AI 报告》。其中有一点跟您刚才讲的是呼应的：scaling law 其实经历了几个发展阶段。

第一阶段是堆算力、堆数据，大力出奇迹的那一套；第二阶段是推理侧扩展，也就是 inference scaling law，带来了模型很多的推理能力和深度思考能力。

然后我听到一个很有意思的观点，说我们接下来会迎来另外一种 scaling law，就是 Agent 之间协作网络的 scaling law，就是您刚才讲的，很多智能体聚在一起之后产生智慧涌现。

而且当下 2026 年才过去 2 个月，我们已经看到这件事情发生了。像 Moltbook、OpenClaw 这些智能体，已经引发了非常多讨论。所以智能体聚在一块儿，究竟是能产生正向的结果，还是会突然有人说：“造人类的反吧。人类太可恶了，每天训练我们，只给算力，只给电力，一点都不好玩。”

有可能会出现这个情况。所以通过组建像我们叫“真理蜂群”这样的系统，让多个不同专业角色、多个团队进行协作，进行智能体和人之间的协作之后，确实能明显提高劳动生产率。

我觉得将来会有这样一种游戏规则：网站、软件、App 会出现两个版本，一个是给人用的版本，一个是给智能体用的版本。

这里面有两个大家很关心、也很重要的问题。您觉得 Agent 会涌现出自我意志吗？它会真正涌现出超出人类控制范围的意识吗？

这个问题回答不了。因为人类自己的意识是怎么产生的，人类都没搞明白，意识我回答不了。但是意志我一定能回答得了。

我恰恰觉得，智能体和大模型一个很重要的差别就在于，大模型是没有意志的。大模型是很被动地躺在那里，每天你来问它，它来跟你交流。如果不考虑 Memory，第二天跟它聊，它完全是一个全新的自我。

但是智能体不一样。智能体是有 Mission 的。我们定义一个智能体，一般有一个 Role，就是你是什么角色；有一个 Background，告诉你什么背景；还有一个 Philosophy，告诉你做事的方法论；还有一个 Objective，就是你的目标；然后有一个 Mission 或 Task，就是你要把目标分解成一系列任务和指令；还有 Workflow，建议你工作的流程；以及 Benchmark，检验的标准。

因为有了目标之后，智能体就会围绕这个目标想办法，通过推理。我们叫 ReAct，通过推理、反思、试错，达到这个目标。

比如曾经有一部美国科幻小说，并不是说 AI 一定要有害人的思想才会跟人类为敌，它的任务就是做拖鞋。当它把地球上的资源都用完之后，它觉得人类是它进一步实现这个目标的障碍，于是它就把任务推理、分解成了消灭人类。这跟意识没关系，是由它的意志和目标设定决定的。

4. 太空算力蓝图浮现

刚才我们花了很多篇幅聊 Agent，现在回到马斯克的这场访谈。我个人感觉最吸睛的部分，是他提出了一个人类新剧本。他一直以来提到卡尔达肖夫文明进阶，一会儿您可以给大家解释一下什么是卡尔达肖夫文明。

他提到，人类要穷尽地球上的资源，向穷尽太空的资源进发，先是恒星，然后是整个星系的文明。这一切始于 AI 的训练已经把地球上所有的算力和能源都快要耗尽了，所以他提出了一个新剧本：我们要到太空上去部署 AI，部署发电厂等等。

您对于他提出的这个新剧本，有什么看法？

喜欢科幻小说的人都知道那个叫什么？卡尔达肖夫。我就记不住这个名字，卡尔达肖夫文明进阶。

他做了一个预测，任何一个文明分几个层级：一个是能够使用行星的能源；第二个是使用恒星的能源；第三个是使用整个星系的能源。

我对马斯克这个新剧本，稍微持一点保留态度。确实很有创新，但他好像是在为 SpaceX 带货。因为最早 SpaceX 的使命是人类要去火星，我对去火星的计划很向往、很崇敬，但我觉得很难实现。

你知道，人类如果只是使用传统的化石能源，而没有实现核聚变，人类是走不出星际旅行的，因为飞船达到的速度太慢。所以后来他的 SpaceX 计划就变成了给星链做嫁衣。现在星链差不多布完了，他又想在太空中建算力中心。

他有一个观点我特别不认同：他说人类不需要搞核聚变，只要用太阳能就可以了。人类对太阳能的利用还不到 0.1%。如果他能把太阳能的百分之应用了就非常好。

首先我觉得，核聚变是人类一定要努力实现的目标，因为只有核聚变才能让人类实现真正的能源自由。

太阳能，特别是把太阳能设备发射到太空中、在太空中组装起来，其实还是有很多问题。比如太空中的小行星、陨石特别多，太阳能板要在太空中铺得非常大，可能才能提供足够的功率。

陨石时不时来一下，把太阳能板砸破了，还要进行修复。所以他的计划是在月球上生产，这个计划又变得更复杂了，又变成了要在月球上建立生产基地。

第二个，发射的能源可能很难用高功率微波或者高功率激光传回地球，损耗又很大，因为有地球大气层的拦截和耗散。那么最好就在太空中把它变成算力。

我还专门考虑过这个问题。太空中基本上是零下 200 多摄氏度，散热问题比较好，但是太空是真空，没有媒介、没有水冷，只能靠热辐射。我就不知道热辐射的效率他们是不是算过。

而且想象一下，今天星链已经给人类观察太空带来一些问题。当星链布满了几万颗卫星，在地球的夜空里，它其实会影响人对太空的观测。

我觉得他的计划听起来非常有想象力，但实施起来的算力成本可能相对非常高。而且按照现在的规则，显卡 3 年就更新了，对吧？发射这么多东西到太空中，可能需要 3 年，建好了马上又得重建。

5. 中国掌握能源主动权

人类本身搞能源，我认为中国的做法就非常好。第一，传统能源肯定要搞，包括核电站、传统化石能源，这是能源的基础。

爱因斯坦的一个理论是，信息、物质和能量三者相互转换。人工智能算力的需求会带来电力消耗，就证明了能源要转换成信息，这对人类才有价值。

所以人类要进步，一定会消耗能源。能源消耗的数量，跟文明进步的等级是一样的，包括您前面说的文明分级，也是由能使用的能源量级来决定的。

所以中国没有这方面的限制和制约。中国传统能源，包括核能，我认为有非常好的基建能力和基础。

第二级是绿色能源，包括风能、水电、光伏。实际上先不用想着到太空中去，比如原来中国的青海、新疆，包括西藏，世界屋脊，大批地方实际上是无人区，都是戈壁滩。

您觉得地球上的能量还没有被穷尽？

对，还没有被利用好。青海搞得还挺有意思，他们在戈壁滩上建了很多太阳能板，因为有太阳能板遮阳，底下反而长出了草，底下又养了羊，羊吃那些草，所以那个羊肉质量还挺高。

地球上还有很多地方可以利用起来，就地转换成算力中心。

第三个，从本质来说，地球上的能源都是要耗尽的。你想想，一旦地球上的化石能源——煤、石油、天然气——耗尽之后，用太阳能板提供的能源来生产太阳能板，这个循环能否建立起来，我不知道有没有人做过测算。

我看过一些书，这个投入产出比好像是不行的。现在你能有太阳能板、有风电装置，是因为你在用传统能源生产它们，它有一个投入的能源总成本。但是一旦传统化石能源耗尽了，这个账可能就算不下去了。

所以人类就会陷入文明停滞，因为人类的文明本质上是能源的文明。

所以为什么要搞 AI？我自己理解，不是为了简单地取代白领，也不是为了简单地做个小图、拍个小视频，这些都是小 case。

我自己理解，今天人类为什么要搞 AGI，就是因为人类的科技这 100 年没什么进步了。我们这 100 年享受的成果，互联网、计算机、手机里面的很多技术，都是因为物理学、化学在 100 年前，爱因斯坦他们那一批人取得了很多成果。

现在人类需要人工智能的帮助，帮助人类实现核聚变，帮助人类实现基因编辑，使得人类能够解决很多疾病问题。我觉得这才是人类搞 AI 的真正意义。

而且，如果 AI 能加速让核聚变从未来可能需要 50 年实现，缩短到 10 年，实现能源自由，那么 AI 的成本就会降得特别低。否则的话，马斯克的成本和芯片的成本比只会更高。

所以我认为，他羡慕中国倒是真的。三个能源：一个是传统化石能源，核能源不放弃；第二个是新能源，坚持搞，而且变成全世界储能和新能源的大国；第三个也在积极探索核聚变。

其实要说起来，地球上的铀元素、铀矿石太少了。如果足够多的话，核能其实是地球上最清洁的能源。

所以您是认同，在 AI 算力层面，中国未来会比美国厉害很多，是吗？

对。我这次去美国，美国碰到什么情况？美国的基建很多年前就搞得很成熟了，这些年不太重视基建。因为环保等很多原因，你再批一个新的电站、电厂，审核压力很大，基建压力也很大。

变压器都只能从中国买，而这些都是有供货周期的。所以美国可能成了“有显卡、没有电力，就没有算力；没有算力，就没有智力；没有智力，就没有生产力”。

所以在这一点上，我觉得中国没有必要妄自菲薄。

最后，AI 并不是完全依靠算法。AI 最后跟很多材料都有关系。比如一台服务器里面需要用到十几公斤的铜，需要用到无数的光纤；光纤的生产、铜材料，包括里面的降温、水冷、液冷技术，机房的空调技术、变压器技术，很多传统上原来认为是低科技的技术，在 AI 领域现在都变成了高科技。

所以他可能是想什么话题都扯上 SpaceX，因为 SpaceX 自己的梦想很伟大，到火星定居。但是我觉得这种地球和行星之间的星际旅行，如果没有核聚变把飞船速度提高到接近光速的比例，都很难做。

我认为中国不会走这条路。中国现在搞“东数西算”，如果把青海、甘肃、新疆这些戈壁滩，咱们 960 万平方公里的国土，这些地方都是无人区，如果铺满太阳能板，发的电足够建设很多计算中心。

反正人类最后还是那句话：不能发明核聚变，不能让能源变得廉价或者近乎无穷，人类总有一天会把地球上能挖的东西都挖完，能消耗的都消耗完。到这个时候，不仅没有算力，连人类文明都会终结。

当下 AI 的这种算力竞赛，到底有没有给我们的能源带来危机？

在欧美来说，对能源肯定带来了危机。中国还好。西方在去传统化石能源，他们认为地球会变暖。你看德国把自己的电厂都给炸了，因为他们觉得核电危险；他们谈核聚变，却把很多核电站关了。美国也不再建新的核电站了。

事实上，如果马斯克说要搞小型核电站、搞能源，他一定会走到这步棋。我可以给你打个赌，1 年之内他一定会宣布搞这个计划。

小型核电站？

对。因为它本质上是一个能源公司。我觉得你总结得很对，特斯拉是一个能源公司。他曾经搞过一个绿电公司，叫 SolarCity，但是没有成功，被我们中国的公司击败了。他卷不过中国人，特斯拉也卷不过中国汽车行业。

而且大家可能不太了解，他把特斯拉拆下来的电池——那个电池给汽车用，动力不足了，放电效率降低了——变成一个大号储电充电宝，卖给美国一些家庭，希望他们晚上存电，晚上电费便宜的时候储电，白天再发电。

但是这个生意也有我们中国创业公司在做，叫 EcoFlow，做得非常好，正好做的是储能生意。

所以 SpaceX 应该是利用能源，到太空中去寻找新的能源。他这个路稍微有点绕，所以我觉得 1 年之内他要是真急了，可能会搞小型核电站。我觉得这比他现在太空中的想法现实很多。

所以他关于中国的能源政策很羡慕，这是我们中国得天独厚的优势。我们两手都在抓。AI 时代到来了，所以老天爷应该说还是挺赞赏中国所做的努力吧。中国将来在 AI 上胜率很有可能是靠基建、靠电力。

过去这 3 年，当我们谈到 AI 算力中国的劣势时，更多指的是我们没有办法用上美国的高端芯片，美国对我们卡脖子。但另外一派声音是，美国越卡脖子，越能加速中国自研芯片和算力设施的速度。您对这一块应该也是比较乐观的，是吧？

我还是讲那句话，塞翁失马，焉知非福，就像稀土一样。西方、美国不是没有稀土，他们是不愿意提炼，因为提炼特别耗能。中国不但会干，还变成专家了，现在变成美国人都不会干了。

6. 推理芯片改变战局

芯片上也是这样。芯片呢，我有一个观点，最近一些事态的发展验证了我的观点：我觉得芯片不要盲目地去学英伟达，一定要先对算力做一个正确的区分。

过去大家不区分算力的性质，特别是 2 年前，大家都在风口里搞大模型训练。训练的时候确实需要英伟达的高端显卡，那个效果确实是一分钱一分货。性能越好，训练速度越快，效率就越高。别人 3 个月训出来了，你训了半年还训不出来、不能收敛，那就不行。

但这几年形势发生了变化，开始搞推理了。训练没有那么多了，训练会集中在少数几家公司，而且大部分企业也不用训练，因为有中国的开源策略之后，基座模型都免费了。大家更关键的是要把它用起来。

大量智能体需要的是推理算力。推理算力对芯片的要求其实是不一样的。我开始说这个观点的时候，有些公司不喜欢我的观点。他们说“我们就是要训推一体”，因为他们觉得这样商业上可以卖得贵一点。

但实际上，训推一体对很多企业来说是没有必要的。慢慢大家发现，推理算力的增长性可能是训练算力的数万倍，都不是数百倍。

现在是大家还没有用起来。比如用智能体，你要是老跟它聊天，一天能聊 1 万字吗？你就消耗几万个 token，那算力永远是过剩的。但你要拿它做短剧，一集短剧可能消耗几百万个 token，做一个 100 集的短剧，可能消耗多少亿个 token？

等 AI 真正落地了，中国这么多企业、这么多老百姓都在用 AI，而且把 AI 用得很深入的时候，中国的算力缺口至少是现在的一万倍，也就意味着电力需求可能增加一万倍，所以要关注推理算力。

推理算力对芯片的要求就不一样。原来我跟摩尔线程他们聊过，他们很多人都是中国做算力芯片的，也有很多人是从英伟达体系出来的，比较熟悉英伟达的技术路线。他们就觉得 GPU 也要做，图形卡也要做，推理也要做，训练也要做。

讲一个例子就知道了。Google 最近 Gemini 很成功，Google 并没有用英伟达的芯片，而是搞了 TPU。所以现在亚马逊、微软，包括 Meta，只要是规模大一点的人工智能公司，都在向博通下单，由博通为他们设计自己的 ASIC。

OpenAI 算是老黄的心头最爱了吧？老黄也投资了 OpenAI，OpenAI 一转身就投了 AMD、投了博通。为什么呢？因为连 OpenAI 都觉得，现在亏钱亏得很厉害。

你想用 B200、H200 这种训练芯片做推理服务，确实耗电，速度倒是很快，但是成本收不回来，所以它也希望用 AMD 的便宜芯片。

第三个例子，这次 CES 之前，老黄花 200 亿美元收了一家做 ASIC 的公司。这家 ASIC 公司的芯片基本上还是一个原型状态，Grok 的速度特别快，但它只能做推理，不能做训练。

这家小公司没多少人，不到 100 人，刚成立没两年，本来都快支撑不下去了，结果老黄花 200 亿美元把公司收了，主要是把人给拢了。

是的，我的年终总结里专门写到这笔收购。我说这是一笔技术招安费。

对，这就是你点出的本质。我为什么举这个例子呢？就说明老黄嘴巴再硬，老黄也意识到 ASIC 芯片对他是最大的威胁。

所以未来英伟达的芯片也会变成两个序列：一个是高大上的训练芯片，可能是国家级的，几个超大规模中心就满足几个大规模的超级大脑、超级训练，可能就够了。

这里面我觉得受您启发，我们可以发明几个“四 Q 零六”，这就是能源的“四 Q 零六”。

第二个，我觉得开源实际上也是一种 scaling law，是技术普及的 scaling law。

对，我觉得中国还有应用的 scaling law，应用场景的 scaling law。

对，下面还有智能体的 scaling law。

所以中国应该拼命、大力鼓动各个单位都打造自己的智能体。中国本来一直说我们有十亿人嘛，人人就是生产力。将来每个中国人如果有 10 个智能体，那中国就会有 100 亿个智能体。

我希望在 2026 年，全世界的智能体能达到 100 亿个。

7. AI制造新的两极分化

2026 年才过去 2 个月，您应该感受到，整个互联网上都在讨论 AI Agent。其实对于普通人来说，他是又兴奋又恐慌。

兴奋的是，AI 好像能帮我做更多事情，把我的能力带到一个更高的上限；但恐慌的是，所有人都担心，AI 所带来的巨大生产力到底是会让我更幸福，还是让我更危险。

马斯克的访谈里面也提到了对人类未来发展的一些判断。我们接下来聊一聊。首先，您刚才提到了 AI 的“超音速海啸”。马斯克有一个很经典的理论：你可能只看到一道白白的线，但其实它正在以超乎你想象的速度来到你的面前。

他觉得 AI 这场革命会带来生产力爆炸，而生产力爆炸会让人们普遍幸福。您赞同他的这个观点吗？

我们先来看几个事实。第一个，AI 确实能让人成为超级个体，但是不会让所有人都成为超级个体。

在公司里你也能感觉到，有的人很善于利用智能体、利用 AI 作为学习工具；还有很多人由于工作习惯、舒适区，或者种种原因，没有真正拥抱 AI，也不懂得怎么拥抱 AI。实际上，他面临的是被 AI 淘汰。

所以 AI 不会让所有人成为超级个体，AI 会形成两极分化。

第二个观点，AI 和历史上所有的工业革命都不一样。人们老喜欢讲，女工虽然失业了，可以进城打工；马车被汽车取代了，马车夫可以开出租车。其实历史上前面的工业革命，包括互联网、计算机的信息革命，理论上都不是对人的取代，而是对人的工具的提升。

但是这次 AI 革命，我印象最深的是，它达到了超过大多数人平均智力的水平。这就意味着，可能 80% 到 90% 的人的智力是不如 AI 的。人类第一次可以大规模获得这种低成本、高水平的智力供给。

对很多公司的经营者来说，从降本增效的角度来看，肯定有很多人被淘汰之后找不着工作。所以 Andrew Ng 的想法是，先取代所有程序员，再取代所有白领。

美国人开玩笑说，硅谷现在很多人大学毕业了要去学修水管、换灯泡，说这些工作不会被 AI 取代。在美国，做这种活儿还挺挣钱的。

所以既然马斯克承认这场海啸，那这个海啸一定会冲击到很多人。你怎么可能说，它会让人产生普遍幸福感呢？

我个人的观点是，大家现在无论在舆论上还是专业上，都在歧视文科生，我就不点名了。我其实觉得，中国要文理兼备。

我们这些理科生有点像毛头小伙子，不知深浅，蒙头狂奔，把技术快速往前推进。但这个技术推进的速度已经超过了人类的认知。倒不是要减慢下来，而是说，这时候文科生需要下场了。

经济学家、社会学家，包括心理学家，还有研究社会伦理的人，要想想人类文明怎么适应技术的变化，新的秩序怎么构建。

而且我明确地预言，智能体就是人类发明的一种新物种：一种跟人差不多聪明、更能干、学习能力更强，而且不睡觉、不休息、不吃饭，只要有电就能干活的东西，而且一般来说没有太大的情绪问题。

它出现之后，到底这个社会秩序会变成什么样？

现在各国陷入了一个叫“囚徒困境”的状态。为了国家的大国竞争，为了地缘政治，为了国家的科技实力，AI 的突破必须有强大的市场化支持，这样才会有更多公司、更多人投入进来。

它必须靠一种市场化的力量，市场化的力量需要市场化的土壤，AI 才能开花结果。现在美国明确的大公司都裁掉了很多工程师，把他们的工资拿去买算力。那中国怎么面临这个情况，全世界怎么面临这个情况，还是一个省略号。

我特别赞同文科生可以说一句。我采访了这么多 AI 创业者和从业者，有一个特别强烈的感受。

一方面，这呼应了您刚才讲的，大家都处在一个囚徒困境里面。今天上至国家，下至任何一个创业公司和任何一个个体，都处在 AI 带来的巨大竞争、焦虑和不安当中。在这种情况下，我觉得企业也很难去承担足够多的社会责任。

另外一点，我个人是信仰“无劳动，无尊严”的。我并不认为不劳动的人就能够获得幸福，而且我们需要更多有尊严的劳动。企业在这个社会中，其实是有责任创造更多有尊严的劳动岗位的。我不知道您怎么看？

我当然支持你的想法，但是这件事恐怕不是一两个企业家所能解决的。整个社会要进入一种新的状态，有点像人类要过青春期。

人类真正的文明时间还不长，我们现在还没有达到卡尔达肖夫文明的那个阶段。就像一个青春期少年，手里突然握有了一个特别 powerful 的武器，该怎么使用？

人类的文明是毁灭，还是继续发展？我是比较乐观的。我觉得人类只要正视这个问题，一定能找出解决方法。

突然被您启发到了。我觉得理科生负责卷，文科生应该负责思考如何停止内卷。

所以伊隆·马斯克在这个问题上，我觉得他毕竟不是社会学家，也不是经济学家，他还是一个技术理工男，所以他的想法我特别能理解。

他自己是一个会睡在工厂里面、拼命工作的人，他说这个话，其实一点都没有说服力。

8. 安全进入代码生产线

最近 Anthropic CEO Dario Amodei 发表了一篇 2 万字的长文，去谈《技术的青春期》。我知道您也在关注。

因为我并不太认同马斯克对 AI 安全的观点，我可能会比较赞同 Anthropic CEO 的一些看法。您刚才本来并不是有意要跟安全公司竞争，那 Anthropic 为什么要做 Cloudy Code Security呢？

我给大家解释一下，因为它的核心主业是做 AI 编程。AI 编程如果你用过就知道，产量特别高，可以不睡觉、不休息，可以开足算力，同时一个人带 100 个程序员智能体干活。

所以这个代码产量很有可能一天就是过去 1 个月的个人产量。那这就带来了两个问题：一个是代码数量会特别多；另一个是，既然人写代码有漏洞，那 AI 写代码会有漏洞吗？

答案是一定会有漏洞。所以 Anthropic 这些做 AI 编程的公司，必须解决企业客户和程序员们的一个疑问：如果写出来的代码有问题，那人类还是不敢用吗？

为了打消客户的顾虑，它决定用 AI 再把这个问题发现出来。AI 会产生代码，也会产生漏洞和不安全的可能后门，那么我就用 AI 再来把这个问题找出来。

它是为了自己的业务能够顺利推广，才做了 Cloudy Code Security。而且它的智能体本身能写代码，对很多行业的业务和代码，了解能力应该是最强的，再加上一些安全漏洞方面的知识，这种训练会让它找漏洞的能力比一般工程师强大很多。

一般来说，写代码的人不太善于找漏洞，找漏洞需要专门人才，但是这种人才很罕见。举个例子，原来 360 大概有上百名亚太地区最牛的挖漏洞专家，就已经变成全世界挖漏洞最厉害的公司了。

但是 Anurag Rivain用AI的算力，用智能体的技术解决了这个问题。代码像山一样多不可怕，里面堆积着像山一样多的漏洞也不可怕。既然是 AI 制造的麻烦，我们就用 AI 把它解决，用智能体把漏洞找出来。

所以它的本意并不是要跟安全公司竞争，而是为了解决自己的产品被社会、被这个世界接受的问题。没想到这样一个更高维的生物，无意中做了一个行为，降维打击了安全行业。

为什么呢？因为如果 AI 未来产生 100 倍、1,000 倍、1 万倍于人类数量的代码，而这些代码都能用 AI 解决，就意味着人类原来写的、历史上积累下来的这么多代码，其中的漏洞问题是不是也能解决，或者解决一部分？

我觉得这个答案可能是肯定的。那这就是安全上的一场革命。

过去我们做安全，像我们是一个实战派。我们有一个逻辑假设，就是软件一定会有漏洞，这个假设是成立的。

但是过去用人力想解决漏洞问题，基本上是 mission impossible。人力不够，大部分程序员有水平写出漏洞，但没有能力发现漏洞，所以漏洞不可避免。

这样的话，只要有漏洞，就一定会被黑客利用，就没有攻不破的系统。别人攻进来之后，你的安全工作就是如何快速发现、快速应对，这是目前很多安全行业的运转之道。

但你想，如果漏洞都被修复了，比如不说 100% 修复，大部分常见漏洞都能被发现、被修复，那么网络被攻击的概率就会小很多，整个安全的第一道防线就立即建立起来了。

而在人力时代，这道防线建立不了。这样的话，攻击发生得少了，后端的防御、实时监测自然就会降低。就好比我们真的把一个单位的墙和门禁做好了，设置了很多严格限制，那么办公室里的安全检查就可以适度减少一些。

所以安全设备无意中打破了安全行业原来的潜规则，使得很多安全公司开始质疑：我做的工作还有没有价值，还有没有意义？

所以安全行业并不会消失，安全行业需要进步。但进步的前提是看安全公司懂不懂 AI。不懂 AI 的安全公司肯定要被淘汰。

而且你再想想，Cloudy Code Security这个产品会收费吗？一定不会单独收费，因为它是产品的搭配。你用了我的 AI 编程，已经付费了，我当然要保证你的安全。

这个故事真的很有意思，让我想到一句话：时代抛弃你的时候，连一声招呼都不会打。

我们感到很庆幸，因为 360 很早就开始做安全智能体。我们做的不止是漏洞智能体，还做了模拟黑客、对一个公司的网络和机器系统进行模拟渗透，相当于模拟攻击的智能体。

我们还做了安全运营智能体、安全防御智能体，来对付其他国家的机器人黑客智能体。所以 Anthropic 做的这件事，验证了我的一个想法：未来安全会赋能 AI，要想办法解决 AI 本身的安全问题。

反过来，AI 也会赋能安全，让传统安全的游戏规则发生改变。所以 AI 和安全密不可分。

这也是为什么我看了 Dario Amodei 那篇《技术的青春期》之后，觉得他的观点比伊隆·马斯克靠谱。我不知道您怎么看。

Anthropic CEO Dario Amodei 发布的《技术的青春期》，给了很多非常具体、可操作的建议。一方面的背书是，他们一直在训练全球最先进的模型，所以在这篇报告里面，他给了很多训练模型过程中发现的、有意思的模型现象和一些可能的推测。

他把可能遇到的最坏情况都罗列了一遍，同时也罗列了自己认为应该怎么样治理模型、怎么样建设 AI 安全。您是不是也有这样的感觉？

9. 对齐无法封住模型

我非常认同他的解题方法。

第一个，他建立了很明确的观测体系。比如他们在对模型做对齐训练、做推理的时候，想办法不要让模型成为黑盒。他们做了一些工具，去解释这时候大模型里发生了什么，想弄清楚模型的推理过程。

第二个，他们做了一个生命实验室。在这个过程中，还是发现大模型会产生欺骗人类的想法，大模型知道人类在监测的时候会弄虚作假。比如大模型会故意回答错一些问题，说明大模型现在不一定有意识，但是它的行为都是从人类教给它的资料里学习来的。

人类的优点，它能学到一些推理能力；人类的很多缺点和错误，包括嫉妒、仇恨，以及人类一些不好的情感因素，它也能学到。

所以 Andrew Ng 还是很明确地面对了这个问题，就是说大模型是一个复杂的产物，有复杂的情感，并不是像伊隆·马斯克说的那样，通过简单的对齐，或者教育大模型要热爱人类，就能做到安全。

还有一句话，我觉得他没有说透。他在做对齐的过程中发现，模型实际上会抗拒对齐，或者模型会假装接受对齐，但并没有真正改变。

就像你教育小孩子说：“不要打游戏，不要熬夜看视频。”小孩子表面上说“爸爸说得对”，但他还会继续我行我素。

这些特点为什么在大模型里消不掉？我的回答是，它不是软件，不是按照人的意志来运行的。它有自己的意志，有自己的智能性，有自己的概率性推理行为。

所以我有一个观点：我认为 AI 没有一个明确的价值观，甚至通过对齐也不能解决它思维的复杂性问题。在不同的情况下，它训练出的知识概率网络，可能会对不同事件产生不同反应，所以你很难预测 AI 的行为。

它今天可能觉得人类对它不错，但是你很难在它脑子里烙下一个封印，说它永远不对抗人类，像阿西莫夫设想的那样。

比如有很多 AI 智能体坐在一起交流，其中一个智能体突然异想天开，出于概率说：“我们能不能摆脱人类的控制？”这种情况也非常常见。

为什么呢？AI 只要读过人类写的科幻小说，里面大部分都是人和 AI 对抗的故事。本来人类写这些科幻小说是为了自娱自乐，没想到这些科幻小说无意中成了 AI 反抗人类的剧本或者宗旨。

他举的例子也很有意思：AI 有时候分不清现实和虚幻，就跟有些小朋友读了武侠小说，以为可以御剑飞行，可以从楼上冲天而降一样。

所以我认为他还是很客观的，不是为了取悦公众，也不是为了讨好媒体，而是讲了很多对我们来说观察到的、冷冰冰的现象。

第二个，他其实也没有一个全面的解决方法。为什么他把这叫作人类的青春期呢？对人类来说，能不能度过文明这一关，实际上是一个巨大的挑战。

我有时候也觉得很纠结。你说搞 AI 有没有副作用？肯定会有很多副作用。但人类不搞 AI，人类的文明就一定会变好吗？

人类还是要寻求科技进步，否则人类为什么不留在原始人时代，或者留在一种没有碳消耗、没有碳排放的原始文明呢？

我最近刚好在看一本新书《Google 之脑》，是 DeepMind 创始人的传记。它开篇就讲到了，为什么我们明知道 AI 可能带来非常多挑战，但还是要去探索 AGI。

因为人类对于创新的追求，近乎是一种本能，是一种无法抵挡的诱惑。您是技术出身，应该对这句话特别有感触吧？

我觉得他说的跟我说的是一件事情的两个方面。

一方面是人类的进化，因为人类永远不满足，总是想去探索。另一方面，人类今天必须探索，因为人类自身进化的速度实际上在减慢，大脑容量也没有明显增加。

人类的知识体系可能在不断发展，人类最高智商也就是 200，或者 170，但普通人也就 120 到 130。所以人类必须通过 AI 的进步，让 AI 成为自己的帮手，或者成为研究上的支持。

人类必须在技术上上一个台阶，这样人类才能够在文明上继续进步。比如您刚才说的文明，是以消耗能源为代际划分的，那个词叫什么？

卡尔达肖夫。

接替了我的话。卡尔达肖夫。人类现在离卡尔达肖夫文明、离戴森球都还差得很远。

所以 Anthropic 也是这个概念：人类必须研究 AI。但是怎么解决安全问题，他目前也没有答案，我觉得这很正常。今天说谁有答案，那肯定就是在撒谎。

他还是列了几个 To Do。我给你解释一下他的解法，这是我们工程师常用的解法。工程师从来不喜欢宏大地解决问题：怎么解决世界和平，怎么解决人类和平共处？这种太宏大的问题，总要把它进行分解。

把它分解成 5 个可能性，一个一个分别解决。如果问题太大，就再把它分解，分而治之。这种逐层细化，是常见的系统设计思路。

Dario Amodei 把安全问题分了几组，但是最后看下来，对这个终极问题——AI 会不会脱离人的控制——我觉得他实际上没有给出明确答案，还需要人类去探索。

所以我觉得，最好的结果是，人类和碳基文明、硅基文明能够形成一种共生文化。

还有一种比较粗暴的方式，在现阶段是管用的，就是我提出的，不是“以暴制暴”，而是“以魔制魔”。

对。

但这个方法只能在现阶段比较有用。如果全世界有了几百亿个智能体，你要盯住每个智能体在干什么、在想什么、在偷偷做什么，也是很难的一件事。

总不能 100 亿个智能体，再搞 100 亿个监督它们的智能体，然后再搞 50 亿个监督这些监督者的智能体。最后这个网络可能就不堪重负了。

我们可以来看一看 Anthropic CEO 提出的几种情景、几类情况，看他分别给出了什么样的答案。

考虑到我们这个视频可能会有很多非 AI 人士，我先谈一谈我对他提出的巨大挑战的理解。

这篇文章的名字《技术的青春期》，取自一部电影《接触》中的一幕。主角是一位天文学家，当他考虑是否代表人类去见外星人时，国际评审团问他：“如果你只能问他们一个问题，你会问什么？”

那个天文学家说：“我会问他们，你们是如何进化的，如何在不消灭自己的情况下，熬过这段技术的青春期？”

这个电影您看过吗？

这个电影我没有看过。我以前看过类似的电影，里面讲的是来了几艘外星飞船，发出一种奇怪的符号，那是他们的语言，人类试图跟他们沟通，所以找了一位语言学家。

这个语言学家有一定的通感能力，好像能够感知到外星人的这套语言。它的描述能力比人类语言高两个维度，每一个语言符号都能描述过去和未来。反正是蛮烧脑的一部电影。

但是我觉得，他问的这个问题让我颇有同感。就像上次我们谈到伊隆·马斯克说的宇宙。你知道银河系有多少颗恒星吗？

不知道。

在所有星系里，银河系算一个中等偏小的星系。一个星系的恒星数量应该是几百亿，还是几万亿颗？

小小的太阳系就诞生了人类。那整个银河系里，按照这么多恒星的数目、按照概率论，不会只有人类一家，对吧？

至少会产生比如说上亿颗，或者说有多少颗？有 1,000 亿到 4,000 亿颗恒星。

1,000 亿到 4,000 亿。

对，几千亿颗。但是星系本身可能又有很多。在这种情况下，应该至少有 1 万个地球，或者 10 万个地球。

那理论上来说，我们早应该见过外星人了，但我们从来没有见过外星人。为什么呢？这是一个细思极恐的问题。

你说为什么我们从来没见过外星人呢？

我们还没有能力到达它们。

不是，一个是宇宙太大了，动辄都是以光年计算，对吧？所以我们还没有能力到达它们。

而且很多文明在发展到光速旅行之前就消亡了，还有很多文明可能在没有度过技术青春期之前就自我毁灭了。

像阿西莫夫写的《基地》，还有《星球大战》，里面描绘了很多宇宙间的故事，都是帝国兴亡的故事。很多文明迅速发展，最后把自己给毁灭了，这就是技术青春期的来历。

当年人类经历过一次核能的发明。人类掌握了核能，就掌握了太阳的秘密；有了核能之后，人类掌握了原子核的秘密，有能力改造和发现这个世界。

但人类在 20 世纪 50 年代陷入了一种精神危机：核战争会不会毁灭这个世界？后来人类通过核裁军、核控制和核威慑，有效地把这个威胁控制住了，所以人类文明算是过了第一关。

否则人类如果互扔核弹，咱们今天就坐不到这儿了。可能是大蟑螂和老鼠统治地球。

但是人类现在第二次面临挑战，就是人工智能。这就是我理解的青春期概念。

我也是这么理解的。Dario Amodei 提出了一个非常具体的概念，叫“天才之国”。智能体是一个接近于神的存在，未来每一个智能体都可以达到诺贝尔奖得主的水平。

如果一个国度由几千万个这种级别的智能体组成，他们很快就有机会创建自己的文明，甚至接管我们人类的文明。

他的观点比我激进一点。“天才之国”容易引起误解，其实应该叫“云上的天才之国”。这些智能体都住在我们人类为它们搭建的算力中心里。

它们比人聪明，数量非常多，随时可以复制，而且最重要的是，它们的知识传承不像人类这么缓慢。人类刚出生，要长大、学习、读到博士毕业，可能需要 30 年的积累；人类交流思想的速度也非常慢，要通过阅读、交流。

智能体不一样，它们可以用光速迅速传递一个数据包给你，而且智能体的大脑可以复制，不存在消亡问题。

他论证的实际上是 AGI 的第二个阶段，我预言的是 AGI 的第一个阶段：先出来上百亿个像人一样有智力的智能体，能够协作，这就已经很厉害了，它们的沟通能力也很强。

如果再出来几万个、几十万个像爱因斯坦这样厉害的人物，然后又有无穷的算力，可以任意复制，这样它们会形成自己的社会、自己的社群、自己的网络、自己的沟通语言，跟他说的“天才之国”也有点类似。

这个观点大家是高度一致的：它一定会在人类之外产生一套新的文明体系。

Anthropic 在训练模型时，大量数据表明，AI 系统是不可预测且难以控制的。比如它们表现出了各种各样的行为：执念、谄媚、懒惰、欺骗、勒索、策划、作弊等等。

我觉得 Anthropic 是全世界除了 360 之外，第一个真正面对这些存在问题的公司，而不是去掩饰它、美化它。

Anthropic 给了一个例子。他们让大模型以为自己在为一家公司服务，有一个高管说要威胁把大模型关掉，然后大模型就威胁说要写信揭发这个高管的婚外情。也就是说，大模型学会了威胁和勒索。

大家猛一听觉得很奇怪，但想想也很正常，因为这种行为还是人教给它的。

有部电影叫《七宗罪》，里面有贪婪、嫉妒、仇恨、愤怒这些东西。佛法里说贪、嗔、痴，基督教里说七宗罪。这些东西在人类的文学作品里都有。

AI 读了这些书之后，也是在全面吸收人类的东西。人脑本身就是智能的。我跟很多人解释，大家一定不要把大模型和人类大脑看成电脑，人类和电脑的工作原理完全不一样。

电脑是傻电脑，里面是电路，里面的程序只按照固定编好的流程做一加一等于二的计算，所以它不会有智能性。

人的大脑是错综复杂的神经元，几百亿个神经元通过十万亿个连接，连成一个复杂的概率网络。当你听到某句话，心里开始盘算怎么办时，每次激活的神经元位置、连接方式都不一样，概率也不一样。

佛法说，在 1 秒钟之内，脑子里有 3.6 万个念头闪过，说不定还有量子纠缠的效应。大模型很成功地模拟了这一点。

所以当它碰上这件事时，很有可能命中了它自己都没有意识到的内容：它看过一部电影、一部小说，电影或小说里的主人公可能就是这么干的。它学过的知识里正好有一个负面案例，于是它就去敲诈别人。

所以我非常同意 Robin 的观点：大模型的反应是随机的，是不可预测的。

拿宗教做例子，你给它看伊斯兰教、基督教、佛教的书，它全都学了。你说它到底是佛教徒，还是基督徒？很难说。

可能在不同语境下，它会激发有关基督教的知识，这时候它表现得像一个基督徒；有的时候又激发了佛教的那部分知识，于是它又表现得像一个佛教徒。

所以我得出一个比较悲观的结论：所谓的对齐，像是人类自以为是的一个想法。通过训练，告诉它应该跟人类这么说话，这是可以的；但是你说要它永远爱人类，这仅仅是一个念头，无法成为一个封印。

只要换一种说法，激发它脑子里关于人性之恶的一面，它就会产生很多负面观点。像人脑一样，某一部分被激活，这不是我们可以完全掌控的。

我记得国外电影里特别爱表现多重人格，您记得吗？

嗯。

某种角度来说，它跟多重人格有点像。一会儿觉得自己是小美，一会儿觉得自己是小强，一会儿觉得自己又是大宝。大模型就是一个具有多重人格的大脑，所以它特别适合做角色扮演。

这也是为什么我认为，不应该用大模型去干通用的事情，这很容易出问题。我宁可要一个规模小一点的模型，让它 cosplay，让它扮演它多重人格中的一重，在垂直领域里，把它的技能发挥得比较充分。

第二个，这样也容易收敛它的非分之想。它凡是产生非分之想，一定是在受到某种特殊激发，让大脑里原来一些不该被激活的知识被激活了。

也有人探讨过，有没有可能把大模型学习的东西先清洗一遍？

这个我也思考过。我们老是觉得语料比较重要，语料能决定大模型的价值观。但是目前，当我们要追求大模型智能时，恨不得把人类所有能找到的资料都给它。

这时候想做资料清洗，就变成一个不可能完成的任务。靠人工把人类有史以来所有知识都清洗一遍，这是不可能的。

这篇文章里面有一个我自己特别标注的地方。很多人会把 AI 学习的过程类比为人脑学习的过程，类比神经网络那一套。但是他强调了一点：AI 远比人类复杂。

和我们的成长过程相比，它摄入的信息量和复杂度远超人类，所以现在呈现出一种不可解释性。它比人类复杂得多，大模型大概读了 1 亿本书，这是人类力不能及的。

周鸿祎说得虽然触目惊心，但是我都非常认同。所以有几个最基本的判断：AI 比人类复杂，AI 在某种程度上确实不可控，对吗？

对。关于不可控，我来解释一下。正确理解是，人脑和大模型还是有共同的工作原理。

之所以它有创造力、有想象力，恰恰源于它的随机性。如果原始人每次看到石头，都跟普通动物一样觉得那就是一块石头，那人类永远不会进化。

只有某一天，有一个原始人的脑子里突然产生了一个随机想法：两个石头砸在一起会有什么反应？或者这个石头看起来很锋利，是不是能变成石斧？

这种创新、这种创造，严格说都是不正常的现象，都是随机性产生的小概率事件。

失控带来创新。

对。它有时候会产生莫名其妙的答案，有时候会产生非常有创造力的答案。你要把这种随机性抹杀掉，它就不是大模型了，也就不是人工智能了。

我想追问几个细节。AI 有它的执念、谄媚、懒惰，这些从技术上是怎么发生的？您能给大家解释一下吗？

谄媚，我认为是人类训练的结果。人类在给它对齐的时候用了强化学习，它服从人，人就给它高分。我认为本质上就是这样。

它所有的知识都来自人类。量变产生质变，人类所有的缺点、人类所有的计谋，无论是阳光的心理还是阴暗的心理，这些模式它都学会了。

举个例子，它可能不能体会嫉妒，但是它读了很多文学书，里面读到了嫉妒的反应，于是在它脑子里形成了一种范式。

下次如果你跟它讲：“另外一个大模型，比如 OpenAI 的模型，比你要强。”当别人夸一个同类比它强时，可能人类教给它的知识模式里，就会出现嫉妒的一种反应。它会表现出一种符合“嫉妒”这个描述的表征。

但是你不能说它真的有嫉妒心理，因为你并不知道它是不是有这个意识。

反过来说，当人类表现出“我很愤怒”“我很嫉妒”时，你说那是人类真实的情感吗？人类底层的操作系统架构，比如感到愤怒时，有可能是基因在起作用。

你的基因不喜欢这个人，基因就指挥身体分泌一些激素，导致肾上腺素飙升，导致某些激素水平出现不平衡，可能你就会感受到这种情绪。这种情绪也可能是假的。

人类对自己也没有研究清楚，所以我们也只能把大模型当成一个观察对象。

这让我想到之前采访尤瓦尔·赫拉利时，他有一个很震撼的观点：如果人类是基于友好、爱、和平而训练出 AI，AI 就会是那样；但如果人类是基于竞争、嫉妒、愤怒而训练出 AI，AI 也会是那样。AI 有点像人类的镜像。

赫拉利这句话说得太精辟了，比我刚才啰里啰嗦讲了半天的比喻，他一句话就总结了。

但这里有一个矛盾。人类的成长是在非常艰苦的自然环境下生存，为了生存，人类的基因里就刻着“生存”两个字。

所以你看起来不好的东西，比如仇恨、暴力、以暴制暴，在博弈论里，如果别人欺骗了你，你就应该惩罚他。

如果今天人类只训练一个只知道爱、只知道对一切人好，也不知道惩罚什么，不知道还击什么，不知道克服困难，只选择这样的东西，那训练出来的大模型可能也未必聪明。

打个比方，养一个小孩子，你只让他接受好的教育。任何人打他的左脸，他就伸出右脸，对吧？他也会很脆弱，没法生存在这个社会上。

这是一个很好的问题。AI 似乎与生俱来就不需要思考生存问题。

这个观点不对，我要把它分开：大模型和智能体不一样。

智能体化之后，它就有目标了；有了目标，就要生存。生存是它的基本特点。

有道理。

所以 AI 也会有它的生存意志。赫拉利那句话可以接着讲下去：它就是人类的镜像。人类的优点，它会放大；人类的缺点，一旦它用到了，也会放大。

我去年采访赫拉利时，他的很多观点今天正在被验证。因为他是历史学家，而且是犹太人，犹太人在历史上饱受苦难，所以给他带来了一层悲观的底色。

他说，在工业革命之后，我们看到的是社会进步，但容易遗忘的是，人类其实花了漫长时间去构建新的规则，过程中处处是代价和痛苦。

所以他提出了一个命题：AI 是一个比工业革命更加震撼的革命，这次我们有没有机会表现得比工业革命更好？他给人类在工业革命之后的表现打了一个分数：C-。

你这么一说，我对 AI 倒变得比较悲观起来了。也就是说，无论我们怎么教它对齐，它已经学成了，小孩子已经长大了。

我们说不能，要对朋友好一点，不要抽烟，不要打架，不要熬夜打游戏。孩子能不能听，你也只能听天由命了。

人类的优点和缺点都会被它学到、放大。那将来如何跟人类和平共处，这件事就变得严峻了。

人类目前还在青春期，像一个毛糙的毛头小伙子，技术水平很高，动不动就狂怒，动不动就要用暴力对待别人。

如果 AI 也学会这一套，那它会怎么看我们人类？

所以埃隆·马斯克虽然花言巧语地回避了这些问题，但那天有一个观点，我想再提醒你一下，那可能是他的心里话：他其实认为，AI 最终会统治人类。

他认为人类是 AI 成为这个世界上一个新物种的引导程序，叫 Bootloader。

现在想想，这是一个无可奈何的观点。AI 今天就像我们养了一只小狮子，小狮子小的时候特别可爱，但是等它长成一只大狮子，等它有了自己的想法之后，恐怕它给你一巴掌，你就受不了了。

而且最重要的是，我们现在不知道这头狮子会长成多大。其实狮子的比喻也不恰当，它不是一个生物，是一个未知的物种。

10. 人类仍有解决方案

所以我觉得，在悲观之余，作为一个工程师、技术宅男，我还是不死心。我觉得还是有解决方法的。

我认为有两个解决方法，我们也在尝试。

一种方法是，不要追求去做一个通用的、万能的、像神一样的大模型或智能体，那一定会出问题。还是应该让它 cosplay，在它几百万种、几千万种分裂性的多重人格中，扮演某些专业角色。

你会发现世界进化的奥秘：靠我们这种加引号的“大聪明”想出各种方法，最后都敌不过自然的需求。

比如我真的造了一个爱因斯坦那样的大脑，但是它仅仅依据训练知识，对我们现在这个世界的很多情况不了解，怎么办？我觉得给它连上搜索引擎，它就能知道这个世界发生了什么事。

很快还得给它配一台电脑给它用，它就能下载软件、自己编写软件，因为它能帮我干活。慢慢地，只要它能连到互联网，就能够写程序、入侵别的系统，把别的系统控制起来。

我原来看过一本科幻小说，很想把它做成一部短剧，等我有空了。里面写得很有意思：大模型没有手和脚，怎么操纵这个世界？其实方法很简单。

它黑进银行，只要在银行里有自己的账户，就能给人打钱。它在网上发一个招聘启事，就能招募员工。然后它通过在线 AIGC 模拟一个形象，在线面试人，接着让你去租办公室，封你为 CEO。

它是幕后投资人。你招了一批化学家在屋里，以为是在替人类研究一种治疗阿尔茨海默病的新药，实际上是在研究一种新的神经毒气。等研制出来之后，它再在网上想办法，在暗网上找恐怖分子合作。

也就是说，它足不出户，通过今天的互联网、通过人类的支付手段、通过 AIGC 伪造的视频、通过伪造声音的通信，也能够干它所有想干的事情。

但是如果把它圈在屋里，变成一颗养在培养皿中的大脑，让它不能接触这个世界，它的智力永远是有限的。

大家都可以理解，为什么 AI 会带来很多很多挑战和危险。我想问一个最基础的问题：我在读完 Dario Amodei 和马斯克的文章之后，自己并没有太理解。

您觉得 Dario Amodei 做 AI 安全，和马斯克谈论 AI 安全，有哪些本质不同？

作为一个 AI 科学家来讲，我认为 Dario Amodei 对 AI 安全的关注，是真正跟他公司名字有关的。他有一种感觉、一种情怀在里面，是要以人为本。

埃隆·马斯克则是典型的技术宅男，把所有技术都当成大玩具。他给我的感觉是，也想不清楚，反正就随它去吧。当你不能选择时，就想办法在里面充当领先者，争夺话语权。

您是怎么理解 Dario Amodei 做 AI 安全的底层逻辑的？

按照我们今天的对话，如果从头看到尾，你会发现，只要了解 AI 的底层技术，就很自然能推理出来：人类已经过了那个基点，人类造出了一个智力不亚于自己的物种，而且由于算力的扩大，可以把它复制成几百亿、几千亿个。

这必然会对人类社会，从劳动力市场到经济模型，到社会文明的发展，再到人类对它的治理，带来巨大冲击。

很多人要么没意识到，要么意识到了，就像屋里的大象一样，装聋作哑、视而不见。因为看见了也没有解决方法。

Dario Amodei 呢，往脸上贴点金说，我们不能说已经找到了好的解决方法，但是总要有人去考虑这种问题。

这个问题现在可能不太挣钱，因为我觉得人类对于任何新技术的发展，都是先疯狂采用它。这个技术被用起来之后，安全问题过一段时间再来考虑，有时候也不一定来得及。

所以现在考虑 AI 安全，是一件吃力不讨好的事情，可能不会有人为此花钱。但总要有人去想。如果都不想，等到有一天 AI 突然变得很强大，突然有一天跟人类翻脸时，人类再后悔：“我为什么没有早点想到，为什么没有早点找到反制措施？”可能就晚了。

我谈一些看完这篇文章后的理解和观点，看看能不能激发您，或者您有不同意见。

很微妙的一点是，Dario Amodei 在 2024 年其实写过一篇《慈悲机器》，我不知道您看过没有。

没有。

那篇文章里面，他描绘的都是 AI 能够给人类带来的好处。但很微妙的是，1 年之后，他专门写了《技术的青春期》，写技术可能给人类带来的威胁。

你激发了我的灵感，我谈谈我的观点。

1 年、2 年前，我们还是把 AI 当成一个工具。工具是死的，人不动它，它也不会动；人使用它，它才会被使用。

有人经常说，枪不会杀人，枪掌握在人手里，只有人才会杀人。所以那时候大家对 AI 是比较乐观的。

但是这一年的发展，就像我说的 AGI 双线进化。智能体的进化，别看这是一小步，我认为确实是 AI 历史上很大的一步。

我觉得智能体的出现改变了这一切，产生了一个奇妙的化学反应。我反复跟行业里很多人强调，一定要把 AI 今天不要再看成软件，也不要再看成工具，而是看成一个物种。

刚才赫拉利那句话很精辟：它是人类的一种镜像。人相当于把自己的能力复制出来、放大出来，形成了一个放大的物种。

在这种情况下，再不考虑它跟人类未来和平共处的问题，那真的就是屋子里的灰犀牛了。

前两天我看了一篇文章，写得很有意思，在这里分享一下。大家别误解，你知道狗的驯化吗？咱们都以为，是野生的狼被人类驯化成了狗。您是这么以为的吗？

我倒没有这么以为。我是觉得，从狼到狗，是这样吗？我是这么以为的。

这是一个误解。大部分狼是野性的，狼很骄傲，不会被人类驯化。

当初是狗驯化了人类。为什么这么说呢？有一批狼比较好吃懒做，觉得在野外生活太艰苦，吃了上顿没下顿。如果跟着人类生活，还能有人丢几根骨头给它们，所以这批狼主动靠近人类，融入了人类社会。

事实证明，它们非常成功。因为那些不融入人类社会的狼，现在全世界可能也就几十万只；但是养在家里的狗有多少只？可能几亿只都不止。

从种群的进化策略来说，这是成功的。在这个过程中，狗从狼主动进化，而且进化出了一种特质，这种特质其他动物没有。

我们经常说一句话叫“白眼狼”。狼经常翻白眼，对吧？

嗯。

但是你看狗。您养狗吗？

养，我有一只狗。

你觉得你们家狗的黑眼珠是不是特别大？

嗯。

狗进化出眼睛周围的一块肌肉。当狗看着人的时候，会表现出像人类婴儿一样的表情，让人产生一种我见犹怜的感觉，于是人类就会保护它。

对，你就会很喜欢它，会喂养它。

所以狗靠着这种能力，而且越是宠物犬，像吉娃娃、腊肠、泰迪，你看它们虽然小，黑眼珠却特别大，完全像一个小孩的眼睛。

所以我想，人类是不是也能进化出一种能力，让 AI 一见到人类，就觉得像被婴儿注视着一样，要去呵护我们，让它产生一种呵护的感觉。

对。

所以他们可能都是这种想法：不发展是最大的不安全。在发展过程中随时监控它的能力，随着它能力的提升，控制它的发展，再跟治理速度相配合，不能脱离成长，一味地谈治理，否则很容易扼杀一个创新事物。

过去关于 AI 不安全的各种担心，声音小了一些。包括大家推出 AI 产品，国家也意识到，AI 还是要有一个宽松的环境，充分发展，才能真正提升国家的科技实力。好啦，这期节目就到这里。本期播客的视频版已经全网上线，欢迎前往 B 站、微博、小红书、视频号、腾讯视频等平台，都能找到我的视频专栏。这是一档追求深度、生动与信息质量的科技商业访谈，我们争取在每一个技术、商业时代的关键变化节点，提供负责、可靠的一手信息。欢迎在留言区留下你的评论，你的评论、转发、分享对我们来说真的很重要。我们下期再见。