程曼祺 Manqi Cheng
欢迎收听晚点聊，我是曼琪，这是 IAI 的第二期。这个系列会讨论 AI 和我们日常工作与生活的关系。这一期的嘉宾是 Meta GenAI 研究总监田渊栋，他既是 AI 研究者，自 2005 年开始探索智能和人工智能，最近十年他一直在 Meta 从事 AI 研发。田渊栋也有另一重职业生涯，做一名小说家，从博士生期间开始，他就陆陆续续地写小说，在 2021 年连载完了第一部长篇科幻小说《破晓之中》，这本书在 2024 年正式出版。《破晓之中》是写作于 ChatGPT 热潮之前的书，全部内容都是人写的，没有 AI，而书里的核心科幻概念和点子则体现了一个 AI 科学家的技术思维。田渊栋认为每个技术时代，工业时代、电气时代、信息时代、智能时代，都对应不同的科幻命题和故事，他就是想写出有 AI 内核的科幻。回头看，书里的一些核心设计预言了后来围绕算力与智能的攻防战，也讨论了当人类不再需要工作时可能会带来什么危机。这期我们会从《破晓之中》这本书开始聊，延展到田渊栋对未来 AI 技术、社会与人类命运的想象。因为这本书里的主角和英雄们是一群研究者，我们也由此聊了 AI 研究人员的生活与选择。最后田渊栋也分享了 2023 年之后他如何尝试在写作的工作流程里加入更多的 AI，AI 现在到底能帮他做什么，还不能做什么。由于本期是远程录制，所以音质有一些瑕疵，请听友见谅。本期中提到的《破晓之中》的续作《幽夜星火》正在网上连载，连载地址我贴在了 Show Notes 里的相关链接部分，感兴趣的朋友们可以阅读。下面我们就正式进入本期节目吧。今天很高兴邀请到 Meta GenAI 的田渊栋做客《晚点聊》。他的主要研究方向包括决策、强化学习算法设计等，曾领导 OpenGo 围棋项目。不过这期的主题比较特别，我们不是聊具体的 AI 研究，而是关于田老师的一项业余活动：科幻小说创作。
田老师去年正式出版了 2021 年连载完的一本科幻小说《破晓之中》。这本书中包含了一个 AI 研究者对未来世界的一些推演，所以今天我们想以这本书为线索，聊一聊未来的 AI 和我们的生活。田老师，你可以和我们的听友打个招呼，简单做一下自我介绍。
田渊栋
大家好，我叫田渊栋。我现在在 Meta GenAI 做总监，我们这边有一些团队在做推理、大模型推理方面的工作。我在 Meta 已经 10 多年了，一直在做人工智能方向的工作。
业余时间，我有一些比较特别的爱好，包括写科幻小说。我写小说已经很多年了，可能是从 2005 年到 2006 年开始接触网络小说，并且想方设法尝试自己写。一开始写得不是特别好，后来慢慢有了一些感悟，中间也陆陆续续写过一些小说。
这次这部小说是在 2020 年开始连载的，当然连载之前其实已经有大量存稿。当时这本小说一直有构思，也有一些片段，但我觉得，如果没有连载的压力，可能它永远不会完稿。所以在 2020 年疫情期间，有一天我就跟大家说要连载一部小说。这样一来就有了线上的压力，每天必须写出去一章。
通过这个方式，大概写了 3 到 4 个月，最终把这部小说连载完了。在这个比较紧张的过程中，其实有很多感悟，也学到了一些知识，获得了一些体验。
小说连载完之后，大概在 2022 年、2023 年的时候，电子工业出版社联系到我，对这部小说的出版有兴趣。当时我也比较惊讶，因为我放在网上写，本来就是写着玩的，连载是在知乎上进行的，其实也有不少评论。
后来我想，既然有出版社联系我，肯定是希望这部小说有一个圆满的结局，所以最后同意了。2024 年 6 月，这本书终于正式出版了。现在在豆瓣和微信读书上都有，豆瓣评分是 7.9，还算是挺不错的一个分数；微信读书上是 75%，也都还可以，属于值得一读的范围。
当然，它不是特别差，但肯定也不会特别好。不过作为我的一个业余爱好，能出版已经出乎我的意料之外了。我非常感谢广大读者对我的支持。
程曼祺 Manqi Cheng
你可以讲一讲《破晓之中》大概的故事情节吗？这样没有看过这本书的听友，也可以比较好地进入我们后面的讨论。
1. AI时代的科幻想象
田渊栋
这部小说的主题，是想做一些关于人工智能时代的科学幻想。大家都知道，每个时代都有自己的科学幻想。蒸汽时代，人们会幻想开着蒸汽机去很远的地方；到了电气时代或者机械时代，大家会想象《海底两万里》里的金属潜艇，潜到很深很深的地方，或者想象把一个巨大的金属桶发射到月球上去，然后在那里进行探索。
这些其实都反映了当时的科技生产力水平，以及与之对应的小说和科幻思维。人工智能时代出现之前，大家其实也对人工智能有很大的幻想。比如计算机刚出来的时候，很多人就已经开始设想：如果以后有机器比人更厉害、更聪明，那么这个社会会是什么样子？
这种幻想在 50 年、60 年前就已经出现了。1950 年代、1960 年代，曾经出现过第一波人工智能浪潮。那时候大家会觉得，用计算机的方式模拟人脑，能够达到人脑相当的水平，甚至比人脑更优秀，于是出现了大量机器人形象。
不过这些形象往往比较刻板，比如计算极其精确，却缺乏人类情感；或者认为机器人永远超越不了人类。到了 2020 年、2021 年、2022 年，ChatGPT 出现，我们再次卷入生成式人工智能的浪潮之后，再回头看 1950 年代、1960 年代的那些幻想，有时候会觉得它们其实比较偏颇。很多当时的设想，和现在并不一样。
我写这部小说的时候，生成式 AI 还没有真正出现。当时应该说是前一波深度学习浪潮刚刚过去，大家可能看到了一个平台期。那时候我们就在想，如果 AI 真的发展到很厉害的时候，会有什么样的故事出现。
这部小说也糅合了我在博士阶段的一些感悟和心得。当时我写过很多零碎的小心得、小文字，希望总有一天能够把这些东西写出来。所以这是一部风格比较杂糅的小说。
它融合了少年时期的心性：我是一个弱者，想慢慢逆风翻盘；也结合了一个中年人的想法：对于中年人来说，一个重要的问题是，我是不是应该躺平，在原地过完自己的一生，还是不甘寂寞，想做一些有趣的新事情。各种思维结合起来之后，就产生了这样一部小说。
整体故事情节其实比较老套，就是外星人入侵地球，然后人类怎么样战胜外星人。或者也不能说战胜外星人，至少要和它打得有来有回，最终获取自己应得的地位。
只不过在新的 AI 时代背景下，我们怎么样把这个故事演绎得更像是在经历新时代的 AI 浪潮之后，对这个世界有了新的认知。大概就是这样一个故事。
程曼祺 Manqi Cheng
我补充一下情节。刚才田老师讲了比较多他想表达的东西。大的框架就是银河联盟派来一个前哨，准备入侵地球。
它入侵地球的方式也很有 AI 的特点，不是像以前那样直接攻击地球，而是给地球人设置了一个诱惑：让很多人可以生活在一个虚拟世界里。
在这个虚拟世界中，人们衣食无忧，不会变老，也可以一直生活下去，不会死亡。现实生活中可能是残疾，或者有各种缺陷的人，到了虚拟世界里，也可以获得一个更完整、更健康的身体，触觉等感官都非常真实。
这相当于给了人类一种选择。于是人类分成两派：一类人进入虚拟世界生活；另一类人只能在地下苟延残喘。虽然外星人没有直接攻击地球本体，但它对太阳做了什么，导致地球的能源供给出现了问题。
最后，人类要怎么样和外星人战斗，获得应有的地位，这个战斗方式也非常 AI。不是像以前那样开着飞船去和外星人打，不完全是这样。
比较特别的是，故事里带领人类对抗外星人的主角，是一群博士生，也可以说是一群研究者、科研人员。这个设定来自田老师在博士阶段的经历和素材。素材本身有滞后性，可能 10 年前拿到的素材，最后才会用到故事里。
田渊栋
对，这就是为什么会有这样的设定。
2. 临界立方连接超级智能
程曼祺 Manqi Cheng
你刚才讲到一个我觉得很有意思的主题：每个不同的技术时代，其实都有不同的科学幻想。以前有蒸汽朋克，凡尔纳的《海底两万里》对应工业革命时代，而你想表达的是，AI 时代可能有怎样的科学幻想。
这本书里有很多设置，我看的时候能感觉出来，作者确实是做 AI 的。我也联想了一些东西，比如里面好像有强化学习。大家居住的虚拟世界有一个物理载体，叫“临界立方”。在这个系统里，大家会思考，能不能通过左右互搏，让立方体本身涌现出智能。
我还看到后面提到的对齐，这也是 2023 年 ChatGPT 火了之后，很多人讨论的话题。小说里，最开始捡到或者发现这个立方体的人类，想利用外星人的手段保存人类的火种，但他觉得其中必须内置人类的思维，否则这个立方体可能和人的价值观不一致。
这很像对齐的部分。书里还有一些计算相似性的设计，大家可以自己去看具体情节，我觉得有点像注意力机制。
你可以完整讲讲，哪些设计来自你对 AI 技术的思考，又是怎么把它们放进故事情节里的？
田渊栋
你看得很细，我作为作者非常感动。里面有一个设定，和最近 AI 的进展非常吻合，这也是让我很惊讶的一点。
我们写这本书的时候是 2020 年、2021 年。当时大家都在用英伟达的卡，但还没有人真的拿这些卡组成很大的集群，做很大规模的训练。我在书里写，承载每个人意识的“临界立方”其实是一个小的、抽象的东西，它可以影射英伟达的 GPU。
立方体之间是互联的。如果互联带宽足够大，把它们连接起来进行计算，就会产生超级智能。当时的设定就是这样。
但无独有偶，在 2023 年、2024 年之后，你会发现 GPU 之间确实可以通过英伟达的 NVLink 连接起来，而且速度非常快。有了这样的高速互联，训练才会有很大的提升。如果互联速度不够快，就会限制整个集群的训练速度，以及它能够达到的超级智能程度。
这和小说里银河联盟使用的方案是一样的。破解这个方案的方法，就是通过某种方式压缩两个立方体之间的通信带宽。也就是说，传输的数据可能只有这么多，但我可以通过某种方式把信息传过去，不损失信息本身，同时降低带宽需求。
小说里有一些角色，比如苏燕，通过某种方式解决了这个问题。现实世界里，广大研究者其实也在用类似的方式，绕过这样的限制。所以很多时候，研究思路和科幻思路是一致的，这件事很有意思。
程曼祺 Manqi Cheng
你在 2020 年开始写小说时，设定“临界立方”，心里想的就是英伟达的 GPU 吗？
田渊栋
肯定有关系。因为我觉得在 2020 年、2021 年，已经能看到对 GPU 的需求非常大。我们做深度学习，肯定需要 GPU，这没有任何问题。
当时也会想，怎么样把 GPU 连接起来，变成一个巨大无比的集群，用来训练模型。但我没有想到，通过这样的训练，可以在这么短的时间内得到像大语言模型这样非常强的模型，而且这些模型可以做很多事情。
当时并没有预见到训练能够这么快达到这么好的效果。我把它作为科幻点子写下来，确实没有想到。
程曼祺 Manqi Cheng
两年之后，科幻照进现实。
田渊栋
这件事让我非常惊讶。我把它写成科幻点子，意味着它可能要过 10 年或者 50 年才能发生，但其实没有。所以有时候会觉得，科幻小说还是要早点写，不然点子可能会过时，因为别人已经把它实践了。现在技术进化的速度就是这么快。
程曼祺 Manqi Cheng
你刚才讲到互联，最近确实有很多进展。2024 年 GDC 上，黄仁勋讲了 NVL72，把 72 个单个芯片连接成一个更大的互联系统。
最近华为也发布了一个新技术，叫超节点。他们是把 380 多个芯片连接起来。一方面是弥补单个芯片性能可能不如英伟达的问题，另一方面也应该是通过某种方式把通信做得更好，让整个系统达到相当的性能。
这些都很实际。从情节上看，你的设定确实很有前瞻性。
田渊栋
这是一种很有趣的体验：发现自己写的东西，后来真的以一种不一样的方法在现实中呈现出来。
3. 虚拟世界重塑人类未来
程曼祺 Manqi Cheng
你刚才也提到，这本书有一些是你的科幻想法，或者对 AI 技术的思考；还有一些是你多年积累的、在读研究生和读博士期间形成的心得。
这是我读这本书时的一个感受：它给人两种反差很大的体验。一方面，基本上所有科幻小说都会包含科幻概念或者科幻点子，比如“临界立方”；情节上也确实是比较经典的科幻，有末日危机，有人类面临生死存亡的抉择。
另一方面，它又有非常日常的一面。你写了很多科研工作者的生活：怎么开组会，师兄怎么带师弟，导师是什么样的角色，怎么争取资源，不同的学术思路，以及办公室政治。学术圈也有人情世故。
接下来我们可以从两个方面展开。第一部分更多聊 AI 和未来，第二部分则可能对很多更年轻的研究者有一些启发。
先聊聊《破晓之中》展现的未来世界。一个大的部分是，人类被置于两种选择之间：一类人走向虚拟世界，安稳地生活，但他们可能不再有更多的科学发现和进步，因为他们生活在外星人设置的虚拟空间里；另一类人则要奋力一搏，对抗银河联盟强加的安乐世界，自主寻找在宇宙中发展的空间。
你可以讲讲，当时设计这个大情节时是怎么想的？这算是本书的出发点之一吗？
田渊栋
当然，小故事里必须有冲突，否则就不好看。但永远会存在这样一种可能性：对于人类来说，AI 到底意味着一个予取予求的世界，让我们不用再探索，还是意味着我们仍然希望不断去寻找未知的世界？
也许最终答案是两者结合。一方面，我们确实有可能最终走进虚拟世界，而且可能性很大；另一方面，我们可以带着虚拟世界继续在星际中流浪。
人类的肉体太脆弱了。要把一个人、一个宇航员送向太空，需要很大的能量，还要照顾他的饮食起居以及身体上的各种需求。对于星际航行来说，这些都是很大的负担。
另外，人的肉体在 100 年之后还是会腐朽，所以肯定需要有办法让肉体获得永生能力。最终人进入虚拟世界，我觉得是不可避免的。
但进入虚拟世界之后，人本身的求知欲、欲望，以及对未来的探索仍然会存在。所以最终我们还是会愿意翱翔在星海之中。两者应该结合起来，而不是对立的。
这个问题我很早以前就想过。我觉得这可能是我们唯一真正走出太阳系的方案。
程曼祺 Manqi Cheng
这个选择要看到小说很后面，才会发现你刚才说的方案。一方面，所有人类最后都进入了虚拟世界；另一方面，虚拟世界还有一个计算载体，可以在宇宙中的不同地方进行探索。
在小说里，人类已经来到了比邻星，不在太阳系了。太阳系已经被大战毁灭了。
田渊栋
对，大概就是这样的思路。当然，这是最后的一部分。这个方案比较有意思，但也会带来各种各样的问题。
一个首要问题是：你可能在虚拟世界里突然发现，自己毕生追求的所有东西都唾手可得了。你要多少钱，就有很多钱；你要海景房，脑袋一动，海景房马上送给你；你要美女，也马上会有很多美女出现。
如果在虚拟世界中，现实社会里那些所有的欲望都变成唾手可得的东西，那么人的进步能力、进取动力到底在哪里？我觉得这是一个很大的问题。
这可能是第二部会写的一个主题：未来世界怎么样还能有动力继续前进。
程曼祺 Manqi Cheng
小说后面也写到，虚拟世界里有经济系统，甚至还有房价。虚拟世界里的人到后面还会讨论房价上涨。
田渊栋
这是因为，一开始造出来的虚拟世界是第一版，也就是“灵界 1.0”。这个版本会满足所有人的欲望。
后来大家发现了这个版本的问题。因为里面的人已经不在乎地球安危了。对他们来说，地球其实是一个遥不可及的梦。住进去半年之后，他们可能一辈子都不记得地球是什么，因为生活太舒适了。
他们对母星，或者说对虚拟世界的物质基础，没有很深的理解。所以在小说后期，我们会想写到这方面的工作。
比如，让灵界的人、虚拟世界的人和现实世界的人一起投票，决定要不要加入银河联盟。假如我们投降，直接加入银河联盟，不想再和它打，那么你觉得灵界的人会投给谁？
真正想一想就会发现，灵界的人其实更愿意直接加入银河联盟，而不是维护母星的独立性。这说明灵界 1.0 这个版本可能并不是特别好。
所以在故事最后，系统退回到了灵界 1.5 版本。这个版本里，房子和物品并不是完全免费赠送，而是需要回到现实生活中的经济系统，让大家拥有继续努力的动力。
当然，这个版本也不是完美的，因为它本身并不稳定。第二部会讲到它的弱点，以及有没有更好的方案。
这些东西很有意思，可以继续往下想：在新的系统中，什么样的经济系统是稳定的？大家最终会以什么方式、什么思路在虚拟世界中生活，并继续爆发出各自的创造力？
4. 银河联盟的真正目的
程曼祺 Manqi Cheng
故事最后还有一个悬念。苏燕是带领人类成功反抗银河联盟的最大功臣之一，小何也是反抗者之一。他们最后的对话揭示出一种可能：小说展示的结局，也许并不是人类真的逃离了银河联盟，而是银河联盟让你以为自己逃离了它，实际上你仍然在它设置的虚拟空间里。
这有点像《黑镜》最近一集讲的那种无限游戏：你以为自己出来了，其实还是在虚拟世界里。
可以请作者官方解答一下吗？这个悬念到底更偏向于我们真的跑出来了，还是实际上仍然在银河联盟的控制之下？
田渊栋
应该说，这是有解答的。它其实是一个藏得很深的坑，会在第二部出现。
可以这么说：人类仍然处在银河联盟的控制之下，但这种控制不像虚拟世界那样是完整、完全的控制。
一方面，这体现了银河联盟本身的科技含量很高，有很多我们想象不到的黑科技，至少能够把你控制住。另一方面，这也可以引出银河联盟本身的目的。
对于一个偏远行星上的文明来说，银河联盟为什么要千里迢迢跑到这里来，对你做一些事情？如果这个问题没有想清楚，其实是违背逻辑的。
假设我们在银河系某个非常荒芜的角落，和银河系中心一点关系都没有，就像一个小村庄，为什么银河系中央的大军要跑到我们这里来，特别对我们这些人感兴趣？
这背后其实有银河联盟更深层的目的。正因为如此，它才会来到这里，才会采取各种手段。
如果一个文明不是特别强，银河联盟可以置之不理；如果这个文明比较强，银河联盟可能希望它加入自己，就像小说里写的那样，发一个通告说：“你们加入了我们的文明，我们很荣幸把你们拉进来。”
但如果当地文明，也就是地球文明，再强一点，银河联盟就会感到威胁。它会思考怎么样处理这个威胁，以及怎么样对待这个新的文明。
如果要稍微剧透一点，可以这么说：银河联盟想要的是“独一无二”。
对于银河联盟来说，它已经完成了一个高级文明能够达成的一切。比如，任何一个个体都有“所思即所得”的能力：他想到什么，这件事马上就会具现化成真实的东西，并且为他服务。
我想要一个工厂，工厂马上就建起来；我想要一艘飞船，飞船马上就建起来。科技已经达到了很高的境界，整个生产过程毫无问题、毫无障碍。
对于这样的文明来说，它还需要什么？我想要的所有东西都能马上得到。于是我觉得，它需要知道的是，自己是不是处在发展的最优路径上。
如果银河联盟是一个高等文明，它也会担心自己的思路走入死胡同。如果偏远地区出现一个新的文明，同样拥有“所思即所得”的能力，但它有新的思路和见解，那么这些思路可以瞬间具现化，变成比银河联盟更强大、更有能力的一套体系，甚至取代银河联盟。
这可以类比为，100 多年前，清政府和八国联军或者殖民政府打交道时的情况。一开始，他们可能会觉得要把道路修好。道路修好之后，偏远村庄的物资可以快速运出来，卖给别人，这是一个很好的想法。
但过了一段时间，清政府可能会觉得不应该修这条路，因为道路修好之后，虽然偏远村庄的物资可以很快运出来，别人也可以很快打进来。为了不那么容易被征服，宁愿把道路修得差一点。
银河联盟的设计也是这样。它已经达到了“想到什么就一定会发生”的境界，任何外来的想法都会马上变成现实，而这个现实可能会威胁到联盟本身的架构。
因此，银河联盟希望找到银河系每个角落里新生的文明，看看它们有没有新的思路和想法，能够被银河联盟吸收，但又不至于产生一股和银河联盟不同、甚至威胁联盟的力量。
我觉得这可能是银河联盟最大的目的。
如果地球成为这样一个文明，银河联盟就会小心对待。一方面，它希望把这块东西保留下来，因为其中可能有一些非常先进的思路，是银河联盟自己没有的。它希望这块地方像野外保护地一样存在，不希望自己的想法污染它。
如果它把自己的想法带进去，这块地方就失去价值了，因为其中的思维已经被同化，新的想法和思维就无法表现出来。
但另一方面，它又不希望这块地方发展得太强，最后通过银河联盟的科技，把自己的思路展现出来。所以它处在一个非常矛盾的中间状态。
这就是为什么第一部结局会出现这样的结构。
程曼祺 Manqi Cheng
也就是说，它必须让你以为自己是独立的，还在探索未知，才能让你真正产生不同的想法；但同时，它又要把这种探索置于控制之下。
田渊栋
是的，这就是它采取这种措施的原因。
程曼祺 Manqi Cheng
你刚才讲的内容，也特别反映了从工业革命时代到 AI 时代，不同的科学幻想有什么变化。
小说里，外星人的表层目的比较像过去的那种目的：争夺能源。但实际上，它最后想要的是智能、智慧，或者说散落在宇宙各处、无论多么偏远的地方都可能出现的新想法。
田渊栋
是的，这应该是第二部的一个动机。接下来怎么写，应该会沿着这个方向展开。银河联盟本身的社会形态是什么样，会产生什么样的故事，我觉得应该会很有趣。
5. 所思即所得终将到来
程曼祺 Manqi Cheng
如果真的到了“所思即所得”的状态，首先，你觉得科技有可能达到这个状态吗？其次，到了这个状态之后，可能会面临什么样的大危机？一个非常高级的文明也可能遇到的危险会是什么？
田渊栋
首先，从科技上来说，这应该是迟早会发生的。
过去 400 年的科技史，很多时候都是把一个很难的问题转化成一个很简单的问题，最后变成像水和空气一样唾手可得的东西。这个过程一直在发生。
比如手机。ENIAC 计算机当年是用来计算弹道，做一些高端科学计算的。现在手机里的芯片速度比原来的晶体管快几百万倍，但我们拿它来玩游戏、刷网页。
这个过程就是把高端的东西平民化，最终变成像水和空气一样的东西。中间很多技术上的困难被绕过去，最后让一个思路直接和结果结合起来。
这个过程一直在出现、一直在迭代。所以以后如果有任何技术困难，这些困难也会被克服，并且被压缩到我们看不见的地方。你的思路和想法可以直接作用于现实世界，现实世界就能得到你想要的东西。
现在我打开水龙头，水就会哗哗流下来。但在古代，取水是一件很困难的事情，要去河边打水，打完水之后还要放明矾，让脏东西沉淀下来，还要杀菌，最后煮水才能喝。
现在这些步骤都被省略了。抽水马桶的发明，也让人的卫生环境变得非常好。这些都是很重要的过程。
我相信，以后你想制造任何东西、任何部件，都可以通过这样的方式产生出来。现在大语言模型已经可以用来写代码，写完代码之后代码可以直接运行，直接完成你想做的事情。
以前我要做一个网页，或者做一个和别人对接的业务逻辑，需要招一个团队，可能是 10 个人。我作为老板，告诉大家要做什么，大家写计划书，把任务拆成子任务，然后一个人一个人把代码写完，测试，上线，最后才能服务其他人。
现在整个过程被大语言模型压缩成了自动化过程。你可以让 AI agent 做很多细活，最后它直接把代码写完，甚至上线，马上就能用。
整个过程很相似：把一个繁杂、庞大的任务，通过自动化不断缩短、不断自动化，最后让一个普通人也能完成。这个过程一直存在，以后只会变本加厉，最终达到“所思即所得”的境界。现在已经开始有一些迹象了。
程曼祺 Manqi Cheng
确实已经有一些这样的体验了。那第二个问题，如果已经拥有“所思即所得”这么高级的科技和能力，可能会面临什么大危机？
我自己想到一个问题。前段时间我和港大的马毅老师录了一期播客，我们聊到，他认为生命是智能的载体，因为智能是一个学习过程，可以学习外部规律。
但按照我们现在对宇宙的观测，宇宙可能是一个熵增系统。有一天宇宙变得非常混乱，没有规律可以学习，那智能要怎么继续存在？这个问题可以解决吗？
田渊栋
这可能是另外一个更大的问题，因为它和物理学有关。总体来说，宇宙当然是熵增的，但只要局部有负熵流进来，这部分生命和复杂系统就可以发展。
地球和太阳就是一个典型系统。太阳把能量给地球，地球最后把能量散播出去。在这个过程中会产生负熵流，因为太阳过来的能量是高度有序的，它从一个方向过来，这些能量可以转化为很多其他能量，比如通过光合作用变成葡萄糖。
所以从局部来看，这个过程是成立的。
马毅老师讨论的可能是更大的问题：在整个宇宙的命运和宇宙年龄尺度下，最终智能会怎么样。但这还很远，可能是几十亿年后的事情。
程曼祺 Manqi Cheng
可能不止几十亿年，也许是几百亿年、几千亿年之后的事情。
田渊栋
我看过一些讨论。最终也许还能找到一些小区域，让生命继续存在。比如在黑洞附近找到一个地方，把东西扔进黑洞，就可以获得能量，这个过程可以重复很多很多年。
黑洞不会只变小，它会越来越大，所以在黑洞附近可能有很多时间来做这件事。
另外，整个物理规律或者物理世界中还有很多未知规律。也许我们会发现，物理学需要修改；也许会发现一些新的、有意思的事情，让大家认为正确的趋势发生逆转。
6. 人类走向虚拟世界
程曼祺 Manqi Cheng
你刚才讲到，未来人类到底会随着计算机和 AI 的发展进入虚拟世界，还是变成星际文明。你很早就在思考这个问题，这个起点是什么？
包括在真实生活中，现在这个问题越来越现实了。你觉得真实生活中的人最终会怎么选择？
田渊栋
这个问题有两个层次。一个层次是，为什么我会想这个问题；另一个层次是，人类最终会怎么选择。
我本身是一个特别喜欢想东西的人，会冒出一些奇怪但有意思的思路。所以我为什么会选择计算机、人工智能这个方向，也基于一些想法：AI 以后是不是可以代替人类？人为什么天生具有优越性？这种优越性似乎还没有被正式的定理证实或者证伪。
因为有这样的思考，我就会一直想：也许有一天大家发现，人类没有那么特殊，那我们应该怎么办？通过这样的方式，我去思考这个世界以及 AI 会怎么发展。
程曼祺 Manqi Cheng
这大概是在 2008 年左右。你 2008 年开始读研究生，后来读博士，那时算是正式开始做人工智能方向了，对吗？
田渊栋
可能更早。2005 年到 2008 年，我在上海交通大学读硕士。当时是在一个脑科学，也可以说是脑机接口实验室里，张立清老师的实验室。
实验室研究的是，大脑在不同刺激或者不同任务下是怎么样运作的。比如戴一顶帽子，上面插着各种电极，就可以检测脑电图，观察一个人做不同事情时大脑的活动。
我也曾经是受试者之一，因为实验室里的人都会被自动认定为受试者。
我会去想这些问题，觉得非常有意思：为什么人的大脑这么神奇？这成为一个很大的出发点。
当然，我不认为一定要通过大脑才能理解人是怎么做这些事情的。也可以从数学、第一性原理出发，也许会有更清晰的思路。
但不管怎么样，我们确实存在这样一个系统，也就是人脑。人脑功率非常低，只有 20 瓦到 30 瓦；获取知识的效率也很低，远远低于现在的 AI。
比如和别人交流的效率很低。我跟你说话，每秒钟最多只能给你大约 10 个比特的信息。一辈子可能只能看 1 个 billion token 这样大，或者 10 个 billion token 这样一个数量级的输出。
这些数据对于现在的机器学习来说真的是毛毛雨，什么都不是。但这些数据的输入和交流，却能产生这么聪明的东西。
所以我一直觉得，现在 AI 的能力远远没有到上限，我们现在使用的算法还是非常笨的。这也是一个很大的原动力，让我去思考为什么会有这样的东西，为什么会有这样的想法，为什么要往这个方向走。
至于现实世界的人类会不会进入虚拟世界，会不会走上和 AI 结合的道路，我觉得肯定是可能的。
现在其实已经这样了。我们都知道手机基本上 24 小时不能离身，各种信息会不断传进来。可以说，我们已经一只脚踩进了虚拟世界。这个虚拟世界里有很多信息、讨论和情绪。
我们虽然一直说人类还是要和机器划清界限，但其实界限已经没有那么清楚了。这个过程会慢慢发生。
比如以后如果使用某个电子元件、某个特定 App，或者某种芯片，成绩就能提高 20%，那就会产生一种效应：如果你不用，就会落后于别人。于是大家一定会拼命使用这些东西，最后慢慢产生融合。
这个过程会自然发生。
7. AI冲击工作与研究
程曼祺 Manqi Cheng
但融合过程一方面像你说的，可能不可避免；另一方面肯定也会带来新的问题。
小说里也讨论了这些问题。到了比较后面的一章，出现了一个新人物。他是一个三流画家，一直自怨自艾，觉得自己怎么样都比不上一个一流画家的朋友。
我一开始看到这一节时觉得很莫名其妙，因为前面已经发生了那么多事情，到了很后面突然出现了一个新人物。后来看到更后面才知道为什么要写这一段。
苏燕作为人类的大功臣之一，故意把灵界的时间节奏调得非常快，相比真实物理世界，灵界的人在很短时间里经历了漫长岁月。
他们慢慢觉得，待在灵界里其实很空虚，甚至很残酷。这样一来，人类中虚拟的人和真实的人，才达成共识，一起反抗银河联盟。
你可以讲讲，当人和虚拟世界融合、界限变得更模糊之后，你设想到的问题吗？
田渊栋
这部分是特意作为一章写进去的。一方面，通过这一章让大家知道人类是怎么翻盘的；另一方面，也是在设想虚拟世界真正铺开之后，大家会有什么样的想法和思路。
这种融合短期内一定会产生很多问题。
比如对于现实生活来说，AI 到来之后，未来几年肯定会对世界产生很大变化。很多人会发现，自己赖以生存的工作可能会被 AI 取代。
这会带来很大的空虚感。很多人会突然获得以前一辈子都拿不到的东西，于是不想工作了；或者发现自己做得再好，也没有 AI 做得好，于是就不再想着把事情做好。
这是短期内很大的问题。我不知道大家会通过什么方式克服。
中期来说，大家会开始卷已有的赛道。大家知道以前的事情做不了了，就要想办法求新、搞怪，吸引别人的眼球，制造一种独一无二的感觉，让别人觉得自己有价值。
这个过程会比较痛苦，因为很多人可能并没有这样的天赋，却被迫去卷这些赛道。
但从长远来说，我比较乐观。
我们以前有一个社会惯性：上学、接受教育，目的是获得有用的技能；获得技能后去工作，拿到薪水，养家糊口，养育下一代，然后继续循环，社会就这样运转起来。
如果以后大部分人接受教育后从事的工作，本身和 AI 相比没有竞争力，大家可能会放弃这个想法。长远来说，每个人最好还是做自己想做、喜欢做的事情。
我有很多朋友，业余时间可能是画家、小说家或者歌唱家，但这只是业余活动，因为他们还要写代码，通过工作获得工资，买房、买车、养孩子。
这个过程限制了大家真正发挥天性。如果大家真的去做自己想做的、发自内心热爱的工作，而不需要担心收入和社会地位，我觉得这会是一件很有意思的事情。
那时可能会出现职业多样化的爆发期。大家会发现，有那么多以前没有想过、但其实可以去做的事情。
爆发期之后，大家可能会发现，自己最终比原来更开心。我感觉大概会经历这几个阶段。长远来说我还是比较乐观的，只是中间会有什么波折，很难讲。
程曼祺 Manqi Cheng
你现在观察到第一阶段或者第二阶段的一些情况了吗？从 2023 年、2024 年到现在，AI 发展很快，编程、写作都有很多进展，可能会对程序员、文案从业者产生影响。
田渊栋
是的，现在已经开始出现了。只是可能没有权威机构统计，或者已经开始统计了，只是我还不知道。
冲击是很大的。比如写文案的朋友可能会觉得，ChatGPT 写出来的东西比自己写得好；或者先让 ChatGPT 写，再由自己润色。这和以前的工作流程已经有很大不同了。
随着 AI 越来越强，使用起来越来越方便，我觉得会有更多人受到影响。这会是一个很大的过程。
可能在 2 到 3 年内会有很多较大的变化。对于 AI 研究员来说，这些变化不一定那么明显，因为我们每天都在看论文，感受最新进展。
但 AI 会下沉到各个领域的细分方向，改变很多人的具体工作流程。这个过程有滞后性，但应该会慢慢发生，并改变整个社会的运作方式。这会是一个很大的变化。
程曼祺 Manqi Cheng
你觉得你自己的这类工作，什么时候可能会被 AI 很大程度地取代？我指的是纯粹做研究的工作。现在很多人，包括很多 AI 研究员，都希望 AI 能做科研。
田渊栋
现在看来，一些比较简单的科研操作已经可以做了。比如让 AI 查文献、收集资料，现在 Deep Search 已经做得不错。
但能不能提出有深度的观点，能不能找到深层次的联系、想法和思路，现在的 AI 还做不到。它处在一种“外行看起来很内行，内行看起来很外行”的状态。
如果我去查一些自己不知道的东西，现在的大语言模型非常强。但如果碰到我喜欢、热衷或者特别精通的东西，我就能看见很多漏洞。
这意味着研究员还有事情可以做。研究员对世界有很深的理解，而且随着经验增加、研究深入，这种理解会越来越深。理解的速度其实超过了大语言模型的学习速度，所以 AI 研究员目前仍然有自己的优势。
大语言模型现在还有一个问题，就是数据复杂度太高。学一件事情，可能需要很多很多样本，1000 个、1 万个样本才能学会。
但顶级研究员可能看一两个样本，就知道这里有问题、那里有问题，并且联想到一个非常细小、但确实会影响结果的因素。
因为有这个能力，人类研究员还能够站在大模型前面。
这个问题可能在大语言模型的训练算法改进之前，很难解决。现在的预训练方法，本质上还是依赖数据训练，和人的真正思考、理解、发现东西的状态不一样。至少我认为不一样，当然每个人想法不同。
但如果以后 AI 真的进化了，学习速度比人快，那么研究员的工作就可能被取代。到那时，我可以考虑写小说，或者做一些和现在不一样的事情。
程曼祺 Manqi Cheng
你觉得这件事很快会发生吗？比如几年内，或者 5 到 10 年内？
田渊栋
我没有那么乐观。我觉得这涉及怎么样训练模型本身的改变，没办法只通过数据完成，所以可能没有那么容易。
也许还需要 10 年、20 年。我觉得是这样。
下围棋的职业棋手也会说 AI 不行，但过一段时间之后，AI 的水平就超过了最强的人。所以对每个人来说，都有自己引以为傲的部分，但 AI 不一定不会超过它，这都是有可能的。
8. 博士生在低谷中选择
程曼祺 Manqi Cheng
接下来可以聊研究生生活，因为这也是书里的一条主线，对很多类似的人可能会有启发。
我读这本书时，感觉里面的博士生生活非常艰苦，尤其是一开始出现的大师兄冯西云。他要在赚钱养家和继续做科研之间做一个非常困难的选择。
但这好像和我理解的最近几年 AI 领域的现实不太相符。你的博士生生活来自什么？是因为你更早进入这个领域，当时还在 2012 年以前，领域比较冷，所以确实很艰苦；还是主要出于故事性的原因？
田渊栋
2008 年那段时间，AI 确实没有那么热。应该说，直到我毕业那一年，这个领域才真正发展起来。
当时大家知道有机器学习这个方向，但它有没有用、有没有效果，大家还是有疑问。很多人会觉得，机器学习仍然需要人来写数据和特征，可能就是线性拟合、最小二乘这样的统计方法。
当时大家的认识停留在这个层面。我记得有个师兄告诉我：“你不要做机器学习，这东西没有效果，肯定不行。你得做一些更接地气的东西。”
我的博士生导师也不赞同机器学习。他做的是基于物理的图像识别，或者基于物理的图像分析。
对他来说，真实的东西就是物理公式。因为这些公式是真正正确的，通过正确的公式可以得到正确的答案。机器学习是黑盒子，他不知道里面会发生什么，所以很反对机器学习介入。
他甚至跟我说，他觉得自己的世界里没有概率，都是确定性的。物理公式写好之后就是对的，不是对就是错。
当然，他没有反对我做偏机器学习的方向。最后我专门研究技术上的突破，他则帮助我提升演讲、表达和交流能力。
这种组合对我来说，在博士阶段是比较好的。一个方面，我可以发挥自己；另一方面，我能发现自己的短板，让自己变得更加成熟。
程曼祺 Manqi Cheng
你在卡内基梅隆大学读博士时，组里只有你一个人在做机器学习吗？
田渊栋
应该是这样。其他师兄师姐都不是这个方向，他们做的是偏物理的建模，以及对视觉的分析。
程曼祺 Manqi Cheng
可以讲讲你当时的学术选择，以及你是怎么度过这个领域前途未卜的阶段的吗？这对现在更年轻的研究者也有启发。
田渊栋
我还是因为比较喜欢。我特别喜欢做自己想做的事情，可能是一个比较内心驱动的人，不太在乎外面怎么说、怎么想。
我觉得，如果一个东西被我做出来了，或者想通了，我会特别开心。我并不太需要外界的奖励或者认可。
如果对自己的东西特别有兴趣、特别喜欢，就会有一种自信和坦诚的态度。通过这种方式，我度过了博士阶段比较艰苦的日子。
我以前是一个非常内向的人，不太说话。上台讲话时会卡住，之前还有口吃的问题。但在学习过程中，我慢慢发现，对自己特别喜欢的东西，可以把自信发挥出来。
所以现在大家看到的我，其实也是博士阶段锻炼的结果。
程曼祺 Manqi Cheng
在博士阶段以及早期工作时，你做了哪些事情、取得了哪些成果，让你对机器学习这个方向的信心逐渐增强？
田渊栋
一个方面是，我对一些问题的理解变得更深入了，这对自信有很大帮助。
另一方面，我确实看到机器学习在整个过程中可以取得重要效果。比如我们领导 OpenGo 围棋项目，真正做出一个模型，而且这个模型的下棋水平非常高。
这时你会对机器学习、深度学习的能力有更深、更好的理解。自己真的做出东西来，不仅是理解方向，也是在实践方向。
这两件事都能给自己强化动力，让我觉得这个东西确实有效果，而且在一定程度上，这个效果是可以预测的。这样我对问题和技术的理解就变得非常深入，也会更有信心。
程曼祺 Manqi Cheng
外部反馈重要吗？比如投稿、顶会，以及获得顶会的奖项。
田渊栋
我还是希望有一个自我的、内心的驱动力去做这件事。我觉得它是对的，应该继续做下去，这和外界没有关系。
如果外界认可，我会更开心，因为会觉得自己的话至少有人认同，或者别人觉得这个东西有道理。
这两者是相互加强的过程。但作为博士生，可能首先要有内心的驱动力，然后再有外界反馈。当然有些人可能相反，但最终反馈能够转起来，产生飞轮效应，博士生就会慢慢做得越来越好。
程曼祺 Manqi Cheng
你刚才讲到，读博时有师兄劝你要接地气一点。书里也写了两类研究者，确实代表了两种做学术的思路。
一类是冯西云和林福宇，他们执着于做颠覆性、冒险而未知的研究，而且有可能做不出来。对普通博士生来说，这可能意味着搭上自己的青春；而在故事里，因为人类面临危机，他们赌这个方向，甚至可能搭上人类的命运。
另一类是孟天风。他想用有限资源做一些小的改进，做实用性技术，比较快地应用起来。
这两类角色都很有魅力，并没有非常明显地说谁好谁不好。你为什么设置这两类角色？如果地球处于一个非常极端的情况，应该把有限资源投入什么样的研究？
田渊栋
这两类人都应该有，都是非常重要的，不能说谁好谁坏。
即使是非常接地气、非常偏应用的研究员，贡献也很大。他可能把整个地下城的通风系统做得很好，让大家过得很开心，这对他来说就是很大的动力。
小说里千峰这样的角色，更加注重别人对他的看法。他特别想让别人开心。最后他牺牲时，也是想让别人开心，想弥合不同见解之间的裂缝，愿意坐下来和大家谈判。
因为他有这样的内在动力，所以他肯定愿意做更偏应用的研究。
像林福宇、周启海，包括冯西云这样的人，可能更偏向内心深处的动力。他们希望一件事情在自己手里做到最好，不太在意别人对自己的评价。
对他们来说，可能更想做一件别人做不出来的事情，所以愿意冒险、赌博。两类人的驱动力不同，于是会产生不同结果。
当然，驱动力还要加上能力。如果能力不够强，但驱动力非常强，可能会产生悲剧性结果。冯西云就是这样的角色：驱动力很强，但能力没有那么强。
这样一来，他可能很长时间得不到很好的反馈。比如一个资质平平的博士生，非常想发顶会，非常想做出震动世界的结果，但很多年都达不到，于是会非常郁闷、伤心，甚至可能做出极端或者冒险的举动。
这就是书里出现这些剧情的原因。
这两类人都是需要的。即使是 OpenAI 这样伟大的公司，也需要有像伊利亚这样能够指导方向的人，同时也需要很多研究员把具体数据和基础设施搭好，整个系统才能真正运行起来。
至于地球真的处于小说里的危机时，哪类研究员更重要，很难讲。那时任何一个小信号、小发现，都可能改变人类整体的研究思路。
这两类人最终可能会统一到一个方向：无论如何都要拯救地球。为了拯救地球，可以采用任何手段。可以赌博、冒险，也可以扎扎实实做那些简单但重要的具体工作。
他们能不能切换，取决于每个人看到什么迹象、心里有什么道路，然后自己走过去。当地球真正出现危机时，这两类人可能会合并。
9. 技术Leader必须把握方向
程曼祺 Manqi Cheng
这也涉及下一个问题：两类人要合并、要更好地协作，使用有限资源，就需要一个统筹角色。
书里有这样的角色，就是他们共同的老板罗教授。刚开始看，他有点官样，甚至像学阀；但看到后面会觉得，这个人很有魅力。他有自己的考虑，有一个大的目标，也要用很多手段、不同的人和团队去达成目标。
你自己也带团队。书里好玩的地方是，这一部分非常日常，写了罗老板怎么管理团队，他下面的老师怎么带团队，每个人都有不同风格。你做技术 Leader 也很多年了，现在觉得一个技术团队里，好的 Leader 应该做什么、不应该做什么？
田渊栋
我现在的想法是，一个技术 Leader 最重要的是把握方向：整个团队要做什么，以及通过什么方式完成；团队里每个人应该做什么，每个人有什么长处。
最好能够“无为而治”。我不需要过多干涉大家，但最终大家能一起把事情做成。我觉得这是比较好的状态。
程曼祺 Manqi Cheng
你现在在 Meta 这样的大体系里，团队做什么比较自由，还是整个组织也会给不同团队一些压力？
田渊栋
完全取决于具体处在哪个大环境里。
以前在 FAIR 的环境下，应该说相对自由。组下面的具体方向，我这边有一定话语权，可以定下来。
大家都在做研究，研究前沿是无限的，所以空间比较大。关键是作为团队方向上的那个人，也就是 Leader，怎么样定下方向，让大家觉得这个方向有前途、有希望，并且愿意花时间和力气把它做完。
这是比较重要的结果。
最近我们从 FAIR 转到了 GenAI，整个大环境不一样了。对于 Leader 来说，能不能找到一个好的方向，一方面让大家有事情可做，另一方面指出别人看不见的方向，让大家觉得跟着这个 Leader 往前走有前途，这是很重要的能力。
现在各个公司、组织之间的技术竞争非常激烈，最核心的力量就是每个组织里的技术 Leader。Leader 会吸引更多优秀的人，也是一个成果如何做出来的最关键角色。
这很难，因为要在两个方向上平衡。技术上，Leader 需要有一定高度，大家愿意跟着你做，有吸引力让大家加入；同时，Leader 还要有人事能力和敏锐的洞察力。
如果人与人之间出现裂痕，或者有不同问题，要怎么样解决？这需要管理能力。把这些能力组合起来很难。
程曼祺 Manqi Cheng
我看你在知乎上写的年度总结，有一个和你角色相关的变化。
2021 年的年度总结里，你说首要任务不是埋头苦干，类似刚才说的，最重要的是看方向。到了 2024 年的年度总结，你又说要更多 hands-on。
可以讲讲这个转变吗？这是不是也和 ChatGPT 之后整个生成式 AI 加速发展有关？
田渊栋
这是一个很好的问题。我觉得你能看得这么细，非常感动。
这里面有一些变化。有个成语叫“先看山是山，再看山不是山，最后又回到看山是山”。
一开始，作为一个 individual contributor，也就是贡献者、一个大头兵，我的目标就是把一件事情做好。
但如果要成长为 Leader，就不仅要把手上的事情做好，还要看得更长远，对整个团队的方向有感觉。这时不能纠结于手上的技术细节，而要站得更高，从外面往下看。
这是第一个飞跃，而且比较难。很多人只希望把手上的事情做好，不想管太多，就很难完成这个飞跃。
完成第一个飞跃后，我对整个团队的故事和战略思考有了比较明确的方向，于是成为大厂里比较标准的 Leader，比如经理，管理一些人，做一些事情。
在这个阶段，我会写博客说，首要任务不是埋头工作，而是回头总结过去的弯路，看看有没有大的方向，整体格局是什么。
这是从第一阶段到第二阶段。
从第二阶段到第三阶段，是成为偏管理者、偏大方向控制的人之后，可能慢慢失去对技术细节的把握。这其实是很难的平衡。
很多人在大厂成为经理之后，慢慢不管下面的人在做什么，觉得大家随便做，只要报告写得好、项目文档做得好，对上面有交代就行。
但新一代生成式 AI 出现之后，这种模式慢慢受到挑战。你会发现，做得最好的那些实验室，比如 OpenAI、Hugging Face，里面的 Leader 都会写代码、懂技术，对技术有很高的敏感性。
这样的团队如果工作得好，产出和速度都非常高，交流速度也非常快。相比传统大厂里上面一层经理、下面一层做事的人，他们有更强的战斗力。
生成式 AI 出现之后，大家都在往这个方向走：希望上面的经理，甚至总监，也具备基础技术能力。这样整个团队的速度会很快，交流也会通畅，不会出现一群人在干活、另一群人在围观的情况。
这是一个很大的转变。
另一方面，一个人加上很多 AI，战斗力可能会超过一个小团队。在这种情况下，核心成员的技术敏感性非常重要，技术深度要远高于传统大厂里偏人事管理的经理。
所以我看到一个趋势：团队越来越少而精，每个人，尤其是核心人员，对技术能力的要求越来越高。只有这样，才能快速抓到问题关键，并迅速执行，而不是在不断交流和扯皮中消磨时间。
这个转变在最近一两年变得非常明显。很多小公司的执行速度比大公司快，主要就是这个原因。我们肯定也要往这个方向转。
程曼祺 Manqi Cheng
外界分析 DeepSeek 时也说，他们有这样的特点。梁文锋作为创始人，会参与到一线工作。
田渊栋
我听说是这样。如果下面的人没有拦着他写代码，他就会写代码。
OpenAI 的 o1 Preview 出来之后，他对这个方向非常敏感。我觉得，技术 Leader 如果对最新前沿技术非常敏感，整个团队的转向和集中力会非常强，远远强于技术敏感性已经下降的 Leader。
这样一来，公司或者团队的转向速度、产出速度都会快很多。
程曼祺 Manqi Cheng
这种敏感性具体表现在哪里？是比较细的认知吗？比如对推理模型能做到什么程度、有什么局限、能做什么事情，以及什么问题可以在这个基础上做得更好？
田渊栋
是的。要看在现有范式和方法下，怎么样最大程度榨取模型能力。
我们当然可以说，要改变整个训练思维和训练模式，或者重新 formulate 整个问题。但这些事情比较难执行，可能是更困难的研究问题。
更深刻、更深入、更有能力的方向，也许首先要看现有模型还有哪些能力可以被激发出来。
程曼祺 Manqi Cheng
他们确实是在现有机制下做了很多改进。比如我们最开始聊到的 FP8，一种更低精度的方式，怎么弥补带宽问题。他们用的是 H800，而不是 H100。
田渊栋
是的，这在报告里写得很细。他们把 GPU 上原本用于计算的部分 stream processor 拿出来，让这些 stream processor 专门做通信工作。
这应该是一个打破封锁的方案。
程曼祺 Manqi Cheng
你现在怎么保持技术敏感性，怎么学习 AI 的新变化？
田渊栋
一个是经常读文章。整理 AI 之后，看代码的时间也会更多，因为很多重要的东西需要看代码，有时候还要自己写。
文章还是要看，这些都是重要的工作。
程曼祺 Manqi Cheng
你之前合作过的其他技术 Leader 里，有哪些人的风格或方法值得学习？
田渊栋
我之前合作过一些人。有些人非常聪明，反应很快，对问题有很深的理解。听到一个问题后，他们能很快找出最大的问题在哪里，或者最本质的思维和根源是什么。
这种 critical thinking 能力很重要。有些人非常强，几分钟的讨论里就能找到最大问题，并想到改进方案。
还有一类人看过很多文章，思维很广，想法很多。他们可能发现两个不同研究方向之间有相似或接近的地方，把两个方向连接起来，就能得到更深的结论。
还有一些人对具体应用方案和实现细节非常了解。你告诉他要做一件事情，他马上会告诉你这件事情不能做，或者是什么原因导致不能做。
这些都是很厉害的人。
程曼祺 Manqi Cheng
说到这个，我想到书里除了罗老板旗下的研究者，还有一些很特别的人物，比如安德森。他是天才型的人，特别聪明，也很喜欢批评别人，有点像你刚才说的第一类人。
这个形象让我想到 LeCun。不知道你写的时候有没有想到他，可能你没有想到。
安德森对一些重要问题有非常独特的坚持，这种坚持会让他继续走下去。他也经常在社交媒体上对现在的一些方法做比较犀利的评价。
田渊栋
对于研究员来说，这很重要。每个人都有自己独一无二的地方，有自己的主见和想法，要把事情做好。
为了做成一件事情，就必须把资源聚拢起来。一个人如果总是人云亦云，比如我觉得大模型是对的，所有人都觉得大模型是对的，那就构不成一个研究员的方向。
大家都做一样的东西，也无法说明这个人有什么独特见解和观点。
我觉得，在未来 AI 泛滥的年代，大家都进入虚拟世界，都有 AI 作为研究助理时，一个人有没有独一无二的观点、想法和思路，并且能不能坚持下去，可能会非常重要。
10. AI还写不好小说
程曼祺 Manqi Cheng
最后想聊聊你作为 AI 使用者的身份，也就是创作者和 AI 研究者这两个身份之间的关系。
《破晓之中》是 2020 年开始写、2021 年写完的，我知道这本书完全是你手写、手敲，没有借助任何大模型。后来你写续作《幽夜星火》时，尝试用一些模型辅助自己。
可以分享一下这些体验吗？
田渊栋
从体验上来说，现在的模型还没有那么好，这是我的初步体验。
主要问题在于，模型的目标是模仿人的写法。它希望根据人喂给它的数据，准确预测下一个字符、下一个 token。它的目标函数很简单。
这意味着模型训练完成后，能力局限于数据本身，也就是模仿别人的写法，所以很难创新。
具体表现是，你让它写一段故事，它可能写到最后就收敛到王子和公主幸福地生活在一起，或者地球恢复和平之类比较泛的故事。
它很难真正思考，在极端情况下可能发生什么奇怪的走向。这是我看到的一个很大问题。
有时候你会发现，它写前 500 字、前 1000 字时，还有一些有趣的人物互动；但再往下写，就失去了这些互动的意义，最后收敛到一个比较平凡、无聊的结尾。
这有多方面原因。一方面，模型是为了服务于人，必须和人类价值观一致，所以你希望它写一些不一样的东西，它可能写不出来。
另一方面，模型的长文本能力也没有那么强。故事线一长，它就会忘记之前的设定，回到比较简单、单纯的设定。
程曼祺 Manqi Cheng
不同模型在表现上有什么区别？比如 GPT-4o、Claude、Gemini、Llama，还有 DeepSeek。春节时我看到你发朋友圈，说你也试了 DeepSeek 的文本创作能力。
田渊栋
DeepSeek 乍一看，故事脑洞好像非常大，但真正用起来也不是很好，因为逻辑性没有那么强，还是会有很多奇怪、莫名其妙的想象。
它的脑洞太大，很多想象没有根据。对小说创作者来说，这是比较麻烦的事情。所以它比较适合提供脑洞，但真正成文，我觉得不太好用。
最后写文字，我觉得还是 Gemini 比较适合。
Claude 的训练方式，感觉和其他模型不完全一样，里面可能加入了很多合成数据，或者一些有意思的数据，所以它写出来的东西逻辑性和分析性比较强。
比如给它一段话，里面有几个角色，包括主角和若干配角，其他模型可能只会围绕主角写故事。但 Claude 3.5 至少会分析角色之间的关系，写出他们之间可能发生的互动。它对配角的感知能力比较强，这是其他模型没有那么强的地方。
GPT-4o 可能比较平淡，一般就是情节发展，最后得到一个比较无聊的答案。
我在 Gemini 2.0 时用过，2.5 还没有试。2.0 写得比较细，文笔其实不错，尤其是描述性文字。它会写环境是什么样子，人物在哪里、做什么事，写得比较细。
所以给定大纲，让 Gemini 2.0 写具体情节，还是可以的。但写完之后，还是会觉得比较平淡。比较好的转折，仍然需要人去思考。
总的来说，现在的模型还没有那么强，但比一年前强大得多。2023 年时，我们还有一部分工作是用大语言模型写小说，当时用的模型比较差，比如 GPT-3.5，水平差很多。
现在模型的水平已经远远超过以前，但还没有达到人类写手的能力，中间仍然有巨大的鸿沟。
程曼祺 Manqi Cheng
完整总结一下，现在可以用的部分，或者你自己摸索出的 AI 辅助写小说工作流是怎样的？你刚才提到，给定大纲后，Gemini 2.0 可以写一些具体情节。
田渊栋
一般是先有一个想法，然后用 AI 把它细化成大纲，再把大纲继续细化，最后把每个大纲拿出来写一段，大概是这样的过程。
只要大纲的结构完整，人物关系自然、一致，最后写出来的文字和情节不会太差。它可以作为一个比较拙劣的作品拿出来给大家看。
但如果你真的逐句细读，就会发现人物的描述不够到位，或者不同人物的描述非常相似；前面人物做了一个很细微的事情，后面又把这件事忘了。
这些问题现在还不容易解决。
程曼祺 Manqi Cheng
你细化大纲也用 Gemini 吗？还是哪个模型更顺手？
田渊栋
大纲还是会由人来写。故事发展中，还是希望有新奇的东西出现，希望故事能让人真正体验、真正思考，这一点很重要。
程曼祺 Manqi Cheng
所以你试过用模型做小说大纲，但效果都不太好？
田渊栋
可以这么说。模型会陷入某些套路。
比如“外星人入侵地球”这样的故事大纲，它一定会写：外星人入侵，地球哀鸿遍野，大家快要死光了；然后一个领袖出现，带领大家战胜外星人，最后获得自由与和平。
这种故事已经烂大街了，大家都知道怎么写。但作为小说家，你不希望故事真的按照这个方式写，至少应该有更加自我的、更加大的波折。
小说家应该很挑剔。被 AI 生成过的东西，可能就不想再写成那个样子。所以我感觉，小说家可能永远不会满足。
程曼祺 Manqi Cheng
你现在用 AI 辅助写小说，会怎么影响写作状态？它会让你更有心流、更专注，还是会打断感觉？
田渊栋
我觉得还是会打断。
如果有一段内容是我真正想写的，不希望 AI 打断，我就会完全自己写，不让 AI 修改。写完之后，我可以告诉它，这一段我要保留，不希望你动，或者只需要做一些润色。
有些部分我可能没有时间写，就让 AI 去填充。这样可以把 AI 和人的创作组合起来。
但这需要写一个程序。比如输入一大堆内容，其中有些是人写的，有些是空的，但有一些大的想法。把这一大段内容交给程序，它发现哪些部分需要 AI 填充，就去调用 Gemini 或其他模型，把内容填进去。
程曼祺 Manqi Cheng
所以你自己做了这样的小工具给自己用？
田渊栋
对，我有很多这样的小工具。
程曼祺 Manqi Cheng
这其实是一个把 AI 和人协作起来的写作软件，可以这么理解吗？
田渊栋
对。但这种东西变化很大，可能哪天我又换一个想法，重新写一套，都有可能。
程曼祺 Manqi Cheng
你现在只自己用，还是也分享给其他写作的朋友？
田渊栋
没有。我都不太好意思拿出来，因为基本上都很粗糙，很多东西要修改，而且这个流程本身也在不断变化，不是固定的。
程曼祺 Manqi Cheng
你写这个工具时，是自己敲代码，还是也让 AI 帮你写了一部分程序？
田渊栋
当然是 AI 帮忙。比如 Cursor 之类的工具。我订阅了 Cursor，一个月 20 美元。
程曼祺 Manqi Cheng
所以 AI 已经渗入很多环节：先用 AI 帮助编程，做一个写作软件；再用这个写作软件调用模型，和人一起写小说。
田渊栋
这肯定是目前最优解。我现在看不到更好的方案。
但具体怎么调用，怎样把人和 AI 的写作结合起来，仍然是需要解决的问题。
程曼祺 Manqi Cheng
你现在的生活很有意思。一方面你是 AI 研究者，这是一个很新的职业；另一方面，小说作者是在讲故事，这是人类有了语言和文字以来最古老的活动之一。
同时做这两件事，带来了什么特别的体验？
田渊栋
我以前也在知乎上分享过：不靠谱的想法就写小说，靠谱的想法用来写论文。
这样不会浪费掉我的一些想法。这两边的交互，也会让我产生新的想法和体验。比如今天的采访，就会让我产生一些新的想法。
这本身是一个让我很享受的过程，也是一种调剂。如果每天都写代码，或者每天都想研究想法，思维还是会枯竭。
如果能跳出局部优化和局部工作，做一些更大的、脑洞式的工作，可能会让局部工作变得更有趣，同时也能看到更远的东西。
程曼祺 Manqi Cheng
今天的采访让你想到什么新的东西？
田渊栋
今天的采访让我想到，你问到 Leader 的一些转变时，在你问之前，我没有意识到自己的博客里有这样的变化。
你把博客做了数据挖掘，列出提纲之后，我突然意识到，自己确实经历了这样的转化过程。原来我的思想和想法也在随时间变化。
这对我来说是很大的帮助，我也非常感谢。
还有一个问题，比如小说里的博士生是搞物理、搞纳米的，而不是搞计算机的。我写的时候没有想过为什么要从物理入手，但潜意识里觉得从物理方向写会更有意思，所以就从这个方向写了。
看到你的问题之后，我想到，可能是因为如果从计算机方向出发，会陷入赛博朋克的风格：有一个黑客，计算机非常厉害，潜入某个系统，把系统黑掉，然后成为救世主。
这种模式在《黑客帝国》里已经出现过了。所以我下笔时可能下意识避开已有套路，去找另外一条路，但自己从来没有认真想过这个问题。
你一问，我就意识到可能是这个原因。通过这样的交流，可以把潜意识里的东西具象化，让更好的思路冒出来。
程曼祺 Manqi Cheng
这在情节上也更严谨。故事里有一个东西实现了“所思即所得”，但它还是靠物理完成的，就是那群博士生研究的纳米机器人。
田渊栋
对，需要有物质基础。不可能完全数字化。最后人类生活在虚拟世界里，实际上还需要一个服务器，可能被发射到比邻星或者宇宙很远的角落，让人类以虚拟方式在宇宙中探索。
程曼祺 Manqi Cheng
所以总体来说，通过这样的交流，会产生很多有意思的思维碰撞。
你觉得未来一段时间，什么样的写作可能被 AI 替代，什么样的写作不会被 AI 替代？比如未来 5 年。
田渊栋
我觉得，还是希望每个人分享自己独一无二、没有人见过的见解。这可能是不会被 AI 取代的部分。
AI 需要新的知识作为知识来源，然后进行训练。如果新的知识 AI 还没有办法创造或生成，那么每个人携带的新鲜知识，就可能成为 AI 最想要的东西，或者成为最有价值的信号。
未来可能大家都会进行个性化写作。每个人都想分享自己的经验，而这些经验可能从来没有被探索过、从来没有见过。
这也可能成为人类探索星海的原动力。以前我在博客里写过，如果真的变成这样的社会，可能有人说愿意去月球，或者愿意去火星，成为第一个登陆火星的人，把所有登陆火星的知识分享给大家。
因为这部分知识是数据库里从来没有过的，所以非常重要。
但程序性写作，比如公文、函件、法律条文，这些不太需要创意的写作，可能会被 AI 的标准化模式取代。
程曼祺 Manqi Cheng
你说的这个观点，和小说情节又呼应上了。银河联盟最想要的，就是散落在宇宙各个角落的新想法；而未来一段时间，AI 可能最想要的也是人类独特的体验和想法。
田渊栋
是的，这些是一致的，因为我毕竟想过这些东西。
11. 文明应该留下什么
程曼祺 Manqi Cheng
《破晓之中》里有一个很经典的情节：有一刻人类可能要灭绝，于是编制了一串关于人类文明的遗产信息。
书里这样写：
“我们是人类，曾于银河系旋臂、太阳系第三行星居住，被银河联盟毁灭。我们知道四种基本力及 118 种由不同原子构成的元素。目前模式识别方式为多层非线性神经网络。我们存在过，进步过，抗争过。”
这里讲的似乎都是理工科成果，没有放文化艺术的内容。如果可以放，你会放什么？
田渊栋
首先，这是无心之举。我不觉得文化艺术不重要。
但如果人类真的要发出这样的信息，开头一定要讲一些共通知识，比如数学和科学技术。假设物理定律相同，那么全宇宙都有同样的信息。
如果其他生命接收到这些信息，肯定更容易理解。文学艺术是独一无二的信息，不一定容易被地外生命理解，所以我会下意识把它放在后面。
程曼祺 Manqi Cheng
在你放的这些共通信息里，经常看科幻的人对地球在银河系和宇宙中的位置、物理学的四种基本力、化学元素都比较熟悉。
但“模式识别方式为多层非线性神经网络”显然是在说 AI，而且不是我们通常描述人工智能的方式。你可以讲讲为什么这样写吗？
田渊栋
我这么写，是因为它代表了人类处理知识、智慧和数据的工具。
我们可以有很多种处理信息的方式：让人处理，让简单模型处理，或者让复杂的深度学习网络处理。
根据一个文明处理信息的方式，可以大概判断它处在什么状态。这可能是一个标志性事件。
当然，因为我是 AI 从业者，会下意识把 AI 的地位拔高，这里面有自我拔高的成分。
对于 AI 来说，一旦机器能更智能地处理信息，人类整体的认知能力就会得到很大提升。
程曼祺 Manqi Cheng
在多层非线性神经网络之前，人类的模式识别方式是什么？哪些东西叫模式识别？
田渊栋
在深度学习出现之前，一般是这样做的：先由人写下一些特征。比如我知道今天有云，所以可能会下雨，这是一个简单的逻辑推论。
在人类写下这些特征之后，机器学习模型把“天上有云”直接和“下雨”联系起来。也就是说，先把“天上有云”这件事作为事实写进数据，再让模型学习。
这个过程需要有人把“天上有云”写下来。这部分其实是人类知识：人类知道天上有云和下雨可能有关系，但关系有多大并不知道，只是先把它写下来，让机器学习。
所以那时的机器学习，相当于人类已经知道了大概的逻辑关系，让机器学习定量关系。
但深度学习颠覆了这个过程。对于深度学习，我不需要写“天上有云”这四个字，只需要拍一张今天的照片，用它预测接下来会不会下雨。
在有足够样本的情况下，深度学习可以自动把照片中的像素模式连接起来，让它预测会不会下雨。它可能把像素拼在一起，看起来像云的形状，然后发现云这个高层概念和下雨这个结果有关。
它会自动学出“云”的概念，而不是让人告诉它这里有云。
因为具备这种能力，深度学习在很多情况下展现出超乎寻常的能力。它会自动学习概念，自动总结高层经验规律，然后用这些规律预测未来和其他数据。
这至少对我来说，是深度学习取得巨大成功的原因。它不需要人花很多心思和代价去标注高层概念，也不需要人先写下公理，再让机器学习，而是机器自己完成整个过程。
程曼祺 Manqi Cheng
我们现在能看到模式识别的下一种方式的苗头吗？多层非线性神经网络之后可能是什么？
田渊栋
现在还没有完全看见。我们目前仍然在这个框架里做。
我觉得之后可能需要找到更有效率的模式学习方法，不再依赖大量数据；或者学会更高层次的概念组合。
比如小学生都知道多位数加减乘除怎么算。告诉他规则，他马上就知道任意两个数字怎么相乘。只要足够细心，答案一定是对的。
但机器，包括目前的大语言模型，还没有学会这样的高层规则。让它做三位数乘三位数、四位数乘四位数，它可能做对；但到了 12 位数乘 12 位数，就开始出错。
它有一个界限，超过这个界限就做不出来。这说明它并没有真正学会乘法规则，而是通过大量模式匹配。比如看到最后两位是 25，就猜最后应该是 25。
它把这些经验规则拼起来，大概猜出答案，但并不是通过真正的逻辑规则计算乘法。
这个能力现在还没有解决，是一个很大的问题。怎么样解决它，让 AI 变得更聪明，是我们研究员正在努力做的事情。
程曼祺 Manqi Cheng
我有一个小问题。为什么把它翻译成宇宙都能听懂的共通语言时，没有直接用“人工智能”，而用了“模式识别”？因为人工智能这个名字实在太大了。
田渊栋
我可能更希望用工程性、精确的描述回答这个问题。
“AI”对大众来说可能是一个符号，但对业内人士来说，还是希望描述得更细、更精确。
程曼祺 Manqi Cheng
最后一个问题。如果可以在人类遗产信息中放更多文化内容，比如放 3 本可以进入人类遗产的科幻小说，你会选哪 3 本？
田渊栋
我肯定要选《三体》。这是为数不多的、我看完之后觉得整个世界都发生变化的小说。
它给了整个世界一个不同的解释，让你觉得自己生活的世界没有那么真实，后面还有一层更深的真实。我看完之后，可能连续几天都有这种感觉，慢慢才缓过来，后劲特别大，尤其是第二部的结局。
当然还有《基地》系列这样的经典作品，也应该放进去。
程曼祺 Manqi Cheng
刘慈欣还写过一篇关于虚拟世界和探索宇宙二选一的短篇小说，叫《不能共存的节日》，你应该也看过。它是一个二选一的选择。
我觉得《破晓之中》很有意思，它告诉我们，在二选一之外，还有另外一种可能。
田渊栋
我觉得人类应该会找到自己的出口。并不是进入虚拟世界之后，大家就完蛋了。
以前很多小说会写，人类进入虚拟世界后醉生梦死，不再探索宇宙。但真的发生之后，我觉得中间会有很多状态，人类会找到自己的出口，让好奇心继续留存下去。
不会那么极端。
程曼祺 Manqi Cheng
今天非常感谢田老师做客《晚点聊》，分享你创作《破晓之中》的思路、想表达的主题，以及书中涉及的一些科技想法和 AI 思维。
这本书的出发点，是想写一部属于 AI 时代、和 AI 技术相关的硬核科幻。书里确实有很多巧思，某种意义上也和这几年 AI 的发展互相印证。
欢迎大家有兴趣的话去阅读这本小说。它的第二部正在田老师的个人主页上连载，也欢迎大家去看。
今天谢谢田老师做客。
田渊栋
非常感谢你的邀请。
程曼祺 Manqi Cheng
好，再见。
田渊栋
再见。
本期零点呈现分享两个和之前节目的呼应。一是在聊《破晓之中》里的一些 AI 技术和思维时，田渊栋提到他在 2020 年开始写这本书，设计承载人类意识的立方体时，就有部分影射英伟达。书中，外星文明对立方体设计的一个屏障是立方体之间的带宽有严格限制，这就是为了防止大量立方体的互联涌现出新智能。而我们看这之后几年的 GPU 和 AI 芯片系统的优化思路，就是互联更多的芯片。在第 115 期与模型智能创始人徐林杰聊华为 4 月新发布的 Cloud Matrix 384 时，我们详细讨论了这个趋势。除了华为之外，英伟达也推出了 NVL72，是它在 2024 年之后最重要的 AI 服务器方案。那么书里的方案，人类是怎么绕开带宽限制突破银河联盟的防线呢？其实和后面的业界思路也很相似，就是找到一个方式能在传输数据时尽量不损失信息，但又降低对带宽的需求。比如 DeepSeek V3 在 H100 的带宽减配版 H800 上，就是用了 FP8 这种低精度的数据格式，降低了对通信带宽的要求。二是关于更强的 AI 到来之后，社会和世界怎么变化，这其实是我们在过往多期聊 AI 时都会涉及的议题。在 IAI 系列的第一期《晚点聊》109 期中，从个人的角度聊了普通人可以怎么应对和使用 AI，他说 AI 是一次放大个体能力的机会，大家可以对 AI 多一点耐心，不要试一下就放弃，可以多摸索一下现在的 AI 的能力边界，能做什么，不能做什么。在 106 期与戴雨森、真格聊 Agent 时，他则是从社会结构的角度提到了一种有可能比较惊悚的未来，他的观察是强化学习进入的领域陆续遭遇李世石时刻，即 AI 超过人，甚至强到人无法理解的时刻。那么如果 AI 模型越来越强，有钱就等于有算力，就等于有生产力，这会不会带来资金转化为生产力的 scaling law，让本身掌握资源的人有更多资源，让阶层流动和新公司的崛起变得更难？田渊栋则用科幻故事的形式更详细地描绘了他设想的未来，这里有虚拟世界中三流画家的空虚，有一边进入虚拟世界一边走出太阳系的可能，也有他对高级文明的需求的想象。他认为科技最终会发展到所思即所得的状态，这时一个已经非常高级的文明会担心什么，想要什么呢？他的答案是宇宙中独一无二的智慧和想法，是其他的更优解的可能。这其实有点像大模型现在对我们的需求，它需要更多数据，而数据又是对人类想法与智慧的抽象，我们产生新的优质数据的速度好像有点赶不上大模型的需求了，不过这一定是一件坏事吗？本期节目就到这里，欢迎收听。如果你对今天聊的话题有观察、好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友，欢迎推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果 Podcast 等渠道关注“晚点聊 Late Talk”，也欢迎关注我们的公众号“晚点 Late Post”，下期再见。