AI 时代，PhD 路上的 10 个关键问题｜对谈李磊：港大 PhD、小米 MiMo 研究员

嗨，我是 Koji。本周《十字路口》的嘉宾是小米大模型的后训练研究员李磊。李磊还有一个身份，是香港大学在读博士生；同时，他也是腾讯首届青云奖 15 位获奖者之一，他的论文还获得过 EMNLP 最佳论文奖。你好，李磊，欢迎来到《十字路口》。

Hello, Koji。非常高兴今天有机会做客《十字路口》。

我们还是从快问快答开始，帮助大家了解你。请问你的年龄？

28 岁。

你的 MBTI 和星座？

ENTJ，巨蟹座。

求学经历可以介绍一下吗？

我 2016 年在西安电子科技大学读本科，2020 年到北大计算机研究所读硕士，2023 年到香港大学 NLP Group 读 PhD。

最近小米 MiMo 做了一件很有意思的事：你们把 MiMa V2.6 Pro 和 Flash 两款模型的后训练过程搬到了网上直播。我感觉国内外都有非常多的关注和讨论，而李磊就是这件事幕后的推动者。我觉得很有意思的是，你一边参与飞速发展的 AI 行业，另一边又是一个在读 PhD 四年级的学生。

所以今天请到你，是想聊一个《十字路口》的很多听众都感兴趣的话题：大家多多少少都在做学术、做研究，或者在 AI 公司工作。我们要聊的话题就是，在 AI 时代要怎么读好 PhD，才能拿到一个不错的结果？

相信会有很多人喜欢听《十字路口》，因为我跟他们的画像很像。我自己也是《十字路口》的忠实听众。说到读 PhD 这个重要的里程碑，我首先纠结了很长一段时间。最后，我给自己的答案是：如果十年以后，我躺在床上可能还是会后悔没有读这个 PhD。

所以我最后觉得，既然这样，那就还是去读吧。我觉得这一步很重要，尤其是现在，大家会有很多考量，机会成本也很大。特别是整个工业界的待遇，和你现在在学术界面对的差距。但钱的事情以后还可以再说，这段时间你可能能够很好地去做一些自己想做的事情。

在那个时刻，我觉得如果现在不去读 PhD，回过头来，我可能还是会想要有这样一段经历。所以这是我觉得很重要的一个选择。

关键抉择。

对。说起来，后面的 milestone 也挺戏剧性的。我在北大的最后一段时间，跟一些师弟合作，我们刚才提到的 Best Paper 也是在那个时候做出来的。那正好是我入学之后两个月，也是我参加的第一个会议。我自己有一篇工作，师弟的论文也拿了 Best Paper。

这一下子让我觉得，当时我其实还是有点打退堂鼓：读 PhD 到底能不能顺利完成它的考核，或者达到一些标准？虽然硕士阶段已经接受过科研训练，但那是 2023 年 11 月，刚好入学两个月，我觉得这简直是巅峰开局。我也担心这会不会是出道即巅峰。

这么巅峰开局之后，后面的路一直很顺利吗？

整体来说还可以，可能也验证了我之前的一套打法，证明这套打法能够帮助我把事情做好。

这套读 PhD 的打法是什么？

我总结下来，一是快速迭代。自己要有比较紧凑的工作节奏，也要及时参与社区，跟 peers，或者跟自己认为更资深的老师、同学交流，获取 feedback。

第二，我觉得还包括技巧和心态。选择研究问题的时候，要选择一些难而正确的问题。

否则，很多事情如果不够难，就一定会有很多竞争者。在现在这个时代，很容易被 beat 掉。所谓正确，我觉得有两个方面：一是大家都很关注的问题，大概率也是大家认为比较重要的问题，也就是它的重要性；另一个是难度。解决一个重要的问题时，即使它很难，只要你取得一点点进展，也很有可能获得很大的影响力。

我本来想说，难而正确意味着做起来会很慢，但同时又要拿到正反馈。听起来有点冲突，不过你好像已经回答了这个问题：一件既难又重要的事，哪怕有一点点进步，大家也会认为很有意义。

对，反倒是大家对你的要求不会那么苛刻，因为大家都知道它很难。很多人面对困难的问题，第一反应就是“太难了，我根本不知道怎么解决”，他们会不知道从哪里下手。

只要你能找到一个好的切面，比较扎实地提供一部分解释，或者做实验、理论分析，对于后续想研究这个问题的人来说，就是一个很重要的里程碑。

所以你觉得这一套 PhD 打法适合所有人吗？

我觉得不一定适合所有人，但目前观察下来，它可以在很大程度上减轻焦虑。

PhD 都在焦虑什么？

我觉得 PhD 现在焦虑的，一个是 publication；但同时又面临一个很戏剧性的问题：在 AI 的冲击下，整个顶会审稿系统可能有些难以为继。

再一个是要满足毕业要求。第二个问题是，发了那么多 paper 之后还有没有用。比如 Astra 出来之后，很多做具身智能的人会觉得，自己的整个 domain 好像一下子被颠覆了。这也是大家经常感受到焦虑的一个来源。

最后，大家还会想：我能不能在做好 publication、做出有意义的工作的基础上，完成从 PhD 到工作的转换？

面对这些焦虑，你有什么应对建议吗？

如果大家还想继续在这个游戏里玩，心态上还是要放松。虽然竞争很激烈，但 community 也在想办法，怎么帮助稳定审稿系统。再一个，大家要相信这套系统已经运行很久了，它还是有一定生命力的，能够保证好的工作有机会被录用。

至于做的东西有没有意义，我觉得你乍一看会觉得 Astra 很厉害，但仔细看会发现它有很多毛刺。大家要理解大模型是一种锯齿状的智能：有些地方看起来非常厉害，但有些能力它完全没有。

这很考验大家是不是真的坐在电脑前 coding、设计 harness、把东西跑出来，看看数据和模型的表现到底怎么样，而不是被社交媒体上的 hype 一下子震撼到。并不是说那些东西完全没有意义，而是你能看到的东西可能容易被放大，但还有非常多看不到的地方值得我们思考和研究。

能举个具体的例子吗？最近你看到的，像 Astra 这样的 SOTA 模型，还有哪些毛刺值得探索？

我们也在做一些类似具身智能的实验。我觉得一个值得研究的问题是：这个能力从哪里来？你可以追溯到很多模型，看看它到底是从哪里泛化出来的。知道它的能力来源之后，就能更好地提升它。

我浅显地理解，OpenAI 一直在采购具身智能相关的数据，是用这类数据训练出来的。

我们猜测可能是这样。具体来说，当然我不是具身智能领域的专家，但它有很多 domain。比如它在 simulator 里的效果怎么样，在真机上的效果怎么样？这里会不会有 gap，有没有泛化上的差距？这些可能都是非常值得研究的问题。

今天所有学术顶会都被 AI 论文大水漫灌。你觉得这个系统还会好吗？

压力确实存在。比如我做审稿人、做 Area Chair，原来可能要看两三篇，现在可能要看十篇左右。这是审稿人 workload 最直接的冲击。

再考虑到大家都是 DDL 战士，原来可能留半天把最后几篇审完，现在在这种情况下，大家做出的判断随机性就可能变大。这是我觉得最直观的冲击。

另外，整个会议的场地容量也会受影响。像 NeurIPS 就有三个会场。不过社区也在想办法，比如限制投稿数量，鼓励更有经验的审稿人承担更大的责任，也引入 AI 审稿来辅助决策，让决定更加准确。像 CHAIR-AI，现在做决定时也要求两位 senior SPC 讨论后再做决定，尽量在可控的情况下把录用决策做准确。

但坦白说，有人的地方就一定会有随机性。所以我觉得大家不要把 accept or not 作为最终的 reward。

听起来现在有一条 hack 系统的路：用 SOTA 模型做一百篇论文，然后投出去，拼随机概率。

我觉得这样的做法不好。一方面，这是对整个系统的 DDoS 攻击。说白了，瞎猫碰上死耗子，总有可能。但 paper 本身不是为了中稿，而是因为我做了一个很有意思的研究，希望有个地方可以分享给大家，分享知识。

一百篇这样的东西，背后的人真的把它们弄清楚了吗？有没有严密地论证，或者通过理论和实验来 justify 提出的 hypothesis？这些才是重要的，而不是 paper 到底中没中。

如果 AI 强大到一定程度，或者人和 AI 组合起来，能够提出一百个有价值的问题，并且在 AI 的帮助下把问题解决好，给出扎实的答案，我觉得这种情况下，投不投稿都无所谓。就像 OpenAI 放出来几百个数学证明，有些可能是对的，有些是错的。这些东西可能有一定意义，但我们也需要耗费很多 human effort 去验证结果。

你觉得会不会出现一些新的评价体系？

我觉得现在已经开始弱化整个 publication 体系了。

但只要存在评价体系，就一定会有 reward hacking。比如现在筛选候选人时，paper 是一个类似 nice to have 的东西。原先它可能是很好的金标准，但现在大家都有了，没有 paper 也就没那么重要了。

为什么呢？难道大家比如说 99 个人都有，你没有，反而不重要了，因为你显得是个 outlier，与众不同？

对。我觉得这反而可能意味着他知道这个游戏已经坏了，所以不玩这个游戏。我们还蛮喜欢这样的画像。

现在比如说贡献一个开源项目，也是很加分的，但也存在一些 hacking 的机制。有的人会用 AI 提 PR，PR 被合并以后，就说自己是 contributor。尤其是候选人有 publication 时，我会看他们有没有开源代码、有没有开源数据，以及开源之后有没有人维护 issues。

所以更重要的是在真实世界里看看你的作品有没有产生影响力。

对。我觉得现在我们比较 care 的，比如说 Hugging Face 的下载量。如果你做了一个模型，说自己是 SOTA，但我一看，它上个月在 Hugging Face 上的下载量只有几十次，那可能说明你解决的问题没那么重要。

那 Hugging Face 的下载量可以 hack 吗？

也可以 hack，但 hack 的代价挺大的。首先你得把我的东西下载下来，存到硬盘上，而硬盘还挺贵的。

我看了一下，你的小红书粉丝数今天是 2.4 万。上次我们聊天，你开玩笑说这个比论文引用数还高。为什么会把论文引用数和小红书粉丝数放在一起比较？

我觉得这也可以归到 PhD 的 must-do 里面，就是做自媒体。

OK。

为什么呢？我觉得它首先是一个反馈比较快的地方。Social media 上你发的东西好不好，大家会点赞、收藏，这是很直接的反馈。至少有些时候，大家交流少了，但在小红书或者 Twitter 上，推荐算法还是能帮你吸引到一批 research taste 跟你相似的同学。

这样就会有很好的交流，这是反馈的层面。

另外一个层面，最近有个叫“大粉理论”的说法：PhD student 的 Twitter 或小红书粉丝量、点赞量要超过 citation，说明你在践行“大粉理论”。我觉得这是 “Attention Is All You Need” 的一种显化。

哦。

因为现在 paper 太多了。

我应该看什么 paper？

原先大家依赖的分发机制是这样的：每年 ACL 中稿，我会看所有接收的 paper。当时可能就几百篇，我会根据关键词、熟悉的老师，挑出自己想看的几篇。但现在已经不是这样了，一个会议有四五千篇，我不可能都看完。因此大家会依赖论文推荐，或者 social media 的推荐系统。

如果你能在这样的系统里占据更大的权重，你的声量就能被放大，工作也能被更多人看到，更好地放大工作的价值。

所以在 PhD 圈子里，除了“大粉理论”，还有什么理论？

我觉得“搏击理论”也应该推行到 PhD 群体里。因为这是一段很漫长的过程，身心健康始终是第一位的。确实要换换脑子。

那 PhD 要怎么运营小红书？

首先是利他。你当然可以发一些有针对性的、比较有争议的观点，这样很容易爆，但大家可能只会点赞或者评论，不会觉得这些内容跟你这个人有关。只有持续产出对别人有帮助的内容，才能收获一定的影响力，而影响力是副产物。

第二是坚持。坦白说，我一开始会在小红书上发很多论文笔记，因为当时每天都看论文，但那时候粉丝增长很少。直到有一天我发了一些刚才说的引用数和粉丝数之间关系的内容，突然发现爆了一下，粉丝数往上迈了一个台阶。

不过，你把这件事坚持做成 daily 的事情，想到什么就发什么，最后上面呈现的就是你最真实的状态，也就一定能吸引到你想吸引的人。所以我总结下来就是利他、坚持。

嗯。

第三是，这个赛道很卷，但如果你找一个人模仿，会很累，因为你也不知道他是怎么想的、背后的 motivation 是什么。你不如做自己，把自己想到的、符合前面两个条件的东西发出来。我觉得粉丝数量不是那么重要，找到一群同频的人，大家有一个很好的交流平台，就已经达到目的了。

我觉得这建议还蛮好的：要利他，要高频，要做自己。你在小红书上点赞最多的笔记是哪几篇？

点赞最多的应该是拿奖那篇，还有青年奖学金那篇，以及 citation 超过一万的那篇。这个也可能跟背后的推荐算法有关。

学术方面，我觉得之前有一些像 On-Policy Distillation 这样的内容。我们也算是比较早采用这种新范式的团队。当时看到之后，我觉得这个方向非常 promising，就写了一些 notes 发在上面，关注度也蛮高。

我看最近戴继峰老师和自然意志有一些新工作出来，你都会发一发，分析一下、分享自己的解读。

对。

那些内容的流量感觉也不错。

因为大家也很关注这些 new lab 的动态。戴老师他们做得非常不错，有一些 RSI 的工作，也正好用的是小米的基模，所以我就顺手研究了一下。

所以现在的小红书，完全是你个人的工作、生活和研究兴趣的外化。

对。

如果把今天读 PhD 从入学到毕业分成几个阶段，你觉得可以分成怎样的几个阶段？

首先是知道怎么做好研究，或者说知道怎么做研究，这是一个很重要的里程碑。做研究之前会有一些 preliminary basics，比如要了解很多基础的东西：machine learning、statistics 等等。这些课虽然今天看起来好像大家用 AI 就不需要补了，但还是很有必要自己从头做一遍。

我们当时用 TensorFlow，甚至用 NumPy、MATLAB，把 SVM 这些很基础的算法实现一遍。吴恩达老师 Coursera 上的课程，我觉得也非常重要。到今天，泛化、overfitting 这些基础概念，以及很多经典概念，还是在整个系统里发挥作用。像 VLM 用到的 Patch 切分，也和操作系统的一些概念有关。

第二，research 是一种 knowledge sharing 的方式。怎么让你的 knowledge 更好地传播？这里就有 paper writing、实验，以及怎么通过实验设置 justify 你的 hypothesis，这些都是需要学习的。AI 可以作为很好的 reviewer 或老师，帮你提出建议，帮你完善 hypothesis。

第三，我觉得是大家很容易忽略的一块：怎么 maximize impact。前面我们提到了做自媒体、做好开源；每个工作也都可以配套宣传、软件、博客和分享。到了这个阶段，你可以独立做好一篇 paper，并让它获得一定影响力，我觉得这就是基本功。

第二个阶段，我觉得是 leadership。也非常感谢我遇到的各种老师。很早的时候，我们的孙旭老师就告诉我们，要培养 leadership。逐渐掌握这套 pipeline 之后，你要能把它教给更 junior 的同学。

每个 junior 同学的情况都不一样，你要根据具体情况引导他做好研究。也就是说，从一个自己做 generator 的人，逐渐变成 critic，帮助别人。这个过程蛮有意思，因为同学的类型不一样。有些很 self-motivated，只要给一点引导，整条链路就跑通了；有些则需要更 intense 的 supervision，帮他把整个东西搭建起来。

第三，我觉得是从学术界到工业界的转变。你要在一个更加现实、竞争维度也更多的环境里做事情。当然这一点我也还在学习。

那做 PhD 要怎么启动呢？

我大二升大三的时候，很勇敢地给后来硕士阶段的老师发了很多 cold email。我大概发了十封，只收到一封回复。孙老师非常愿意给我一个机会，让我去组里实习，得以叩开后面的大门，之后能够发顶会、顺利保研。

到了现在，难度就会更大。我相信稍微有名一点的 professor，邮箱里全都是 cold email，会收到很多 RA 或者申请的邮件。工业界就更不用说了，考虑到算力，现在的 HC 也很稀缺。

怎么启动？首先知道这件事之后，我觉得要做的就是 maximize impact。现在大家不只是看 paper，也看你有没有一些 output，可能是一个 GitHub 项目、一个做得很好的 harness，或者一个有意思的 application。这些东西对算力的需求没那么大，只要能发挥创造力，也可以做出很好的产品。这样就有机会获得相对偏产品的一些岗位。

如果想找偏研究的岗位，我觉得在 AI 时代，大家都用 AI 写 sloppy 的内容时，你能把一些 fundamental 的东西理顺，写好一个 research blog，就很有价值。说起来很简单，但你可以一篇一篇地写好很多 Notion blog；如果有条件，还可以设计一些小实验，验证自己的改进。

比如苏剑林的博客，早期也全是推导，可能没有特别多算力，但不影响他后来提出了 RoPE，到现在大家都在使用，而他现在是 Kimi 的研究员。我觉得这是一个很好的路径。

首先你要努力 reach out；其次，在 reach out 的过程中，肯定会收到很多没有回复或者其他 negative feedback。但在这个过程中，要坚持做好自己的输出。它也是一个 learning 的过程：找到自己想学的、想创造的东西，然后把它展示出来，做成一个很好的作品集。

最后我相信你会像冒泡排序一样，慢慢地冒上去，被一些人看到。我第一个拿到的实习是在金山。当时我大二、大三，金山那边的人看了我的博客，联系了我。但我当时还是想做 machine learning，所以没有去做软件开发。

这很像《十字路口》也很喜欢说的一句话：只要一直 build，就有好事发生。

是的，我觉得真的是这样。

刚才冒泡排序的比喻也很有意思，一直冒泡，你就更可能冒到上面去。

对。到上面去蛮重要的。有一本书叫《巴拉巴西成功定律》，不知道你有没有看过。听起来很鸡汤，但实际上他们是用大数据和网络科学的方式，研究诺贝尔奖得主什么时候发表了那篇诺贝尔奖论文，以及你怎么才能获得 career success。

诺贝尔奖得主通常是在什么规律之下发表那篇论文？

结论是没有规律。你必须一直发，他们自己也没办法预测哪一篇会成为代表作。所以必须一直 build。

另一个效应是，比如大都会艺术博物馆里的那些画。那些画画出来的时候，肯定不能一下子就展到大都会博物馆里。它们是怎么流通到这些博物馆里的？研究者分析了馆藏之间的流动，比如某个博物馆会借画来展览，并把流通关系画了出来。

后来他们发现，有些城市里的市政博物馆名气没那么大，但一旦一幅画进入这样的市政博物馆，就很有可能被那些非常有名的博物馆借走。

所以还是有规律可循的。

对，确实有一些关键节点，而且这些节点的可达性非常高。你通过不断冒泡，进入这样的 critical path，走向成功的可能性就会大很多。

所以一方面需要不断创造、不断发表作品，另一方面里面仍然有一些有迹可循的东西。

是的。聪明地 build。

你觉得有哪些做得非常成功、拿到了“大结果”的 PhD？你会想到哪些名字？

我现在想到的，比如 Berkeley 的 Eric Wallace。他原来是做大模型安全的 PhD，毕业后去了 OpenAI。前段时间 Hugging Face 遭遇 Swarm 攻击，他作为内部研究员出来给大家复盘了整个事件。

你去看他的 research，会发现 idea 都很简单，但他能在很好的 position 和 timing 下提出问题，并把问题定义好。

PhD 选学校和选导师的时候，你分别有什么建议？

我觉得选学校的优先级应该低于选老师，甚至可以说远远低于。PhD 这件事有点像古时候的师徒制，而且国内外的情况也 case by case。普遍来说，国内更像上级和下级的关系；其他地方可能更像 collaborators，当然导师会负责 supervision。

学校当然是尽可能去更好的平台。但 Top 30 和 Top 50 有没有本质区别？可能没有太大区别。四大名校和 Top 30 之间可能有差距，大家听到 famous university 的名字，可能会觉得你的估值能涨一点。但我觉得组和组之间的 variance 其实更大。

很重要的一点是看他们 alumni 的成果和精神状态，然后私下问问已经毕业的 PhD 和在读的 PhD。

精神状态怎么看？

就是大家是不是在比较快乐的状态下读 PhD。也有比较痛苦但成功的 PhD，著作本身很好，但人非常痛苦。

比如谁？

我只能说有这样的 case。

OK。那比较快乐的那些组是什么样的组？有哪些组？

给我们组打个广告吧。HKU NLP 和北大的计算语言学研究所，氛围都非常轻松愉快。

那 PhD 要怎么选导师？

我觉得这个真的蛮难选的。你去看 Google Scholar、CSRankings、公开演讲，这些都是公开的信息。很多 private 的东西，需要你实际跟导师合作一段时间，甚至半年或更久，才能发现。因为我觉得这是双向匹配。

那你当时自己是怎么做的？

我当时在上海 AI Lab 实习，认识了现在的 co-supervisor 孔令鹏老师。我们合作了大概半年，我觉得他的风格跟我比较 match。很多同学也是通过这样的过程来做选择的。我觉得这是一个双选的过程。

如果还有时间，我建议大家直接去做 RA。一方面，你可以接触到在读和已经毕业的 PhD，跟他们熟悉起来，打听更多情况；另一方面，也能了解组里的风格，帮助你快速做判断。

最近有一份学生慢研究倡议，在网上掀起了挺大的争议。我理解发起人超过一百位，不只有中国，也有一些美国的老师和研究员共同发起。他们希望本科生现在不要着急发 paper，要慢下来做研究。你怎么看这个倡议？

我觉得这件事很戏剧性的地方在于，它跟现在整个节奏形成了鲜明对比。而且现在正好是保研季、升学季，倡议和相关考核标准好像是矛盾、冲突的。

但我看了他们具体的倡议，老师们说不会把 paper 作为筛选的唯一标准。刚才我也提到了，大家都有的时候，它就没那么重要了。重要的是，你有没有 research output，有没有一段经历，能在基础打扎实的情况下，把自己做了什么、为什么做、怎么做的讲清楚。

他们倡导的其实是这件事，而不是说不要做科研。我刚才一开始就说过，科研需要投入一定的时间和精力。你要自己平衡好课业和科研。心态上放轻松，做一些重要的事情，节奏可以稍微慢一点，但要有逐步推进。所谓快和慢，其实是相对的。

你自己是一个快的人还是慢的人？

我会花比较长的时间去选择想做的事情。我觉得前面花的时间越多，对后面越划算。

我早期做过一个 idea，但没有把前期实验做好，也没有把事情想明白，结果花了半年多调算法，最后才发现假设是错的。所以现在做实验之前，我会先提炼出一个很小、minimal 的 hypothesis，再快速做一些小实验来验证。这样可以帮你端到端地验证很多东西。

再往前一步，选方向也是如此。你要密集地看论文，和自己敬仰的 researcher、老师讨论，形成接下来要投入的方向。前面把时间花够之后，真正做的时候就要快：想办法 maximize GPU utilization，提高数据处理速度。这些都可以用 AI 帮你快速并行，加速产出。

你觉得今天在内地、香港和美国读 PhD，各有哪些优劣？

我觉得现在在内地读 PhD，优势是能够更快进入工业界，这是很大的优势。坏处是刚才提到的传统师徒制，再加上整个高校学术界的考核压力，有些横向项目的压力，有些老师的做法会变形，对学生成长不太有利。所以大家需要谨慎筛选。

我知道有些老师的组能够比较好地平衡横向、纵向的压力，既保证课题组能够运转，也保证学生有一定成长。

香港现在是一个蛮有意思的地方，跟内地融合得比较密切。同时，因为独特的港口优势，吸引来的老师 profile 看起来会更有活力一些。当然，香港生活也有自己的压力。

美国这块我不太了解，但有些朋友反馈说，现在签证问题比较痛苦，CPT 的问题也可能让实习变得更难。不过他们的好处是离硅谷和整个美国学术圈更近。

什么样的画像更适合去美国读 PhD？什么样的画像更适合在内地、香港读 PhD？

我觉得去美国读 PhD，首先你可能不能特别喜欢吃东西。每次美国同学回来都要大吃特吃一番，你要耐得住美食的寂寞。当然，大家也会偏好那里的文化氛围。

内地和香港的话，更重要的是你能不能在有一定压力的情况下平衡好很多事情。如果能 handle 好这些事情，我觉得现在留在内地和香港都是非常不错的选择。

现在 PhD 聚在一起，除了学术之外聊得最多的话题是什么？

Package。其实现在大家会焦虑，尤其是我现在可能 final year 了，要找工作。更 junior 一些的同学，可能还在思考 research 问题，哪些方向更值得做，或者很好奇工业界在关心什么。他们会希望毕业之后能够顺利过渡。

大家读本科的时候可能还是同学，但读到 PhD 才发现不同专业会带来截然不同的世界。尤其今天 AI 和非 AI，简直是两个完全不一样的世界。

这也是我时常觉得自己非常 lucky 的原因。现在所谓的 K 型分化、I 型分化，就是做 AI 的人在一个点上，剩下的人可能在另一条线上，中间好像出现了很大的鸿沟。但我觉得这只是乍一看有鸿沟。

实际上 AI 是一个非常平权的东西。原先我们想学一些东西，需要上 Coursera、上 Stanford 的课；但现在大家都能接触到 ChatGPT、DeepSeek、MiMo 这些模型，它们的知识储备量非常高。如果能用好它们，就能帮助你在自己的 domain 里提高效率，或者改变整个工作范式。

所以未来不是 AI 替代人类，也不是做 AI 的人拿走了很多蛋糕，而是能够用好工具的人，或者能够烧火的智人可能就干掉了别的人种。这种事情一直在发生。首先要意识到世界正在发生巨大的变化，然后积极拥抱变化。各行各业都需要专家和爱好者来帮助模型提升。鸿沟里面也有很多梯子，大家是能够把这两个东西连接起来的。

今天教授们创业是一个特别大的浪潮。我很好奇，PhD 会怎么看自己的老板创业这件事？

我觉得一方面是现在的融资环境，另一方面是整个创业都以科技为导向，所以最前沿的 researcher 和 professor 很自然地会被推到前台。

好处是融到资、成立公司之后，实体能够更快地把资源组织起来，把东西 build up，做事也更灵活。原先在学校里有 funding 等各种限制，比如买卡、招工程师、买数据，都会受到限制。但现在通过 startup 的形式，可以快速把需要的要素聚齐。如果要做更大的项目、产生更大的影响力，公司就起到了杠杆和加速的作用。

另一方面，一旦拿了钱，钱也会对公司有所要求，这些要求会一层一层传递给学生，可能让学生做一些学术以外的 dirty work。但我觉得这是硬币的两面：给你更大的资源，你就要付出一定代价。大家要根据不同阶段的需求做好 trade-off。

今天学校里很多问题是没有算力、没有资源，所以也有一些人开始想：“我不读 PhD 了，直接去公司。”你怎么看？你觉得今天在理工科、在 AI 领域还有必要读 PhD 吗？

我觉得要先衡量自己对 PhD 的期望是什么。如果你希望读 PhD，以此进入所谓的大公司，我觉得没有必要，因为本科生也可以去。像 Jason Wei，还有很多我们认识的 OG 研究员，他们其实就是本科生。

甚至高中生。

对，甚至高中生。我觉得不是因为有 PhD degree 才能去，而是因为他做得牛，所以能去。牛不牛不是由有没有这个 degree 决定的。

但另一方面，如果大家希望有一段比较完整的时间，可以相对没有那么大的压力，某种意义上脱产去做自己想研究的事情；如果你对这个世界、这个领域有好奇心，有一些问题觉得不去做可能就没人做，那么你其实是在满足自己的好奇心。

在这个过程中，你可以补知识、学习怎么 maximize impact 等技能。如果把 PhD 看成一段特别的旅程，用来回答自己的问题，我觉得还是很有价值的。人活 80 岁，读一个 PhD 五年，好像也不是很长。

那我们再聊点别的。我们录播客的时候也快到年底了。最近我都会问嘉宾一个问题：2026 年这一年下来，有哪些 AI 带给你的 aha moment？

我觉得 agent 范式被推到前台，不像 R1 那种 aha moment，但是它对整个社会形态的冲击还是让我们感受到很大的震撼。

坦白说，我最早做研究的时候，做的是分类任务，比如判断一个句子是 positive 还是 negative。后来模型强一点，能做机器翻译，再后来能写作文。今天你用 agent，给它配上 tools，它就可以自动化地帮你做很多事情。

现在大家也会用很多 agent 产品。这真的让 machine learning 这样的东西，在有了脚手架之后，能够触达到生活各个角落。这件事非常 exciting。我们可以想象，数字世界里已经有很多能力了，下一步它会走到 physical world，又会催生很多火花。这非常值得期待。

所以 agent 是一个，还有别的吗？

还有一个是我们的直播。我觉得在我们早期训练的时候，它其实有点像 R1。你会发现非常大规模的 RL 能带来非常全面的能力提升。

把后训练拿出来直播，一开始是出于什么想法？为什么想到要做这件事？

我觉得是因为现在有一些 rumor 和讨论，这些事情对整个中国大模型的形象都非常不利。我们希望通过直播做一些正向引导。

为什么大家不做 RL？可能是因为确实有一定难度，infra、数据的要求都很高。我们希望给大家一些信心，让大家看到这件事确实可以做。通过直播这种透明的方式告诉大家，它可以做，而且效果也很好。这是我们希望带来的一种正向激励。

同时，我们也希望配套开源该开源的东西。当然，我们也希望通过直播吸收 feedback。确实有一些地方做得不好，我们就吸收改进；做得好的地方，就继续放大。这就是我们的初心。

直播放出去之后，你们收到最多的回复，国内和国外分别是什么？

国内大家特别关心花费。

因为你们把金额直接挂在直播页面上了吧？大家点开网页，就看到人民币在燃烧。

这确实是刺激比较大的一个点。国外的话，大家对我们的透明程度还是比较震惊的。

有很多 Twitter 评论说，这应该是首次工业级的直播。大家对大模型是如何训练的，还是觉得比较神秘。但我们把这样一个大规模训练过程展示出来，几乎把整个 TensorBoard 都给大家看了。里面有很多 dynamics，研究者可以拿去分析，感觉就像一座金矿。

我们最后再聊聊未来。最近两三个月，大家讨论很多的一个话题是数据行业。国内也出现了很多估值非常高的数据公司，比如 Unipus、喜马拉雅等等。你怎么看这件事？是什么原因让它们估值那么高？这个生意你觉得能持续到什么时候？

我觉得估值高也蛮正常。整个大模型产业一层一层往下推，涉及算力、数据和人才，三个东西没有一个便宜。

大模型的事情说白了很简单：好的数据、扎实的算法、好的 infra，就能带来好的效果。好的数据是产生人类智能的源头。原先的数据可以比较快地获取，比如做题类数据；但现在数据生产的复杂度已经上升了很多个量级，对数据质量的要求也上升了很多个量级。因此，能够把这件事做好的人，应该能占据整个市场的一部分。

至于估值，我觉得这是市场给出的答案，我不是特别了解，但在我看来并不是特别过分。考虑到未来 AI 行业会占据多少 GDP，作为它的燃料，数据应该占据多少？

至于这个生意能持续多久，我觉得这是一个 dynamic 的过程。随着模型能力进步，能持续产生高质量燃料的数据公司，就能持续产生新的价值。因为模型能力的边界是锯齿状的，你要找到那些缝隙，组织好对应的规模化体系，设计好激励体系，把数据批量做好、交付好。这对数据公司是很大的挑战。

模型公司也可以做这些事，但会分散精力、消耗算力。模型公司想在发展过程中尽快推进智能前沿，而时间是不可逆的资源，所以大家会花钱买数据。我认为这个需求会持续存在。

但如果数据公司不能产出高质量数据，生意肯定做不下去。随着模型能力提升，模型自己产生数据的能力也会上升，成本就会降得非常低。那时候如果你参与市场竞争，面临的竞争就会非常激烈。

反过来，如果你有一套好的、规模化的 pipeline，能够持续产出高质量燃料，我觉得它的优势就会被放大。

什么样的公司、组织或者能力，才能让高质量数据的 pipeline 一直持续下去？

这是个很好的问题。首先，高质量始终是相对于特定模型而言的。数据太难，模型太差，就学不会。因此你要能够定义什么样的数据有多难，并评估模型能做到什么程度，这里面就有一些 know-how。

另外，哪些数据更有价值？最直观地说有两个方面：一个是 PR 价值，哪些数据做出来的 demo 会很酷炫；另一个是模型真正学会这项能力之后，能够带来的经济价值。这两种价值需要取舍和平衡，还要考虑怎么 source expert，以及怎么建立规模化的生产线。

在模型训练一线，你看到 RSI 的信号了吗？

我觉得这个信号越来越强烈。RSI 是个很广泛的定义。最字面的理解是，模型在帮助自己改进自己；模型产生数据，也会帮助它改进自己。

现在大家更具体的定义，可能是模型能不能自己训练自己，比如在 post-training、machine learning 等方向，能不能找到更好的参数和算法。我觉得这里的进展会非常快，因为问题定义得很清楚，而模型又非常擅长搜索。它可以通过各种 scale compute 的方式找到一条好的路径。

你会看到，训练过程中模型的 PPL 肯定会不断下降。但我觉得有一个能力还没有被很好地挖掘，就是定义问题的能力：什么问题重要，下一阶段需要解决什么问题？我也看到一些最近的工作在研究这个。

只有具备这个能力之后，研究员才能很放心地把整个端到端的事情交给模型。现在大部分情况下，研究员大概知道自己要往哪个方向改进，模型能够帮助你产出数据、训练，以及完成端到端的 self-improvement。但更前面的那一步决策，目前还没有看到很好的提升。

今天 RSI 里面，你觉得最有影响力的 benchmark 是哪一个？

这方面现在也有很多 benchmark，但目前我还没有看到特别让我觉得 exciting 的。可能还比较初期，大家还没有形成很好的共识，现在是百花齐放的阶段。

今天做 benchmark 的人越来越多。你觉得一个好的 benchmark 要怎么做，才能冒出来、被大家注意到、被大家尊重，甚至让大家想去打榜？

我确实在这方面有一定经验。我觉得首先，它一定要测量模型的一种新能力，或者一种很重要的能力。比如我们之前做的 Video-MME，当时大家还在做很早期的 6 秒视频理解，我们把它拉到了一个多小时。

随着 agent 能力变强，它需要理解长时间的视频，比如看懂一部电影，或者对视频做长时间分析。从 6 秒到 1 小时，就是一个全新的能力维度。

其次，除了能力本身，数据质量也非常重要。数据要来自真实 use case，而不是非常 artificial 的东西。为什么？因为 artificial 的东西模型很容易捕捉到，知道你在测试它，就会表现得比较异常；这和真实用户的体验可能有很大 gap。

第三是 impact。前面做好之后，你还要 advocate 你的 benchmark，把易用性做好，让大家能够一键启动、一键测评。现在很多测评做得不够好，报出来的分数我复现不了，也没有很好的启动方式，或者没有适配主流测评套件。这些都是生态整合的一部分。

最后还是回到 PhD 这个话题。最近我看到一个非常让我惊讶的数据：今年 MIT 大一新生里，机械工程成了最热门的专业。整个美国四年制本科 CS 的入学人数也同比下降了 8.4%，读 CS 的人变少了。你怎么看这个问题？

我觉得这有点像“一代版本一代神”。当然，背后可能有很多其他因素，但如果下降规模这么大，我觉得 junior 的 coding 需求确实有一部分会被 AI 吃掉。

不过我相信，大家可能不选这个专业，但都会辅修一两门相关课程，确保自己对 CS 有一个 general understanding，也会一些 coding，能在 AI 的辅助下做些开发。我觉得这应该成为必修课。

假设平行世界里，你有一个亲弟弟，今年高三要高考，成绩挺好，是个小学霸。你会建议他学什么专业？

我不会建议他学什么专业。我的看法是，行行出状元。你不需要成为自己这一行的 top 1%，因为那太累了。只要始终和自己比，维持在一个相对来说比如前 20%、30% 的水位，每天有所进步，我相信每一行都会涌现出非常杰出的成就和人才。

最后我们来送个祝福。今天听这期节目的，我相信有很多学生或者在读 PhD，其中不少人可能正面临一些困难、焦虑和困惑。如果给大家一个特别简单的建议，让大家每天过得开心一点，从你自己的经历里找一条这样的建议，你会想到什么？

我觉得 paper 迟早会中的，饭还是得吃，觉还是得睡。没有什么大不了的。

吃好、喝好、睡好，然后再写 paper。

对。

好，谢谢李磊，很开心录了这期节目。

好，谢谢 Koji。

好，拜拜。

拜拜。