张小珺
哈喽大家好，我是小珺。我们此前访谈过谢载宁、洪乐彤，他们分别来自欧洲和美国的 New Lab。但是今天的这个现象已经不止于海外，2026 年中国也涌现了一批新型实验室。
这些有研究背景的老师或者学生，正在成为一级市场的新宠儿。他们普遍很年轻，有名校科研背景，第一次创业，在还没有产品的时候，就能以数亿美元估值融资。当下资本涌入最活跃的方向是世界模型和 Auto Research，Auto Research 也可以叫作 AI for AI。
我很好奇这个现象的现实与成因。这期节目，我邀请了清华大学人工智能学院助理教授、上海期智研究院 PI 刘子鸣。他毕业于北大和 MIT，是 KAN 的一作，今年 3 月刚刚回国到清华任教，同时参与创建公司元环智能。他用“太疯狂了”来形容这股新的资本潮。
我们聊了聊中美 New Lab 的兴起与成因，以及他所探索的一条非典型的 AI for AI 叙事。接下来就是我对刘子鸣的访谈。
刘子鸣
我是 3 月份回的国，大概是 4 月底入职清华，5 月底开始参与融资。这个过程我的体感就是，太疯狂了。
不管是 AI for Science、世界模型，还是 AI for AI，我觉得一级市场都处在一个非常 FOMO 的状态。大家都在相互打探消息，投资项目的动作也做得非常快。
张小珺
Hello，子鸣，先给听众朋友打个招呼吧。
刘子鸣
Hello，大家好。
张小珺
能不能先做一个简单的自我介绍，聊聊你的工作和你现在的一些状态？
刘子鸣
1. Research Journey Begins
好的。首先感谢小珺的邀请。我是刘子鸣，现在是清华大学人工智能学院的助理教授。同时，这次节目录制是在上海期智研究院，我也在上海期智研究院担任兼职 PI，并且参与了创业，在元环智能担任首席科学家。
我本科是在北大物理学院读的，后来去了 MIT，做 AI 和物理的交叉研究。之后我短暂地在斯坦福做了半年的脑科学和 AI。我的博士导师比较有名，是 Max Tegmark。他从 2012 年就开始宣传 AI for Physics，包括 2022 年底、2023 年初，他也是最早宣传 mechanistic interpretability，也就是机制可解释性的人之一。
最近唐杰老师也说，智谱要投资百亿，机制可解释性是这样的一个方向，也是 Anthropic 在做的方向。我们在 2022 年底、2023 年初就开始布局这件事了。
张小珺
你是怎么从物理走到 AI 的？
刘子鸣
2. From Physics Into AI
我觉得很多做物理的人都会有这样的经历。刚开始做物理，是觉得物理很美，在智力上非常 challenging、非常困难，所以被物理这个学科吸引。
但后来慢慢就感觉，好像“the party is over”。这是高能物理里面经常说的一句话，意思是盛宴已过，给年轻人留下的问题其实没有那么多了。AI 则相反，是一个给我们这些年轻人提供了非常多机会的领域。
具体来说，我大二的时候，应该是 2017 年，关注到了 GAN，也就是 generative adversarial network，生成对抗网络。那个时候我就觉得，这个东西特别击中我的兴奋点。它在数学上好像也没有那么难，做出来的东西又非常 fancy。
那个时候我正好被理论物理和实验物理双重“毒打”，不知道自己要做什么。理论物理非常困难，也比不过姚舜禹。姚舜禹、白德威也是我们一直以来的偶像，因为本科期间他就发了 2 篇 PRL 的论文。
张小珺
你们是一级吗？
刘子鸣
他比我大一级。我在北大，他在清华，所以一直听说他的传说。
实验物理那边我也在想，理论做得不行，那我去做实验，结果发现实验做起来更差。就有点像奥本海默或者杨振宁——好吧，我少在这里给自己贴金了。我感觉自己进了实验室，只会让事情变得更加混乱。
我其实也参加过一些实验物理的科研，比如之前做过磁流体，结果搞得满手满脸都是。后来我就觉得，自己好像也不太适合做实验。那时候比较沮丧，感觉理论物理和实验物理都不是我所擅长的，接下来我要干什么？
正好那个时候看到了 GAN，我就觉得这个东西特别击中我的兴奋点，所以我要开始做它。
但一开始还是比较谨慎，觉得不想轻易放弃自己的物理背景，所以最初我们还是做 AI for Physics 比较多。
一开始的 AI for Physics，主要做的是高能现象学，也就是 high energy phenomenology。这和我们现在的一些 physics of AI，也就是所谓的 AI 的物理学，在方法论上有很多相似之处。它既不是完全的理论，也不是完全的实验，而是一种现象学，是能够嫁接理论与实验的一座桥梁。
AI for Physics 的本体是 physics，服务对象是 physics；但是 physics of AI 的服务对象是 AI。
张小珺
对。
刘子鸣
这也是为什么从 2017 年做到 2022 年，我做的都是 AI for Physics。其实那个时候我们就已经开始谈 AI 科学家、AI 物理学家这样的概念。
但到了 2022 年，ChatGPT 出现了。我觉得物理里面没有那么多像 ChatGPT 一样 sexy、值得去做的东西，对吧？所以我把 AI 和物理的角色换了一个位置，不再是 AI for Physics，而是 physics for AI，更具体地说，是 physics of AI，也就是 AI 的物理学。
我要用物理学的方法论和思想，帮助我们更好地理解 AI、设计 AI。
张小珺
所以你本科就已经开始接触 AI 了。你做 AI 了吗？
刘子鸣
本科就开始做 AI。我的第一个项目就是拿 GAN 去做高能物理里面的一个任务。和很多人一样，第一个项目显然是不成功的。
但在这个过程中，我自学了很多 AI 的东西，也慢慢觉得，学习 AI 能够给我带来的愉悦和成就感，比物理多很多。所以我学着学着，基本上把所有时间都投入到 AI 上面了。
张小珺
所以你本科毕业的时候是一个什么状态？
刘子鸣
我本科毕业的时候发表了 3 篇 AI for Physics 的文章，其中 2 篇和高能物理相关，还有 1 篇可能算是 physics for AI。我们用了量子力学里面的一些想法，设计了一个更好的采样器和优化器。
所以那个时候我的状态还是偏物理，包括后来申请博士，申请的也是 MIT 的物理项目。
Max 算是“不拘一格降人才”。整个 MIT 物理系，除了他，可能还有 Marin Soljačić，另一个做光学和 AI for Optics 的老师。他们两个关系非常好。那时候是 2020 年，AI for Science 还是一个有点过于遥远的概念。
我记得当时申请博士时，在研究计划里写的是接下来要做 AI for Physics。只有 Max 看到了我的材料，然后说：“我要招这个人。”于是他把我招进去了。
张小珺
他是因为喜欢你的研究方向招的你？
刘子鸣
他喜欢我的研究方向，也跟我说，看我的个人网站觉得非常厉害。因为我当时在个人网站上画了一个类似八卦图的东西，去展示我的 research interests，以及这些研究兴趣是怎么相互关联的。
他觉得这和他的思维模式非常像。Max 也是一个思维比较发散的人。你和他聊一个小时，可能会涉及 5 到 10 个 topic。因为他本科读的是经济学，后来才转去做物理，2012 年又开始讲 AI for Physics，这是非常早期、非常超前的做法。
我觉得，这都和他兴趣广泛有关。他能够看到不同事物之间的联系，是比较典型的所谓“鸟人”。Freeman Dyson 会把科学家分成鸟人和蛙人。
鸟人简单来说就是每个领域都懂一点，能够看到不同领域之间的结构性相似，因此可以把一个领域的方法搬运到另一个领域。鸟人的好处是能够鸟瞰整片领域，把主要时间花在寻找更 high level、更高层级、更抽象的东西上。
蛙人则会把一个领域做得非常精细，研究得非常深刻。在这一点上，我和 Max 都是非常典型的鸟人。
张小珺
你是 INTJ，我感觉 INTJ、P 人比较像你说的这种鸟人、发散型。
刘子鸣
他是 ENTP。Max 是 ENTP，我其实也有点 T 和 P 不分了。因为我感觉很多事情，不管是研究还是生活，其实都不是自己能够控制的，所以渐渐也变得更 P 了一些。
张小珺
你在博士的研究探索上有一条主线吗？
刘子鸣
3. Mechanistic Interpretability Arrives
中间换过几次方向。2022 年之前，还是 AI for Physics，做 AI 物理学家。2022 年底 ChatGPT 出来之后，Max 说：“整个组都要换方向。从现在开始，我们要做机制可解释性。”
为什么？因为大语言模型太危险了。为了保证它的安全，我们需要理解它内部到底是怎么工作的。
所以大概在 2023 年、2024 年这两年，我们主要围绕机制可解释性展开研究。
顺便说一下，KAN 是我自己的一个 side project。一开始 Max 还不同意我做这个项目，但我做了大概 2 周，取得了一点初步成果，他就说：“这个东西还有点意思，那你接着干吧。”
张小珺
为什么他一开始不同意？
刘子鸣
KAN 是一个很有影响力的网络，这也算是一个呼应，因为我是因为 GAN 进入 AI 的，后来我们在 2024 年又提出了 KAN。
Max 一开始不同意，是因为他给我甩了一篇 1989 年的论文。那篇论文是 Tommaso Poggio 写的，他是 MIT 非常有名的教授，今年应该 80 岁了。
他在 1989 年讨论了两位苏联数学家 Kolmogorov 和 Arnold 提出的数学定理，认为这个东西没有办法变成真正的算法。因为他们找到了一个 worst case，也就是最坏情况。在这个最坏情况下，无法找到严格的两层光滑 Kolmogorov-Arnold 表示。
这听起来很冗长，反正前面加了一系列限制性条件。但我作为物理出身的人，有时候并不那么 care 最坏情况是什么样。我关心的是一般情况，关心它能不能在某些场景有用。只要它在某些场景有用，它就是一个好的东西。
这可能也和另一个想法有关：all models are wrong but some are useful。所有模型都是错的，但有些模型是有用的。
我就在想，数学上告诉我这个东西在最坏情况下不 work，但物理上我们关心的东西通常都有很漂亮的结构，它们并不是最坏情况。人能够生活在这个宇宙里，说明我们的宇宙不是最坏的宇宙，而是一个还不错的宇宙。只有这样，我们才能演化出生命，才能在这里问“我们到底是不是在最坏的宇宙里”。
基于这种乐观性，我暂时忽视了 Max 的警告。别人 1989 年就说这个东西不 work，但我花了 2 周把原型做了出来，然后去找 Max，说：“你看，我把这个网络训练出来了。”
但 Max 一开始还是不满意。他说：“我不知道你的网络内部到底发生了什么。你还是造了一个黑盒子出来。”这也是机制可解释性要解决的问题，它仍然是一个黑盒子。
Max 说：“你能不能想办法把这个网络可视化？”我大概花了 1 周时间。那个时候我还不相信 coding agent，当然当时 coding agent 也没有现在这么厉害，所以代码还是一行一行手写的，可视化也确实花了我一周。
把可视化做好之后，Max 说：“Wow, this is awesome。”因为 Max 是一个超级视觉的人，其实我也是。我一定要看到一个东西才会相信它。如果看不到，我就会觉得很难受。我的脑子里有一个图像，却没有办法把它倒出来，就会很难受。
所以我把 KAN 的结构图画出来之后，Max 被说服了。他说：“这个东西太有趣了。我们居然能够看到这个网络的脑子里到底在想什么，而不仅仅是看到它端到端的预测结果。”
通过这种方式，我说服了 Max。后面其实就是一些很正常的 research 工作，但早期确实是一段很有意思的经历。
张小珺
你当时为什么想到要做 KAN 这个网络？
刘子鸣
我觉得这也是我一直以来的一个执念。我会觉得 AI 和物理这两个学科的哲学差得太远。
至少我们现在的 AI 是基于连接主义的，是一种神经的东西；但物理是基于符号的。我就觉得这两个东西不统一，很不好。
这可能来自受过物理训练之后的一种冲动：想要系统化，想要做统一。早在 2021 年，我就在思考，怎么构建一个网络，让它既是一个网络，同时又是一个符号公式。
这有点像波粒二象性。量子物理里，一个粒子既是粒子，同时又是波。那我能不能构造一个网络，让它既是神经网络，同时又是符号公式？
基于这个探索，我写出了一个方程。其实过了几天我才知道，我写出来的方程就是 1957 年 Kolmogorov 和 Arnold 写出的那个方程，只不过我是从另一个角度，从神经网络和符号公式波粒二象性的角度写出了这个公式。
后来我才意识到，两个苏联数学家在 1957 年就已经写出来了，而且他们证明了这个东西具有万能逼近定理，相当于给我们的模型提供了理论背书：这种表征能够表示任意函数。
这样一来，我一直以来的执念就被 close 掉了。
张小珺
在 KAN 之后，你的探索是怎么延续下去的？后面和这个工作还有关系吗？
刘子鸣
4. Designing Models Scientifically
KAN 对我来说更像是一个例子。什么样的例子？就是我通过拍脑袋，设计出了一个新的架构。
我觉得自己有时候思维模式比较抽象，或者比较 high level。KAN 成功之后，我想的不是怎么把 KAN 应用到不同场景，而是怎么复现“我能够提出新架构”这件事。
这也导致了我后来对 physics of AI，也就是 AI 的物理学的探索。我觉得设计模型本身应该是一门科学，不应该像我们现在这样，Transformer 是拍脑袋拍出来的，GAN 是拍脑袋拍出来的，ResNet 是拍脑袋拍出来的，KAN 也是拍脑袋拍出来的。
这非常不 scalable。我们不应该只 scale compute 或者 data，而应该 scale AI 模型的设计。但这个事情怎么 scale，又是一个巨大的 research 问题。
所以在 KAN 之后，我把它看作一个出发点，开始更多思考 math science 才会面临的问题：我是怎么思考出来的？我想把这个思考过程蒸馏到一个模型当中。
这成了我新的执念，也是我现在参与创业、做 AI for AI 想做的事情：把我自己，或者世界上顶尖 AI 研究员的脑回路，蒸馏到模型当中。甚至不只是蒸馏，我希望模型能够产生一些比最顶尖的人类科学家和研究员更好的东西。
张小珺
大家说 Transformer 的时候，也会说它是抽中了 GPU 的彩票，因为它和芯片更加适配。如果基于 physics of AI 或者 AI for AI，设计出一种新的模型结构，那它和当下的硬件能够适配吗？
刘子鸣
这是个好问题。其实这更加说明，Transformer 在算法上也没有那么厉害，它是中了硬件的彩票。
我挺同意赛宁之前在你的采访里的一个观点。他说，大语言模型是反 bitter lesson 的。大语言模型之所以成功，成功点在语言，不在模型。
语言是人类演化了百万年的结果，相当于自然给我们的馈赠。我们把这个礼物拿过来，只要模型能够把这个馈赠吃下去，它就是一个好模型。它可能是 Transformer，但在平行宇宙里也可能是另外一个模型。
我们现在已经有各种变种了，比如 linear attention。所以对于语言模型来说，架构设计相对没有那么精巧，是因为语言本身已经是被压缩得很好的一个模态。
但对于很多其他模态，比如视觉，我觉得这也是现在很多世界模型公司想要解决的问题：这些模态没有被压缩得很好。这个时候很重要的一点，是怎么构建一个可以压缩的模型。
这个模型不只是像 Transformer 一样把所有知识记下来，而是能够学到抽象表征。这恰恰是人最擅长的事情。
这个世界的变量实在太多，但我们的祖先要生存下来，就必须理解最重要的要素是什么：那个地方有一棵果树，我要把果子摘下来吃掉，今天就不会饿死；那个地方有一只老虎，不能让它发现我。
因为进化，人不得不擅长从海量信息里识别最重要的部分。这恰恰是现在的 AI 还不具备的抽象能力。
所以我觉得，在 LLM 时代之后，模型设计会变得更加重要。LLM 的成功不是因为模型。当然，我这么说也有点马后炮。
Transformer 的 attention 机制能够让信息在上下文方向上快速传播，这是 RNN 或者 LSTM 那一代模型不具备的，确实是它的创新点。但可能只要找到另一个模型，让信息在上下文中高效传播，它也会和 Transformer 一样好。
Transformer 厉害，不是因为它叫 Transformer，而是因为它能够在上下文中高效传播信息。ResNet 也一样，它厉害不是因为叫 ResNet，而是因为能够在深度方向上高效传播信息和梯度。
张小珺
你自己觉得自己是一个什么样的研究风格？从本科到博士，你有一条主线吗？
刘子鸣
我觉得自己其实有一条很清晰的主线，但这也是后知后觉。很多人会问我：“感觉你东做一下、西做一下。”后来我慢慢总结出来，是从点连成线。
这条主线就是如何嫁接神经和符号这两个世界。更具体一点，是如何嫁接 AI 和物理，或者更一般地说，如何嫁接 AI 和自然科学。
我们人生活在这个宇宙和自然环境里，非常擅长符号。虽然不一定能显式写出牛顿方程，但我们非常擅长预测，比如我抛起一个东西，很擅长预测它下一次会出现在什么地方。这是神经这一部分带给我们的能力。
所以我的整体研究，是想嫁接 AI 和科学这两支。
AI for Science 说的是，现在的 science 太 symbolic 了，我想用 neural 的东西去补足 symbolic 的东西。
张小珺
为什么科学是符号主义的？
刘子鸣
因为它有很多方程式。至少物理是非常符号主义的东西。化学、生物可能也有不少经验性的东西。
这就是 AI for Science。Science of AI 则是说，我不满意 AI 是一个黑盒，不满意 AI 只是一个神经的东西。我想用符号、用 science 去描述、理解、改进和设计这个神经的东西。
包括 AI for AI，我说的 AI for AI 和大家现在说的 AI for AI 也不完全一样。大家现在说的 AI for AI，可能是拿 coding agent 去写 paper，或者提升训练 pipeline。这仍然是从神经到神经，没有闭环到我的 symbolic 部分。
我的 AI for AI，是想用自动化的方式去做 AI 的物理学，用 AI 辅助我们更快地理解 AI 本身，然后最终闭环到不仅是理解，而是提升 AI。
张小珺
为什么一定要引入符号学？没有符号主义也很好，只要能做 AI for AI 就可以了。
刘子鸣
这个地方取决于你的 belief。我的 belief 是，AI 是一个半物理、半生物的东西。
我觉得可以引用 Elias Askever 说过的一句话：Intelligence is compression，或者反过来，Compression is intelligence。
符号是极致压缩的体现。当我们能够把一个东西符号化，意味着能够对眼前的数据做极致压缩。像物理学这样的场景，我们有这样的 luxury，可以把它压缩成符号。
但对于化学、生物或者社会科学，我们可能确实没有办法把它完全符号化。这也是我的认知在演化。
比如去年如果你问我 AI 的物理学怎么做，我会觉得最终一定是符号化的。但做得越来越多之后，我意识到，也许做出一个预测器就够了。
物理最后的目的也是预测，不一定非得用符号理论去做预测。预测器可以是神经的东西，可以是 neural network，不一定是符号的。只要它有用，只要在某些场景下预测得不错，就可以。
所以我特别同意你说的，它不一定得是 AI for AI，也不一定得是符号的东西，可以是神经的东西。只不过符号的东西，so far 仍然是我个人的执念，因为它更可解释。
符号其实是把经验科学变成理论科学的过程。
张小珺
对。
刘子鸣
而且符号有不同的 level、不同的层级。我特别喜欢举天文学的例子。天文学有 3 个阶段。
第一个阶段是第谷。他大量记录星星在什么时候、什么地方，这是数据阶段。
第二个阶段是开普勒。开普勒研究行星轨迹，发现行星轨迹是椭圆，这时已经有了经验公式。
第三个阶段是牛顿。牛顿把开普勒的经验公式、开普勒三大定律拿过来，说这仍然不本质，还需要 3 个定律。我给你写一个引力公式，就可以把这 3 个定律全部预测出来。
这就是一个典型的压缩过程。第谷时代需要记录整个数据表，非常低效；到了开普勒时代，一个椭圆方程加上开普勒三大定律，就可以把数据归纳起来；到了牛顿时代，牛顿说开普勒还是太麻烦了，我可以把这些东西压缩得更小。
对应到现在的 AI，我们大体上处于哪个阶段，要看怎么衡量。有时候会说我们现在处于 1.5 个阶段。什么意思？我们有大量实验，但经验规律还不是很多。比如 scaling law，是我们为数不多的经验规律之一，地位类似开普勒定律。
我们还远远没有到 AI 的牛顿时代。
当然，有时候我会更悲观一点，说我们可能现在是 0.5。为什么？第谷至少把望远镜对准了星空，测量各个星区的星星在什么地方。
而我们过度聚焦，过早收敛到 Transformer 这种架构，似乎失去了探索其他类型架构的 motivation。就像第谷盯着一片星区，觉得这片星区太美妙了，于是忽视了其他星区。
从这个意义上说，我们可能连第谷时代都没有到，可能连大数据时代都没有到。现在的数据只针对 Transformer、只针对很少几种模型有效，我们还远远没有看到整片星空。
张小珺
我给大家解释一下。子鸣现在参与创业的方向，是 AI for AI。刚才我们一直在讲他所相信的 AI for AI。
我们刚才吃饭时也聊到，你在 MIT 的时候其实没有想过创业，还是想着当教授；去了 Stanford 之后才开始想创业。能不能把这段经历讲一讲？
刘子鸣
我觉得 MIT 和 Stanford 是挺不一样的两所学校。在 MIT，大家比较学术，也比较保守。比如 2024 年，那会儿在 MIT，大家都觉得湾区那些人做的 agent 是在骗钱。
所以直到 2025 年 5 月拿到清华的 offer，我的 mindset 还是：我要留在学术界，做出更有影响力的工作，不要跟工业界那些人同流合污。
但现在看来，那时候太 naive、太理想化了。用比较流行的话说，就是还没有脱下孔乙己的长衫。
MIT 的人的信仰是什么？就是我们用 5 年时间能够写出 AI 的物理学。有了 AI 的物理学之后，会发现现在投入这么多资源完全是在浪费，因为我们可以从第一性原理推导出最优架构。
所以你也可以理解，我为什么那时候特别看不上工业界。我觉得你们就是有钱。
张小珺
这也能看出，你理解的 AI for AI 和大部分人不一样。你的理解还是很脱胎于 MIT 的文化，因为你仍然在想最优的模型结构。
刘子鸣
是的。但我现在参与创业，我觉得自己处在一个比较 interesting 的位置。
我比工业界的人在某种意义上更学究、更理性一点。当然不能说他们不理智，他们看到一条可行路径就快速推进，这完全可以理解。
但从学术角度，我会比他们更理性；同时，我又比学术界那些老学究更疯狂一点。
张小珺
你处在中间。
刘子鸣
我处在中间。我的疯狂会让老学究觉得，AI 的物理学可能需要做几百年，需要慢慢做。
但我现在意识到，如果还是靠古法科研，可能确实需要很久。我不是凭空说的：物理学从亚里士多德时代到现在有 2000 年，从牛顿到现在有 400 年。对于 AI 的物理学来说，我们现在有没有到亚里士多德时代，我其实也不确定。
在 MIT 的时候，我特别乐观。我的意思是，相信在学术界靠几个聪明的脑子，就能把 AI 的物理学写下来。有了它之后，就可以 save the world，或者 kill the world，我不知道。
但我那时觉得，不需要那么多试错，就可以把模型设计出来、训练出来。那个时候我的实验其实已经做了很多，已经有大量实验了。
张小珺
这些实验是做什么的？
刘子鸣
AI 的实验。
但慢慢地，我发现 AI 的物理学这条路径走起来并没有那么顺利。
张小珺
这让你绝望了？
刘子鸣
也没有绝望。我仍然相信它最终能够做成，但我觉得这个时间线不是我有生之年能够看到的。
如果不用 AI for physics of AI 的办法，而是用古法科研去理解 physics of AI，就算我招 10 个学生、100 个学生，也仍然不是一个特别 scalable 的方向。
所以我现在参与创业，是想 scale insight。AI 的物理学追求的是 understanding 和 insight。当然，有了 understanding 和 insight，最后还是会闭环到如何提升模型，但第一步是 understanding and insight。
我们不能跳过这一步直接提升模型。当然，能够直接提升模型是最好的。但现状是，你可能想 100 个想法，只有 1 个 somewhat work。
如果不跳过中间步骤，先有 understanding 和 insight，就能够更快地帮助我们设计更好的模型。
张小珺
从那个不想跟工业界同流合污的你，到去 Stanford 以后决定创业的你，发生了什么变化？你在 Stanford 待了多久？
刘子鸣
我在 Stanford 只待了 6 个月，但对我来说像是开智了一样。
我不是说哪边更好，但 Stanford 确实让我身边有很多创业的人。有一个和我关系很好的朋友叫高文浩，他现在也在湾区创业，做 AI for Chemistry。
他和我一开始都是在 MIT 读博士，所以我们的画风很相近：都瞧不起创业，瞧不起大厂。但去了 Stanford 之后，我们同时开始做博后。他在那里待了 2 周，就跟我说：“子鸣，我要创业了。”
我们之前每周吃饭，聊的都是学术。等他开始创业之后，就开始教我创业应该怎么做。
张小珺
他的变化来自什么？才 2 周。
刘子鸣
他可能也有类似的朋友给了他刺激，我不知道。
张小珺
那他让你受到的刺激是什么？
刘子鸣
我觉得主要是，你会特别相信自己的 peer，尤其是那些你觉得和自己风格很像的 peer。
当你看到一个和你风格很像的人做出改变，做出一些你之前觉得很危险、觉得自己做不到的事情时，就会想：是不是我不够激进？是不是我一直待在舒适区里？
这是一个原因。
另一个原因是，我在 Stanford 待的那个组里做的是 neuroscience 加 AI。我的老板也是很有名的 Andreas Tolias，他是全球做 neuroscience foundation model 最顶尖的几个人之一。
我虽然只待了 6 个月，但湾区的节奏确实非常快。我刚去前 2 个月，他们的 startup 可能还在秘密筹划，也是一个 New Lab，不过更偏 neuroscience。他们希望从 neuroscience 的一些 principle 出发，解决 AI foundation model 的问题，更像 neuro for AI。
比如，猴子或者老鼠脑子里的一些表征，能不能用来约束 artificial neural network，也就是人工神经网络中的表征？人脑中的一些结构，能不能用来约束人工神经网络中的结构？
我目睹了他们从筹划到最后 announce 的过程。刚去时他们可能刚开始筹划，等我离开前一个月，他们已经 announce 了。
这对我触动挺大。Andreas 是一个特别 pure scientist 的人，我目睹了他从 pure scientist 转向 entrepreneur 的过程。
后来我跟他说我有创业想法，他说：“那你就待在我们公司好了。我们也想做 AI scientist，也想做 AI for AI。”
张小珺
但你后来为什么没有加入？
刘子鸣
后来想了一下，还是觉得有点寄人篱下。
张小珺
为什么？
刘子鸣
我觉得我们的路线不太一样，做 AI for AI 的 approach 也不一样。我希望至少早期的科研和 R&D 能够按照我的意愿、我的想法去推进。后面怎么做产品、怎么商业化，我是 open 的，但它的 DNA 得是我的方案。
张小珺
原生的想法得是你的。
刘子鸣
对，技术和想法得是我原生的想法。
这可能也是学术圈的人会有的一种控制欲：这个想法得是我原创的，得是我提出来的。当然这也是我现在的想法，过一段时间之后，也许会发现这同样是一件长衫。
张小珺
你的导师有没有跟你说，为什么要从 scientist 转成 entrepreneur？
刘子鸣
答案很简单。他跟我说，他们要做大量老鼠和猴子的实验，这些实验需要非常贵的仪器。
所以他在公司做的事情，其实和在学校做的差不多，只不过公司会更多考虑这件事怎么商业化。他们的投资人还跟他们说，3 年之内不用考虑商业化，可以安心做 R&D。
因为做猴子实验确实急不得。你要采数据，就需要有人养猴子，这个周期是避免不了的。
张小珺
这就说到了我们今天很想聊的话题：今年出现了特别多 New Lab。
你年初在硅谷经历了这一波 New Lab，也亲身经历了他们从筹备到发布的过程。回国之后，你又组建了自己的 New Lab。为什么在今年这个时间点，中美两边都出现了这些 New Lab？它们大量涌现背后的本质可能是什么？
刘子鸣
5. New Labs Challenge Convergence
我觉得这首先是一个人才选择的问题。对于顶尖人才来说，选择无外乎几个：要么在学界；当然现在做 AI，学界的人大多数也会和业界交叉；要么去大厂、模型厂做一个大头兵；要么自己出来单干。
现在有这么多 New Lab，也是当前范式逐渐收敛的结果。现在的人才不太希望去大厂当大头兵。
张小珺
下一个范式、下一个 Transformer，会是你的路线吗？
刘子鸣
它不一定是 Transformer，也不一定是一个新的架构。我觉得它可能是一种新的范式。
我们刚才聊到，现在 AI 不管是 Transformer 还是其他架构，最大的问题是没有办法做抽象。所以它要么依赖输入数据本身已经足够抽象，比如语言；要么就喂大量数据，强迫它涌现出抽象，VLA 和世界模型其实就是这样。
但 so far 仍然不是很 work，因为抽象实在太差了。对于视觉来说，抽象很难涌现。
张小珺
我的意思是，还会有下一个 Transformer 吗？
刘子鸣
当然肯定会有。但我想说的是时间周期问题。
既然已经有 Transformer，已经有了部分好用的模型，是不是应该基于这个模型做工业化，把它推到应用场景里？还是应该继续探索新的范式，涌现出新的结构或创新？
为什么大家现在的选择是出现这么多 New Lab，而不是一门心思推进当前范式下的应用？
刘子鸣
我觉得有些方向仍然需要 research，并不是路径已经完全清晰了。
6. Research Gets Structured
比如我们正在做的 research，也就是 AI for research、Auto Research，并不是一个路线完全清晰的事情，而是处在非常早期的阶段。
当然，coding 已经非常成功，AI for coding 也非常成功。下一个范式自然就是 AI for research。
但 research 和 coding 有很大不同。第一，coding 是高度结构化的；第二，它有大量数据。我们已经有 GitHub，GitHub 上的数据比互联网上其他部分的质量高得多，结构化程度也强得多。
但 research 并不是被结构化得很好的数据结构。我们现在还经常说，需要研究直觉、研究品味。说这些词的时候，其实就默认研究不是一个可以被很好结构化的东西。
当一个东西可以被结构化、标准化、规模化，大家就会对它祛魅。但我们还没有对 research 祛魅，说明它还没有被结构化、标准化、规模化。
我们要做的是我刚才说的三步。第一步，首先结构化 research。
有时候我们自己做 research，思维是乱的，脑子里这里蹦一下、那里蹦一下，但这些数据没有沉淀下来。未来我们要沉淀研究的结构：
我们先观察到什么现象；这个现象预示着系统里可能有什么问题；关于这个问题，我有什么假设；这个假设告诉我们下一步应该做什么操作；下一步做的操作是不是真的带来了训练提升。
这是一个闭环。我们最近会 release 一篇博客，讲这套方法论以及一些初步结果。
我们的这套方法论缩写叫 OPHIS：O 是 observation，P 是 problem，H 是 hypothesis，I 是 intervention，S 是 speedup。我们认为，所有 research paper 都应该按照这种结构进行结构化。
科研不可能总是顺利地沿着这条思维链推进，可能会在不同节点之间来回跳。但没关系，至少最后要把所有东西结构化成 O、P、H、I、S。
有了这样的结构，我们相当于创造了一门研究的语言。这个说得有点玄学，但我认为研究语言大体基于自然语言，背后的结构则需要我们自己去抽象，自己创造出来。
一旦有了 research language，就可以像训练大语言模型一样，训练一个 research language model。那时 research 就能够被自动化、规模化。
张小珺
所以这就是你现在正在做的事情？
刘子鸣
是的。
张小珺
我的意思是，为什么现在出现这么多 New Lab？你有没有一些观察？
刘子鸣
我觉得 New Lab 找到了当前主流范式的一些痛点。Auto Research 是其中一个例子。
沿着 coding agent 的范式继续往下做，会有一些 missing parts。就像我刚才说的，research 的结构还没有被很好地 structured。
世界模型也是这样，它需要设计比较新颖的架构。对于这些方向，当前范式还无法立刻解决。
简单来说，New Lab 的出现有两个原因：第一，你不想去大厂做大头兵；第二，当前范式有明显痛点，有些地方暂时打不到，而且早期可能需要大量 research，而不只是对资源、对工程就能做成。
我刚才举的两个例子，就是 Auto Research 和 world model。这是我能看到的当前范式不能立刻解决的两个重要问题。
张小珺
简单来说，Auto Research 或者 AI for AI，其实都在讲一件事：训练一个 AI researcher，把它训练成能够自主做研究的 AI researcher。
世界模型的本质，则是给机器人训练一个脑子，它其实是 for robotics 的赛道。
刘子鸣
是的。
张小珺
这也是当下所谓 New Lab 融资、资本涌入最活跃的两个方向。
刘子鸣
是的。
张小珺
你们实际融资的感受怎么样？今年这个市场上，能不能给大家说一些体感？
刘子鸣
我是 3 月份回的国，大概是 4 月底入职清华，5 月底开始参与融资。这个过程我的体感就是，太疯狂了。
7. Capital Moves Quickly
更大的方向当然是 AI for Science。很多投资人会把我们归类到 AI for Science，其实是因为 AI for AI 最后还是要 for 一个东西。它可以是 AI for AI for world model，也可以是 AI for AI for science。
张小珺
你们 for 的是 science 吗？
刘子鸣
可以 for science，但我们现在还没有定。
很多投资人会把我们放在 AI for Science 下面，按照 AI for Science 来聊。但不管是 AI for Science、世界模型，还是 AI for AI，我觉得一级市场都处在一个非常 formal 的状态。
张小珺
有多 formal？
刘子鸣
我也没有比较，所以很难说。但确实大家都在相互打探消息，投资项目的动作非常快。
张小珺
你们 close 得也非常快，而且从种子轮到后面种子轮加轮、加轮、再加轮，可以无限加下去。
刘子鸣
这是一种比较常见的融资策略。上一轮的投资人没进来，我就开下一轮；开了一轮之后，下一轮投资人又没进来，就再开一轮，相当于连续融资的状态。
张小珺
你当时为什么没有想在美国创业？为什么做了回国这个动作？
刘子鸣
我觉得 Auto Research 需要比较多的、高质量的高智商人才。
我在 MIT 其实也带过二三十个本科生。我的体感是，MIT 本科生的平均水平其实远不如清北本科生。
我要做的事情需要带小天才，需要很多小天才加入。所以我就加入清华，也不叫回到清华，因为我之前是北大的。这样顺便也能从北大吸引一些学生过来，相当于聚集我认为全世界最聪明的学生。
现在我在期智研究院带的十几个学生，都是我认为非常顶级的学生。
张小珺
当我们说 AI for AI 和 New Lab，自然会想到田渊栋在硅谷的那家公司 Recursive。你们的方向有什么不一样？当我们说 AI for AI 时，你们做的是同一件事吗？
刘子鸣
这是基于我对他们最近发布的博客的理解。他们的第一步努力，更多还是 coding agent 的改进。
我的理解是，coding agent 的路线更像是做一个更勤奋的 AI for AI：我有超强的行动力，可以不停迭代。
但我们想做的是一个更聪明的 AI for AI。比如我提出 3 个想法，可能其中 1 个就 work 了；以前用 coding agent，可能提出 100 个想法，只有 1 个 work。
当然，最终勤奋和聪明都是需要的。我觉得我们是两个正交的方向，最终会在某个地方把两种 approach 整合起来。
张小珺
你和他们也聊过，对吧？在回国之前。
刘子鸣
我和田渊栋聊过。田渊栋本人其实挺支持 science of AI 的。
说实话，我也有一些危机感。如果他们的路线最后变得和我比较相似，那一定是田渊栋做的。
我和田渊栋在 science of AI 上，包括他之前做的 grokking 研究，我们之前也有相关研究，所以我们的 taste 很相近。
但目前来说还是不完全一样，我还是想按照自己的想象去推进这件事。
张小珺
我发现你非常在意自己的原生想法。这个原生想法来自哪一刻？AI for AI 或者 physics of AI 的想法，诞生于哪一刻？
刘子鸣
8. The Meta Model Emerges
最近 AI for AI 的想法，诞生于我把自己当成一个模型去训练。
这是我从今年年初开始做的事情。我每天随机拉一个数据集、随机拉一个模型进行训练。在实验之前，我会问自己：现在你来预测一下，这条训练曲线会长成什么样子？
我日复一日地做，大概做了 60 天。你如果去看我的个人网站，那里有一个博客专栏，会发现我早期更新得非常频繁，每天都更新，有时一天更新 2 次。
那段时间我基本上在闭关，把自己当成一个模型训练。今天做了一个实验，就训练自己的大脑：这个模型、数据集和优化器，会产生怎样的训练曲线？
一开始我的预测能力很差，可能连趋势都预测不对。但训练了自己 40 多天之后，我发现自己开始变准了。
我在做实验之前，大概能够预测实验结果是什么样。前几天做的是 language 相关实验，今天做的是 vision 相关实验，有时候也能预测准。
张小珺
你是怎么预测的？
刘子鸣
我不知道。我只是训练自己的脑子。
我现在还没有办法把脑子里的东西写成自然语言。它可能是一种视觉 reasoning，也可能在潜空间里有一些 reasoning，但我说不清楚这些潜空间 reasoning 到底是什么。
但 somehow，我突然获得了某种预测能力：在做实验之前，就能部分预测实验结果。
正是这个在自己身上的人体实验，让我相信元模型是存在的。
元模型的输入是一个模型，以及可能还有数据集、优化器等信息，输出是这个模型的训练曲线。
今年年初那 2 个月，我基本上把自己当成元模型训练。训练到 40 多天时，我突然 grok 了，突然顿悟了。
这种近似苦行僧式的修行，让我意识到元模型是可能的。
张小珺
你为什么想做这件事？
刘子鸣
动机还是 AI 的物理学。如果我能够预测清楚接下来会发生什么，相当于我脑子里有一个关于 AI 的世界模型，或者说有一个关于 AI 的物理学。
物理学就是我拿出物理理论，不用做实验，通过 simulation、计算，就能预测之后会发生什么。相当于一种先知的能力：只要能够预言之后会发生什么，就一定掌握了某种世界模型。
张小珺
基于你自己的人体实验，你相信元模型存在。接下来呢？
刘子鸣
问题是，我没有办法把这种 know-how 写下来。So far，这些知识还以某种脑电波的形式存储在我的脑子里。
下一步很自然，就是把它外化，把自己复制一份，做一个能够取代我的元模型。
因为我每天最多做一个实验，把一个实验做得非常仔细，最多做两个。这是人的 bandwidth，是人的带宽。
但一个模型一个 batch 就可以看到几千组东西。如果我日复一日把自己当成元模型训练，可能要训练 1000 年、几千年，但我活不了那么久，所以要加速这个过程。
我要做一个元模型。它不像我一样需要睡觉，不需要吃喝，也不会有情绪，它的任务就是看各种各样的实验，然后预测结果。
在我自己的人体实验里，40 到 50 次之后基本就开始出现 grok 的迹象。元模型可能没有我这么强的抽象能力，所以需要 400 到 500 次，但多消耗一些计算资源也无所谓。
这个想法主要就是把自己外化，把自己的脑子外化。
张小珺
它和 AI for AI 的关系是什么？
刘子鸣
我觉得元模型是 AI for AI 的一条技术路径。有了元模型之后，它可以做很多事情。
比如现在有 100 个想法，不知道该尝试哪一个。更具体一点，有 100 个架构，不知道该试哪一个。元模型把架构作为输入，就能够预测模型的性能。
这样就不需要做 100 次实验，只需要用元模型前传 100 次，做 100 次预测，这是非常便宜的事情。
当然最后还是要真的做实验，但在筛选想法这件事上，元模型能够帮助 AI for AI 的迭代系统更快地迭代。
以前没有好的直觉、没有元模型辅助时，100 个想法可能都要尝试。现在，语言模型可以在事前做排序，告诉你哪个想法比其他想法更 promising。
这个想法更多是做 AI research，所以是 AI for AI。我有时候也会把它叫作 Auto Research。因为这里的 auto research 是 AI 的 research，而我们的 auto 也是用 AI 去做 auto，所以 Auto Research 其实就是 AI for AI 的概念。
张小珺
世界模型是预测下一个 state，语言模型是预测 next token，你们算是预测一个实验结果？
刘子鸣
我们预测 next curve。我们的实验结果就是一条训练曲线。
张小珺
那你们的训练语料是什么？需要训练自己的模型吗？需要多少算力？怎么开始做这件事？
刘子鸣
我们会先从 demo 做起，因为我觉得这是一个 3 到 5 年的长期事情。
对于元模型来说，我们的数据是模型。这个地方有点绕，因为元模型是一种关于模型的模型，或者说关于模型的世界模型，所以训练数据就是模型。
我们要训练这些模型，拿到它们的训练曲线，这样就获得了一个 data point。然后再生成另一个模型，另一个模型也会有一条对应的训练曲线。
有了模型和训练曲线的 pair 之后，我们就用监督的方式训练元模型：输入是这个模型，元模型应该预测它的训练曲线。
它贵的地方在于需要不少计算资源，但不像大模型一样需要很大的集群，也不需要很好的卡间通信，因为我们要做大量小模型。
但这些小模型不是 Transformer 的小模型，我们强调的是多样性，要让元模型见过很多看起来非常奇怪的架构。或许某个架构能够帮助我们跳脱出 Transformer 当前的 local minimum。
张小珺
目标是什么？
刘子鸣
终极目标是发现下一个模型结构。最终希望下一个 Transformer 不是人发现的，不是人拍脑袋发现的，而是由元模型预测出来的。
张小珺
中间要实现什么？下一个模型结构也许是终极目标，那中间目标是什么？
刘子鸣
中间目标还是刚才聊到的：结构化 research，收集结构化数据，训练我们自己的 research model。
我之所以这么划分，是因为中间目标听起来也是训练一个模型。可以借用 Rich Sutton 的 bitter lesson：短期数据不够时，需要引入结构；长期数据特别多时，就不需要结构了。
短期内，研究的结构化数据还比较少，所以需要把结构引入整个框架。这是短期更务实的事情。
长期来看，元模型是一个端到端的东西。可以类比为：短期做一个 world model，长期做一个 VLA。这个趋势可能和现在反过来，但不重要。重要的是最终做成 AI for AI，中间路径可以边探索边往前推进。
张小珺
为什么短期是 world model，中间是 VLA？
刘子鸣
World model in the sense，是它有更多结构；VLA in the sense，是它更加端到端。
张小珺
所以现阶段你们还不是在训练自己的模型？
刘子鸣
现阶段更重要的是结构化 research，以及收集相关的结构化 research 数据。
张小珺
怎么结构化 research？你也说过，你们的目标不是做一个 paper agent，不是训练一堆论文，让它发现下一个科学原理。
因为论文其实是整个研究探索的结果。过程中的灵光一现、曲折，以及点点滴滴、草蛇灰线，都没有被记录下来。你们怎么做结构化？论文只是最后的结果，或者说只是某种公式，它可能还没有被充分符号化。
刘子鸣
可以这么说，大概只有 1% 的 AI 论文结构化做得不错。
比如朱泽园他们做的 Physics of LMs，这篇论文的结构化就做得比较好：我观察到了什么，接下来决定做什么，做实验的 chain of thought，也就是 reasoning chain，非常清晰。
但可能 99% 的 paper 都不会包含这么清晰的研究思维链。
很长一段时间里，大家把展现思维链当成一种耻辱。
张小珺
为什么？
刘子鸣
因为你要显示自己很厉害，就要让别人觉得不可琢磨。你要直接把公式写下来，说这是我梦到的，不是我推出来的。这样别人会觉得你很牛。
我写 paper 也受 Max Tegmark 的影响。我们写 paper 一方面比较平铺直叙，另一方面也会把思维链写进去。
包含思维链的文章虽然不多，但也不少，因为论文的基数本来就很大。
另一方面，我们会收集自己的一些数据。以前我和学生讨论 project，经常感觉我们的思维链没有被很好记录下来。但这些恰恰是 Auto Research 所需要的数据。
Auto Research 现在做得不好，可能和架构、路线关系不大，主要是因为数据还没有保存下来。
我们的第一步，是构造一个 device 或者 software，更好地采集整个思维链。比如开会讨论，这是思维链的一部分。
最终要做到的是，在做下一个实验之前，强迫你写一段话，评价之前做了什么、得出什么结论，然后才能进入下一个实验。
张小珺
也就是说，现在还是一个流程化的系统？
刘子鸣
对，目前还是比较流程化的系统。
张小珺
这需要多大规模的数据？如果只是采集你们几个人的数据，肯定太少了吧？
刘子鸣
这个地方分几种。一种是 paper，数量很多，但质量不一定高。
人的数据，这个是我瞎说的，因为我们还在构建采集系统，还没有真正开始采。但我预计，如果一天采 10 条，20 个学生加员工，每个人每天也采 10 条，一天就是 200 条，两个月就有 1 万条。
我觉得差不多可以开始训练模型，某种意义上蒸馏我们自己。
张小珺
采集完数据，下一步是什么？
刘子鸣
下一步是训练一个模型。
张小珺
元模型吗？
刘子鸣
不是。元模型是非常终极的目标，可以把它当成北极星。
这个模型是预测我的下一个动作。我们的数据收集器不仅是收集器，也是一个环境。相当于一个科研版的《我的世界》：我在里面做各种操作，并把操作记录下来。
之后会有 next action prediction。它会预测，如果是子鸣，做完这些动作、卡在这个地方，他下一步会怎么做。这样即使我不在场，学生也能获得和我同样水平的反馈。
张小珺
但这样需要训练一个子明模型，每个人都要训练一个模型，或者把所有人的东西混成一个模型？
刘子鸣
对，需要训练这样的模型。当然，这也是我们在探索中不断 pivot 的过程。
一旦开始做一件事情，想法和路线每周都在改，甚至每天都在改，每个小时都在改，只要迭代足够快。
比如这次采访如果发生在上周，我不会讲这一部分，因为这是我们这周才迭代出来的。如果下周再采访，可能这个东西已经做出来，已经开始收数据，也有一些初步结果了。
张小珺
还有哪些人有其他 AI for AI 的路线？现在模型公司也会说自己在做 AI for AI，或者觉得 AI 能训练 AI 会是一个标志性时刻。
刘子鸣
现在主流的绝大多数人，还是基于现有 coding agent 去做。我不觉得我的路线和他们矛盾，我觉得是互补的。
如果细分，有些人更偏向找到下一个架构。比如我的梦想是用 AI 找到下一个架构，我相对不那么 care 生产 paper。
我博士期间就是一个 paper machine，也知道写出来的 paper 真正有价值的可能就那么几个点。写 paper 当然有价值，但我觉得 paper 是研究的副产物。
研究的第一性原理是拓展自己的知识图谱。Paper 只是当知识图谱足够大、脑子里装不下那么多东西时，把它写出来，和同事分享。
我很多时候写 paper，不是因为需要 paper 毕业，也不是因为真的需要一个 paper，而是因为它在我的脑子里，我想把它扔出来、dump 出来。
有些 AI for AI 公司更像 paper agent，但这不是我们的目标。我们的目标是积累尽可能多的 AI 物理学 insight。
这些 insight 不一定是 paper，当然我们希望能够写成 paper。但更重要的是，它们能够形成 AI 物理学知识库，帮助我们系统、科学地设计更好的模型架构。
张小珺
我看到你把 physics of AI 拆成 3 个方向：空间上看得更细，时间上看得更细，以及在平行宇宙里看得更细。这 3 个分法是怎么想出来的？
刘子鸣
9. Physics Maps The Black Box
我喜欢从我们所居住的宇宙角度来思考很多问题。
张小珺
这是你尝试解释 AI 黑盒的方法吗？
刘子鸣
是的。
空间上看得更细，指的是我不仅关注模型端到端的行为，也会关心模型内部的某些神经元，以及内部表征有什么特性。
这有点像解剖：不仅看表面是什么样，也看内部的工作方式和工作模式。
时间上看得更细，是说我不仅关心模型最后一个时刻的表现和性质，也关心它是怎么演化来的。
生物学里有一句话：nothing in biology makes sense except in the light of evolution。意思是，如果不从进化角度理解生物，生物里面没有什么是可以理解的。
生物本身也是黑盒，但从演化角度至少能获得一些理解。你会看祖先在某个时刻没有上陆地，一直待在水里，通过历史和自然进化，理解它是如何适配环境的。
第三个是平行宇宙。我之所以这么叫，是因为我的博士导师 Max Tegmark 是平行宇宙理论的提出者之一。
当然，平行宇宙听起来很玄学，其实就是控制实验。比如有两个培养皿，里面都有一些细菌，但细菌处在不同环境中。对一个培养皿里的细菌来说，另一个培养皿就是平行宇宙。
对应到科学实验，就是做控制实验。在一个环境里能训练出什么样的模型？这个环境可能是超参数。换一组超参数，就能得到性质不同的模型。
这其实是朱泽园在 Physics of LLM 里非常重要的方法论：扫描出一个相图，也就是 phase diagram。
相图是物理学中常见的概念。物质可能有不同形态，在不同状态下有不同的相。同样是 H₂O、都是水，在不同压强和温度下会有不同的相。
AI 里面也有很多相，不管是训练动力学还是其他方面。我们很多 know-how，比如什么 trick work、什么 trick 不 work，往往是针对某个相而言的。
只有当实验处在这个相里，某个 trick 才 work。出了这个相，进入另一个相，它可能就不 work 了，另一个 trick 才 work。
现在之所以混乱，是因为所有人都在说“我的 trick work”，但没有人回答：这个 trick 在什么时候 work？我的模型和系统要处于什么相，它才 work？
这也是 science of AI 或 physics of AI 想解决的问题。No free lunch theorem 告诉我们，没有一个模型、没有一个 trick，能够在所有数据集、所有任务上都比其他方法更好。
Physics of AI 的任务，就是厘清每个 trick、每个架构的适用条件。这才是一种科学态度，而不是做出一个东西就在那里宣传它有多好，却完全忽视它可能有适用条件。
张小珺
Physics of AI 其实也是你想做的 AI 可解释性，你试图把它的原理搞清楚。
刘子鸣
是的，但我会比较警惕“可解释性”这个词。因为不同的人对可解释性可能有不同诠释。
我们认为物理其实就是在解释自然世界。所以，Physics of AI 确实是在做可解释性，但我们要解释到什么程度，不一定要像 Anthropic 一样解释到 neuron level。
2022 年底、2023 年和 2024 年初，我们做了大量工作，去解释神经网络背后在做什么算法，理解一些 neural representation。
但我们逐渐意识到，这些故事有时候没有那么 robust。可能换一个随机数种子，这个故事就完全不对了。或者说，我们解释得过于微观。
好处是非常具体，坏处是不一定鲁棒。所以大体上可以说是可解释性，但不一定非得做到 Anthropic 那种 mechanistic interpretability 的 level。
张小珺
我有一点矛盾。一方面你在做 physics of AI，我理解它是试图理解 AI 的原理、让它理论化，不知道这个理解对不对。
另一方面你要做 AI for AI，这两者怎么联系？做 AI for AI 需要先理解 AI 的原理吗？
刘子鸣
AI for AI 更像是一个能够自动化去做事情的系统、机器。这里面确实有一个 gap。
之所以 AI 能够帮助我们做自然语言相关的事情，是因为我们已经有大量自然语言语料。但我们创造 AI 只有几十年，并没有太多关于 AI 的语料。
怎么建模型，我们都知道。但关于模型本身——训练一个模型，拿到它的训练曲线——这种映射关系目前还非常不清楚。也就是说，连描述这种关系的语言，我们都还没有规模化。
AI for X 成功的前提，是 X 有大量数据。但 AI for AI，尤其是 AI for AI research，实际上没有大量数据，至少没有大量结构化、质量高的数据。
而结构化这件事本身，就需要 physics of AI。
这里可能有点绕，我也需要明确说明，我的想法是很非主流的。因为 AI for AI 的绝大多数人想的是，直接用 AI 提升 AI 就好了。
但我说，stop，中间其实还有一步：先做 physics of AI，它能够帮助我们设计 AI。但人做 physics of AI 太慢，古法科研做 physics of AI 太慢，所以需要用 AI 帮助我们做 physics of AI。
所以我认为，AI for AI 的全称应该是：AI for physics of AI for AI。
有了 AI 的物理学，它才能帮助 AI。
张小珺
这其实就是我一开始问你的：连接主义的过程中，需要符号主义吗？因为你是在连接主义和符号主义之间。
刘子鸣
是的。物理学相对来说更符号主义。
如果 AI 能够自进化，它需要中间有一个符号主义吗？
短期是需要的。我说的短期可能是 100 年以内；长期或许不需要。这仍然是 bitter lesson：长期数据量足够大，就不需要结构。
当 AI research 已经被结构化，有了大量 AI research 数据时，就不需要了。但我们现在连 AI research 怎么结构化得最好都不知道，更别说数据量有多大了。
在这种情况下，我们需要人的先验，或者 symbolic 的东西去做约束。
Agent 某种意义上就是把连接主义往符号主义拉了一点。所谓 harness，就是说你不能太自由，我要给你一些约束。
某种意义上，coding agent 说明符号主义把连接主义往符号主义拉回了一点。
但我们做 Auto Research，希望从比较第一性的、偏符号主义的方向开始。为什么说偏符号主义？我以前也捏造过一个词，叫结构主义。我会认为 KAN 就是一种结构主义。
我为什么不直接讲符号主义？因为太多符号主义的 hater。你一说符号主义，大家就说没意思、老古董。
但符号主义和连接主义在历史上也是不断摇摆的。这一波 AI 是连接主义非常厉害，或许下一波就应该往符号主义回摆一些。刚才说的 agent，已经代表了这种趋势。
张小珺
Anthropic 做的模型可解释性，现在能做到什么程度？
刘子鸣
Anthropic 是比较极端、比较激进的。他们希望理解单个 neuron 在做什么。比如某个 neuron 是说脏话的 neuron，把它 shut off，模型就不会说脏话。
但刚才这个例子其实非常不稳健。可能在一个例子里找到了这样的 neuron，换一个随机数种子，在另一个网络里就没有这种行为。
Anthropic 做的一系列工作，包括 sparse autoencoder、transcoder，都基于这样的想法：把模型内部混合的表征，也就是 superposition 的表征，升到一个高维但很 sparse 的空间，从中抽取原子的概念。
但我个人觉得里面有一些 wishful thinking。我仍然很尊重他们，因为 2022 年底、2023 年初我们做机制可解释性时，也是同样的 approach，所以知道这里面有多少水分。
他们可解释性团队里，像 Samuel Marks、Vasko [?]，以及我之前在 MIT 带过的一个本科生，后来都去了 Anthropic。
比如 Wes Gurnee 去 Anthropic 做的“Claude 怎么做加法”那个任务，其实也是我们组一篇 paper 的延伸。
当我脱下长衫之后，会觉得这些都是很有趣的故事，但 what’s beyond that？这件事我也一直在思考。
最近我又开始重新思考机制可解释性。到了 AI for AI 这个框架下，我突然觉得机制可解释性没有那么飘渺了。
这和我之前对 AI 物理学的判断类似：机制可解释性有点像 biology of AI，也就是 AI 的生物学。
以前我会觉得，生物学发展了这么久，医学发展了这么久，AI 的生物学、机制可解释性也需要几百年。Again，回到 AI for AI 的框架下，我觉得之所以需要几百年、几千年，是因为我们没有办法自动化。
一旦自动化，进展其实可以很快。
最近看到唐杰老师说，智谱要投入万亿级别的资源到机制可解释性上。如果是半年前的我看到这件事，可能会觉得“这是在干什么？”
但现在放到 AI for AI 框架下，我觉得机制可解释性确实是一个好的目标。之前觉得它不 promising，是因为实在太难了。
AI 的物理学也是一样，它是一个好的目标，但因为太难，之前会让人感到 frustrated。
现在有了 Auto Research，至少我们正在 build。虽然目前还没有做成，但有了 Auto Research 系统之后，之前看起来莫名其妙、非常遥远的北极星目标，也许 3 到 5 年内就有可能达到。
张小珺
你觉得 Auto Research，或者 AI for AI，一个关键节点、一个标志性的路标会是什么？
刘子鸣
我觉得是在一个垂直领域，提出一个新的架构。不需要很通用，但这个架构不仅能够碾压现在已有的架构，还能得到人的 endorsement，让大家都说这个架构很精妙。
张小珺
也许不需要被看见？
刘子鸣
对，或许也不需要被看见，好用就行。
我还是会想到何恺明和 ResNet。大家为什么会用 ResNet？有人说它优美，但不要忘了，当时何恺明在 ImageNet 上比第二名高 10%。
所以我在想，要么用拳头把敌人打晕；如果没有办法用拳头把别人打晕，就需要用口舌说服别人，以理服人。
AI for AI 系统要能在一个垂直领域提出新架构，新架构能够刷榜，而且不是只涨 1 个百分点，而是涨到 10 个百分点。
张小珺
Auto Research 或者 AI for AI，是 AI 路线图上的什么坐标？它是必经点吗？
刘子鸣
这里所有词汇都有点模糊。我觉得它是 necessary，但还不是充分条件。
还缺一个东西，就是我们一直在聊的，对数据进行抽象。
为什么抽象重要？因为人有持续学习能力，而人有持续学习能力，是因为人会做抽象。但现在的 AI 仍然不会做抽象。
如果 AI 能做抽象，最多是因为数据本身已经被抽象好了，比如自然语言。
所以要达到真正的 AGI，除了 AI for AI，还需要做抽象的能力。做抽象的能力，是持续学习能力的必要条件。
这取决于我们怎么定义 AI for AI：它是不是需要具备持续学习能力。
张小珺
听起来，你这个 AI 迭代起来之后，左脚踩右脚就上天了。
刘子鸣
我说需要持续学习能力，可能是对 AI for AI 的定义更务实一些。我说的是，在一个垂直领域，它能够提出一个好的架构。
为了达到这个目标，其实不需要解决持续学习能力。但如果要达到 AGI，就一定要解决持续学习能力。
张小珺
现在有一种说法：大模型第一幕是 Chatbot，第二幕是 Coding Agent，第三幕就是 AI for AI。AI for AI 可能也是模型公司的延长线。
作为一个 New Lab，和这些模型公司竞争时，你们的竞争优势是什么？
刘子鸣
Better, different thing。
我的思路来自 physics of AI，这个思路在学术界也算比较先进，是相对早期的方向。但我比学术界的人更加激进，因为我相信 AI 可以加速 physics of AI。
从模型厂角度看，这是一条过于 risky 的路线。但这恰恰是我们的机会。
我相信这条路线，我们组里和公司里也有很多小天才。我能把这些问题拆解，拆解之后由这些小天才很好地完成。
我们有一套非常快速的迭代方式。可能一直到做出 GPT-3 之前，大厂都觉得我们是在胡闹。
某种意义上，这是基于不同信仰的竞争。我们相信这件事，就会让它发生；大厂绝大多数人不相信，就不会往这个方向投入资源。
张小珺
Physics of AI 是 AI for AI 的手段吗？
刘子鸣
可以这么说。我的 AI for AI 就是一种 automated physics of AI，也就是自动化去做 physics of AI。
Physics of AI 最终要理解到哪一层？是不是真的要写出牛顿引力公式？我觉得不一定，而且这很可能需要几百年。
张小珺
投资人问你最多的问题是什么？你和他们讲技术路线时，他们最关心什么？
刘子鸣
10. The Training Autopilot
你刚才其实也问到了：语言模型需要多少算力，以及最后怎么商业化。
在和投资人交流的过程中，我们也逐渐厘清了产品最终是什么样子。
元模型或者 physics of AI 说了半天都是技术，最后这个技术要变成什么产品？
我们最后要做的产品是一个 training autopilot。短期一点，会是一个 training co-pilot。
现在不是所有人都掌握训练模型的能力，但未来所有人都可以训练自己的私有模型。这个私有模型不一定是 LLM，也可能是从 LLM 微调过去的模型。
用户只需要告诉系统自己的需求，系统就能端到端地设计模型、训练模型、部署模型，然后把模型交付给用户。
很重要的一点是，用户可以说：“我这里只有 100 块钱，你要在这个经费允许的情况下，尽可能 deliver 一个好的模型。”
最终，这个系统要做到端到端。它和现在的 Claude Code、Cursor、vibe coding 很像，只不过现在对象是程序员：我想做一个任务，你给我把 code 写出来。
未来则是更加闭环的东西。我不需要告诉你技术路线，不需要告诉你用 Transformer，也不需要告诉你怎么训练。我只告诉你需求，你就能端到端设计、训练和部署模型。
张小珺
投资人也会问，大家为什么要训练自己的模型。
我在想，Cursor、Claude Code 是让不会写程序的人也能写程序，那你这个系统是让不会做 AI research 的人也开始做 AI research，对吧？
刘子鸣
对，让不会自己训练模型的人也能训练自己的模型。
张小珺
这是一个很大胆的想法。它意味着模型未来不只掌握在几个巨头手里。
刘子鸣
是的，人人都可以训练模型。
张小珺
人人都能用你们的系统训练模型。
刘子鸣
是的，人人都可以训练模型。至于训练模型之后能做什么，我也还在想。
现在大家不训练自己的模型，是因为门槛太高。未来有了这个能力，把性价比做得足够高，大家自然会产生需求。
比如我买了一只机械狗，让它陪伴我。我可能会把自己的语音数据、和它对话的数据存下来，帮助训练或者微调这只机械狗，让它更能让我开心。
它不只是每天在那里“汪汪汪”地叫，还可以说一些话安慰我。
现在不会有人为了做这件事，专门去学习怎么训练模型。未来可能会有创业公司做类似的事情。
我们想做的不是自己成为一家 OpenAI，而是孵化各行各业、各个垂直领域的 OpenAI。
我说垂直领域时，讨论的已经比 language model 高了一个层级。最终的元模型，当然不一定真的是元模型，能够设计各个垂直领域的 Transformer。
就像 LLM 统一了 NLP 里的各种任务一样，现在不同的人还在造不同的模型和处理不同的任务：世界模型、LM、AI for Science 模型，各自都在做自己的事情，这些领域还没有互通。
未来会有一个 God，也就是 vibe training 的东西。现在是 vibe coding，未来会是 vibe training。
你把需求说清楚，它就能端到端设计、训练、部署模型。
有了这个能力之后，我实话实说，也没有完全想清楚每个用户训练自己的模型会产生什么需求。但很多时候，技术便宜到一定程度，需求自然会涌现。
现在还没有到那个时间点，所以我们很难想象。
张小珺
这就像电脑。怎么会有 household 想在家里放一台巨大的电脑？后来变成每个人手里都有一台笔记本。
当模型人人可用时，我们用它来干什么？
刘子鸣
不仅人人可用，人人可训。
张小珺
当然，我们需不需要人人可训，现在是一个大问号。
刘子鸣
对。可训不意味着每个人都要成为 researcher 去训练模型，而是作为用户提出需求，系统端到端返回一个你想要的模型。
张小珺
模型可以类比成脑子。我需不需要那么多聪明的脑子在身边？它们可以提供情绪价值，也可以提供智慧。
刘子鸣
我觉得聪明的脑子能够 produce 一些东西，生产出一些能提供情绪价值的东西，而不是聪明的脑子本身提供情绪价值。
张小珺
事实上，聪明的脑子很多时候会让你很恼火。
你对未来模型生态有什么构想？模型会垄断在巨头手里，还是会模型吞噬一切？应用公司还有生态位吗？会不会从垄断慢慢变成人手可用？
刘子鸣
终极目标是，如果我们能 deliver vibe training autopilot，就相当于实现了平权，所有人都能训练自己的模型。
但问题是仍然需要钱。现在训练一个大语言模型这么贵，要做到人人可训，我觉得只有等 physics of AI 理清楚之后，训练成本才会下降。
因为现在还不是最优 recipe，可能还有很大的优化空间。
张小珺
我们也希望为听众提供一些行业的新鲜动态。除了你在做 AI for AI，刚才提到田渊栋老师的 Recursive 也在做 AI for AI，国内还有其他团队。能不能给大家做一个梳理，大家各自的路线是什么？
刘子鸣
AI for AI 在国内还是一个相对新鲜的概念。
我从 5 月份开始融资，融了几天发现 Recursive announce 了，国内就开始火起来。但目前还没有那么主流。
孙天祥很早就开始做这件事，后来去了百度做大模型。
孙天祥非常符合你们工作室名字的想法。他之前采访时说，language 基本上就是整个世界，所有东西都可以被 language 描述，这是他的 belief。
他们之前做过 FARS，那是一个自动生产 paper 的系统，也就是 paper agent。
我们 AI 院还有另一位老师陈永超，他最近也在做 AI for AI。他的路线更偏早期，至少现在更像 paper agent，让 AI 自己写一些 AI research 的文章。
Recursive 那边我们其实无从得知，但从他们的博客里可以窥见一些技术路线。我们大概猜测，他们会强调 Auto Research 系统需要维持一个比较好的 memory。
比如我昨天做了 5 次实验，都是在调学习率，5 次全部失败。那我今天就会记住昨天做过这些实验，今天不会继续调学习率。
但如果你不理解学习率为什么失败，之前的经验也不一定对。可能昨天失败是因为 A 原因，今天其实是 B 原因，这时调学习率反而可能是对的。
所以这里还存在一个问题：到底只是经验驱动，还是机制驱动。
我看他们官网，以及因为田渊栋老师也在里面，所以相信他们也会在 science of AI 上投入。但目前还不太清楚他们 science of AI 的路线是什么。
张小珺
说到研究，研究中所谓的顿悟时刻、研究直觉，怎么训练进模型？首先模型得拿到这些数据。你告诉它思维链，就是让它拿到数据的过程吗？
刘子鸣
是的。我们要强迫自己把思维链写下来。
张小珺
每一个顿悟时刻都有思维链吗？
刘子鸣
一定有。如果没有，说明你问自己问得不够深。
我一开始也很相信研究品味、研究直觉，但现在对这件事有点祛魅。我觉得研究品味、研究直觉有时候是一个遮羞布。
我们聪明到能够提出一个想法，但没有聪明到能够用语言说清楚自己是怎么提出这个想法的，于是把顿悟说成品味、直觉、灵光一现。
还有一句话叫“善战者无赫赫之功”。最厉害的人提出想法，对他来说就像呼吸一样简单。他能够把别人觉得神奇、觉得不可思议的事情，系统化地变成自己的系统。
那些不是最顶级的人，也能提出一些好想法，但可能不知道自己是怎么提出的。
我一直在有意训练自己：不仅要提出好的想法，还要追问自己是怎么提出这个想法的，尝试把想法语言化。
这对我来说非常难，因为我不是一个通过自然语言沟通特别顺畅的人。我的思维模式可能更像 Max Tegmark，我们都比较偏视觉。
所谓偏视觉，就是脑子里会有一个图像，非常想把它画出来，但我的美术又不好，所以很尴尬。
有时候我只能把东西真的做出来，展现在别人面前。这就是我的沟通方式。
所以我觉得思维链一定或多或少能够被说出来。
还有一条路径：当脑科学发展得足够完善，而且没有道德问题时，比如可以用侵入式方式检测脑电波，或者有更高级的非侵入式方法检测到清晰的脑电波信号，那时不需要语言，直接测这个人的脑电波就行。
但现在我们没有办法获取一个人的脑电波，只能拷问这个人，或者拷问自己：我刚才到底是怎么想出这个想法的？
如果你说不出来，说明拷问得还不够深。只要拷问得足够深，总能说出一些东西。它不一定完全取代脑电波的价值，但至少能说出一些东西。
张小珺
你刚才说，你做博后的实验室创业时，投资人跟他们说 3 年不用盈利。国内投资人可能完全不一样，恨不得当天就能盈利。
你们什么时候能有产品？什么时候能有商业模式？Road map 是什么样的？
刘子鸣
6 个月之内，我们还是侧重 R&D，做一些 demo，以及产品雏形。
6 个月之后，根据这 6 个月的成果，决定接下来怎么做。肯定到 1 年这个时间节点，会开始产品化和商业化。
但 6 到 12 个月的 research and development，对于一个 New Lab 来说非常重要。不能过早投入到一个其实不够好的方向，只为了短期交差、短期商业化。
需要 6 到 12 个月探索，找到更好的方向。
张小珺
New Lab 的本质，你觉得应该是 lab 还是公司？之所以起一个新名字，是因为它既不是 lab，也不是公司。
刘子鸣
它应该像我说的那样，先用 6 到 12 个月按照 lab、按照 research institute 的方式运转。
一旦 grok 了，一旦顿悟了，就应该按照公司的方式运转。
张小珺
这是前 OpenAI 时代和后 OpenAI 时代的感受。
那会不会给它做 lab 的时间不够长？OpenAI 毕竟慢慢做了很多年。你觉得现在的生态或机制，有那么长时间的探索期吗？它有这个包容度吗？你们的现金流够吗？
刘子鸣
现金流方面，我们会持续融资。
我个人觉得，现在的路线已经相对清晰，6 到 12 个月能够画上一个逗号，然后开始做产品。
如果 1 年前问我，我可能会觉得需要 3 到 5 年的 research and development。也是在不断思考、意识到元模型可行之后，我才决定快速推进。
之前我确实比较犹豫，因为没有找到清晰路线。当然，这条路线在做的过程中也会不断调整。
张小珺
你们的路线可以描述成元模型、AI for AI、Auto Research，也可以描述成 physics of AI。哪个词最精准？
刘子鸣
如果只选一个，我觉得 Auto Research 最接近。
但我觉得需要创造一个新词，专门给我们的路线命名。So far，我们还没有太思考这件事。
张小珺
未来可能需要。比如 AI 的物理学这个名字，就是你们自己起的。
现在所有 New Lab 都在描述自己做什么事情，但创业者和投资人脑子里想的不是一回事。
之所以使用这些 cliché words，是因为投资人需要听懂。你们也被投资人描述成 AI for Science，但它和你心里的构思不一样。你自己也还没有找到最准确的词，所以也在套用一些词汇。
刘子鸣
是的。
张小珺
从投资人的视角，我的理解是，他们投的方向其实很广。在他们接触的范围里，AI for Science、AI for AI、Auto Research 是一类，计算模型、世界模型也算一类。
你觉得今天处于 AI 发展的什么时期？它收敛清晰了吗？
刘子鸣
对于大语言模型来说，收敛已经比较清晰了。
新的机会来自我们一开始聊到的世界模型和 Auto Research。这两条赛道还处在相当早期，大语言模型可能辐射不到。
辐射不到不是因为我是 Transformer hater。更多是因为 World Model 需要找到一个全新的架构，更好地抽象并找到物理世界真正的 latent space。
Auto Research 则更多是因为大语言模型没有见过这种数据。第一步要结构化，第二步要收集结构化的 research 数据。
有了这些数据，大模型也能吃，可能做得也不赖。元模型这条路径是一种关于模型的模型，大模型做不好，也是因为没有见过关于模型的数据，没有见过太多关于模型的结构化数据。
张小珺
你创业几个月，什么感受？
刘子鸣
节奏非常快。
张小珺
多快？
刘子鸣
基本上除了睡觉都在工作。
但这也是一种挺新的体验。一方面有了更多资源，认识了更多人，好像突然接触到了一个更大的世界；另一方面，技术和研究上的事情还是得踏踏实实去做，是一个不小的挑战。
以前只需要踏踏实实做研究，现在不仅要做当下的研究，还要和很多人交流，想几年之后的事情，再根据几年之后的目标倒推我们现在该怎么走。
这是有一点 out of my distribution 的事情，也是我正在学习的。
张小珺
如果只能选一个，做 professor 和做企业家 entrepreneur，你会选哪个？
刘子鸣
我都要。我现在就是都要的状态。
张小珺
如果非要选一个？
刘子鸣
再看吧，做做看。
张小珺
现在创业的时代，似乎和以前特别不一样。很多人都有学术背景，或者像你一样有了教职之后再创业，也有人还是学生就开始创业。很多都是 research 背景的人在创业。
刘子鸣
还是取决于做的事情是否需要早期 research 驱动。
Auto Research 和 World Model，至少需要 6 到 12 个月研究驱动的时间，这个时间不能跳过。
至于 6 到 12 个月之后，如果能把脑子里的东西荡出来，形成一个雏形、摆在眼前，再引入有产品经验、商业化经验的联合创始人，帮助把影响力打出来，而不只是做一个小而美的东西，我觉得是可以的。
但首先需要 6 到 12 个月把原型打出来。
张小珺
理想状态是 6 到 12 个月研究探索，产出一个产品雏形。
刘子鸣
是的。
张小珺
最后几个快问快答。全球范围内，你喜欢的一种食物？
刘子鸣
不管在哪里读书还是旅游，我都会想吃热干面。
张小珺
全球范围内，你喜欢的一个地点？
刘子鸣
只要有江河的地方我都喜欢。
武汉、上海的黄浦江边，MIT 在波士顿的查尔斯河边，我都喜欢没事去河边走走。
张小珺
一本影响过、改变过你人生的书？
刘子鸣
《人类简史》。
我一直比较 nerd，不太懂 social science。有时候会觉得，这件事明明不合理，为什么大家都相信它？
读了《人类简史》之后就知道，我们的社会其实是故事驱动的。叙事非常重要，不仅技术重要，背后的叙事也重要。
张小珺
在你心目中，影响 AI 进程的几篇论文？
刘子鸣
太常规的就不说了，比如 scaling law 这些文章。
对我个人影响最大的是 GAN 这篇文章，因为它相当于为我打开了 AI 世界的大门。
张小珺
基于你当下的认知，一个关键的重要的 but 是什么？
刘子鸣
可能就是我们刚才一直讲的：AI for coding 之后，下一个会是 AI for research，但需要用 physics of AI 的方式去做。