翁家翌：OpenAI，GPT，强化学习，Infra，后训练，天授，tuixue，开源，CMU，清华

Hello，家翌，欢迎你来到 Why Not TV Podcast。

Hello，Hello。

这一期很奇妙。我在给你准备 outline 的时候，用的是 GPT-5 的 Deep Research。相当于你自己作为背后的核心开发者，用你们的产品和模型来做 Deep Research，帮我想采访你的问题。作为背后的生产者和 developer，这形成了一个很奇妙的闭环。

今天我们会谈到很多部分，从你的童年成长、清华本科经历，到 CMU 读研，再到 2022 年加入 OpenAI 之后的核心开发经历。我想先从你的童年开始。你觉得自己小时候是一个什么样的小孩？

1. Learning Ahead of Time

我小时候特别喜欢学奥数。

奥数？

对。我从一年级开始学奥数。开始的时候，我爸妈让我去进修学校上奥数课和语文课。我对语文完全不感兴趣，但是对奥数非常感兴趣，所以就一直上，从一年级上到六年级，初中也是。

我发现自己做数学题比谁都快。小学二年级的时候，别人可能口算题还没做完，写到一半，我已经做完了。那种题甚至不用过脑子，可能用现在时髦的话说，就是直接从表层意识里面出来，看一眼就知道答案。

这让我做数学题非常有成就感。因为我觉得自己学习相比其他人算是比较慢的。怎么说呢，学一个新的东西，我经常要花别人两到三倍的时间。现在其实还是这样，比如我读一段代码，需要比别人花很多时间去理解整个内容和 context。

但是一旦理解之后，我用起来就非常快。有一个不太恰当的例子：我小时候经常要背课文。睡觉之前，我想尽所有方法，磕磕巴巴地把课文完整背出来，哪怕有很多停顿，只要能想起来就好。睡一觉，第二天醒来就会发现自己已经倒背如流了。

我当时的想法是，既然我需要花更多时间，那我就需要比别人提前学东西。所以初中的时候，我开始看高中数学，直接去问初中数学老师一些高中数学的问题。他也非常热心地回答我，我也非常感激。初二的时候，我已经把高中数学学完了，初三开始学微积分。

你做数学题天生就比别人快，但同时又觉得自己学东西慢。我感觉这两件事好像有点矛盾。

我需要更长的时间构建自己的知识树。正常来说，知识树有一个根，然后往上拓展，再往上拓展。你每次拿最顶层的结论去应用到题目中，都要从头到尾过一遍，慢慢想出来。

但我可能会直接建立一个链接，刷一下就上去了，不需要反应。

所以你从小就意识到，自己好像比别人更聪明？

没有，没有这种感觉。

所以你只是觉得自己对数学感兴趣，愿意提前学数学。那你对这件事的核心兴趣是什么？

我想投资未来，投资我自己的未来。

所以初二的时候，你就意识到提前学高中数学是一种投资未来，对你之后的学习生涯有帮助？

对。与其把时间浪费在刷题上，不如学一点对未来有用的东西，后面的收益可能更多。

这是你父母给你讲过类似的话吗？

没有。我父母根本不怎么关心我是怎么学的。

我还是很好奇，为什么你初中的时候就有“投资未来”这种想法？我相信你那时候肯定学有余力。你为什么不去玩，不去打篮球、打游戏，而是想着我要学高中数学？

首先是因为我感兴趣。我觉得初等数学太无趣了，稍微有意思一点的数学更能引起我的兴趣。

是谁让你产生这种兴趣的？是天生的吗？

可以算是吧。也可以说，小学的时候因为这件事获得了成就感，有了初始的 reward。然后慢慢地，我就在数学这方面点技能树。每点一次都会有正反馈，再点一次又有正反馈，于是就会一直在这个方向上走。

比如打篮球，我也试过，但是没有什么正反馈，经常被我舍友按着打。体育方面我还练过跆拳道，觉得跆拳道还可以，但是一打实战就被对手揍。

所以，正反馈来自你本身擅长，同时又不排斥这件事，慢慢就变成了一种自发的、内生的兴趣。

对。

所以这并不是家庭环境影响，而是你自发产生的兴趣？

是的。

这是数学。你初中的时候提前学高中数学，那你什么时候又对编程产生了兴趣？

我初一就开始编程了。小升初的时候我去了时代中学，它是一所私立学校。私立学校有一个编程兴趣班，我当时就抱着玩的心态去试了试，觉得还可以。

我能理解高中有兴趣竞赛，但初中搞编程，应该对升学没有太多用，对不对？

是，没有太多用。

这个兴趣班是你自己找的，还是父母给你找的？

我父母觉得这个可能对我挺有意思，我就试了试。

2. The OI Admissions Gamble

那我们聊聊高中。我觉得你高中最有意思的经历，可能是 OI、省选和 NOI。为什么要搞竞赛？

因为升学压力还是有的。如果不搞竞赛，对于非北京的学生来说，想上清华北大非常难，难如登天。

所以当时主要是因为升学压力才搞 OI？

对，大部分是因为升学压力。我之前已经在搞数学竞赛和 OI。高一的时候，我花了一些时间做数学竞赛，拿到了一些还可以的名次。

但再往上走到数学竞赛省选，我们学校没有那个基础，自己学也很困难，所以我就放弃了。而且省选往上的数学题，我觉得非常困难。我没有那么早接触，学起来很累。

你初中就开始学高中数学，都还不够早？

初中开始学高中数学竞赛可能算早，但我没有提前到那个程度。所以我权衡了一下，还是放弃了数学竞赛，转去搞 OI，也就是信息学竞赛。

能不能介绍一下，通过信息学竞赛升学，一般要经过什么步骤？先省选，然后是什么流程？

先是 NOIP，相当于提高组的省内选拔赛，差不多在 10 月。之后每个省有不同的选拔标准，选出省队参加国赛。

福建省选有两轮，一轮在寒假，另一轮在 4 月。选完之后，5 月、6 月应该有清华或者北大的夏令营，可以二选一，拿到一些优惠条件，至少当时是这样。然后 7 月到 8 月参加 NOI 国赛。

那你在这个过程中表现怎么样？第一轮、第二轮、第三轮，NOIP 还好吧？

NOIP 还好，因为从初中就开始搞。省选的话，高一连省选都没过，几乎完全不会做。高二会做一点，会乱搞一些 heuristic 方法。

比如有一道题叫“最小顶点覆盖”，我当时搞出来 70 分，好像刚好是全场最高。做出这道题之后，我进了省队。

进省队之后，清华夏令营感觉还可以，拿到了降 60 分，无条件降 60 分、有条件本一线。

这个怎么理解？

如果没有保送，高考成绩可以直接加 60 分。如果加完之后过了清华当年的录取线，清华就会要你。

“有条件本一”是说，如果 NOI 考到前 150 名，应该是银牌线，那么就有本一。只要高考成绩过本一线，就无条件录取。如果拿到金牌，就连这个都不用，直接保送。

你当时拿到 NOI 的有条件本一了吗？

没有。这又是一个黑历史。当时我是福建省队倒数第一。福建省当年只有一个铜牌，就是我，剩下的人都是银牌以上。

这次失利对你的升学有影响吗？

还是有挺多影响的。毕竟高二下半年没有搞文化课，我对未来也不是很确定，不知道自己高考能考多少分。

之前有一些例子，有学长把 60 分加分全部用完，最后真的一点都不剩。我觉得万一我也这样怎么办，就很危险。我对这种不确定性非常害怕。

但想了想，我觉得自己应该也没有那么差，还是咬牙选择了降 60 分。

你当时另一个选择，是更保险一点的吗？

更保险的选择是直接在 NOI 现场签上海交通大学的本一线录取。当时这个决定还是挺艰难的。主要是心态上很难过，对未来的不确定性感到害怕。但家人的鼓励还是让我选择了清华降 60 分。

那搞完 OI、搞完竞赛之后，到高三你就不碰这些东西了，all in 高考？

也没有，可能会偷偷碰一下。我对代码优化有特别的追求。当时甚至练成了在 iPad 上直接写代码。因为 Safari 没有代码编辑器，我就用 iPad 键盘直接裸打代码，然后提交，不编译。

那段经历其实很锻炼思考能力。它要求你对整个题目、整个逻辑有完整的认知，哪里错了要能快速定位。这也很锻炼反应能力。对我来说，这是很好的训练。

但对你来说，当时其实不需要这种训练吧？

是的，只是自己很感兴趣。比如 OI 还有一个叫常数优化的东西。同样是时间复杂度为 n² 的算法，实际运行时前面会带一个常数。OI 的评测会按照测试点运行时间排序，跑得最快的排第一；如果一样快，就比较代码长度。

所以我会同时优化这两个指标。刷这个东西虽然没什么用，但是很有意思。

你真是搞这个的圣体，因为你真的能从中获得快乐。

对。

3. Breaking Tsinghua Information Gaps

那我们来聊清华。如果我告诉你，你 2016 年开始在清华读本科，你脑海里第一个浮现的、特别值得回忆的事情是什么？

我把所有作业都开源了。不同的人对这件事有不同看法，有些学长学姐比较反对，但我觉得应该做。

我把收集到的所有上古作业、上古资料，全部在 GitHub 上开源了，有版权问题的没有开源，剩下没有版权问题的都开源了。

为什么？

因为我觉得应该打破信息差。信息差如果你在清华生存，是一个很有用的东西，但我觉得每个人都应该平等地拥有这些信息。

你现在随便抓一个计算机系的学弟，问他认不认识捐钱给清华学堂、把名字放在楼上的那个人，他可能不认识。但你问他认不认识翁家翌，应该认识，因为大家都是看我的作业活过来的。

这时候弹幕应该闪过“加一”。如果我用过、看过你的作业，就应该在这时候发一个弹幕。

但为什么？你把作业开源，本质上为什么和信息差有关？

我想打破信息差，不想让后人重蹈覆辙，疲于奔命。很多人其实不擅长搜集东西，但他们很有能力。如果能给这些人一个信息平权的机会，他们可能在清华活得更好。

所以你的信息平权，是指知道往年的作业、学长学姐以前考什么重点，以及老师没有规定不能公开的作业？

对。否则你经常会花十几个、二十几个小时，又不敢问助教，不知道怎么做，然后花大量时间钻牛角尖。这样对整个学习过程帮助很小，收益很低。

我当时觉得，如果把自己的作业开源，可能会帮助到一些人，也可能让更多学弟学妹用自己的时间去做更想做的事情，而不是把时间浪费在这些没有意义的事情上。

这件事做成了。现在你的作业应该已经成为清华流传很广的 GitHub repo 了。

对。

除此之外，你大一、大二还是大三开始入门科研？

4. The ViZDoom Reality Check

应该是大二。后来我问学长有没有推荐的实验室。当时学长给了我 3 个名字：朱军老师、唐杰老师和崔鹏老师。

我默认这是按照每个人的厉害程度排序的，当然可能不是这样，但我当时就是这么理解的。

你以为那是先后顺序？

对。我以为是先后顺序。后来我报名了计算机系的学术新星计划，好像全部都录取了，我就选择了朱军老师。

大二的时候，我和朱军老师见了一面，问有哪些方向。当时有 3 个方向：贝叶斯、GAN，还有强化学习。

我其实想搞 GAN，因为觉得图像很有意思，但我不知道哪个是 GAN，就选了“2”。

什么叫不知道哪个是 GAN？

当时我什么都不知道，就是个小白。我觉得“2”应该是搞图像的东西，就这样误打误撞选了强化学习。

所以这是一个相当 random 的选择。

对。后来搞强化学习，发现这是一个打游戏的东西，觉得挺有意思，就一直搞下去了。

不过最开始我其实有 3 个大方向都喜欢：人工智能、图形学和网络安全。网络安全里面的 hacking 很酷。大学期间，我业余时间也搞了很多网络安全相关的东西，还给学校修了不少校园网的 bug。

比如成绩单下载一次要 10 块钱，我和另外一个学长发现了一个 bug，可以一分钱甚至不要钱下载。下载几次之后，我们把这个 bug 修了，直接反馈给学校教务部门。

所以你很享受 hacking 的过程？

对。网络安全是一种 hacking。图形学也是一种 hacking，是对现实世界的 hacking。你可以用自己的视角构建脑中想象的场景，这会让你觉得自己是上帝、是神。

我当时最感兴趣的其实是图形学。初中的时候看过一部电影《创：战纪》（TRON: Legacy），它的电影特效非常厉害，把我震撼到了。我当时想，如果有一天能做出这种特效，或者像《创》一样构建一个自己的虚拟世界，那我就圆满了。

我觉得图形学是实现这个目标的一种手段，所以当时特别感兴趣。大二的时候我上了图形学课，因为特别喜欢，所以花了很多时间做大作业，应该拿到了全班唯一的两个 A+ 之一。

我还发明了一个新算法，减少了迭代收敛次数，并且用了很多算力去渲染一张超高清的图，应该是 16K 的图。在我之前，完全没有人渲染过 16K 的图，而且那张图完全没有噪点。

你当时那么感兴趣图形学，后来继续做下去了吗？

没有。我觉得如果要搞科研，还是专心比较好，不能脚踩两条船。我已经去了朱军老师那里，有一个项目是搞 ViZDoom 的。

Doom 大概是 20 世纪 90 年代的一款游戏。当时有一个比赛，想用神经网络在固定地图里把游戏打通关：从出生点出发，到终点去杀怪、捡血包、避障，最后完成游戏。

所以这是你强化学习的第一个 project？

对，最后还拿了冠军。

你当时享受做强化学习科研吗？

很不享受。首先这个 task 的环境太单一了，你要疯狂 overfit。其次，你要用各种技巧防止训练崩掉。即使训练没崩，也不知道怎么调参才能调对。

这比计算机视觉难很多，调参难度可能高 10 倍、100 倍，基本都是玄学，必须用非常 heuristic 的方法避免 corner case。

所以你当时已经意识到，那段时间的 RL 研究很依赖 heuristic 和调参，改算法其实没有那么本质？

是的。因为任务太单一，大部分情况下都不能 work。

当时的任务是 ViZDoom。后来像 Atari、MuJoCo、DeepMind Control Suite 这些环境，我觉得 MuJoCo 和 Atari 甚至比 ViZDoom 简单，ViZDoom 算是比较难的。

对于人类而言，这些是简单的 task，但对 AI 而言是非常难的 task。因为它需要大量知识。比如什么是障碍物，对人来说不需要反应，但对 AI 来说是完全不同的难度。

所以我很早就认识到，环境太单一，算法不是瓶颈。做 ViZDoom 的时候会发现有太多挑战，这也是我不太享受科研过程的原因。

我开始有意识地把重心放到如何帮助这一类科研更顺利地进行上。大四的时候，我想做一套 RL infra，或者说 RL 的小型 library，让想在这个领域竞争的人更方便地去做实验。

我很擅长软件工程这一类事情，比如重构代码，让代码更好看、更好用，把用户体验做好。但对于具体的东西怎么调，我会有生理上的排斥。

所以不是你不擅长，而是你不喜欢、不想做这件事？

是的。这就是我大四做天授的原因。

那你大二开始搞科研，做了 ViZDoom，大三是不是面临申请暑研？

对。当时申请暑研主要还是为了大四申请。我发了一堆套磁信，但没有什么结果。后来还是导师帮我联系到了 Yoshua Bengio，我就过去了。

你那段暑研做得成功吗？当时是在 Mila，对吧？

对，在 Mila。当时是 2019 年暑假。Yoshua Bengio 在 2019 年 4 月或者 5 月拿了图灵奖，我是在那之前申请的，所以还好。

后来 Yoshua 给我和带我的 postdoc 布置了一个类似 MoE 的任务。当时还没有 NLP 里的 MoE。这个项目首先和 RL 没有任何关系，其次是纯 language model、Transformer。当时我们不知道 MoE 是什么，也不知道它怎么 work，只知道有一个 router，可以选择不同的 path，让我去实现。

所以他招了一个做 RL 的人去做 NLP？

对，我也觉得很奇怪。我需要再次花很长时间入门 Transformer 和 NLP，然后自己搓一个东西出来，但最后效果也不好。

现在回头看，这个东西要 work，首先需要算力，其次需要很强的工程能力，还需要 scale up。当时一个人只有几块卡，根本搞不出能 scale up 的东西。所以哪怕方向是对的，也做不出来。

但你有没有觉得，冥冥之中命运好像一直在把你推向 OpenAI 后来的技术路线？你先做了 RL，后来又被要求做 NLP，这两块在加入 OpenAI 之前都经历过了。

你要这么说，强行这么说也可以，但这就是马后炮了，没有用。

所以当时你对 NLP 的看法是什么？

我觉得 NLP 的 task 太分散了。当时很多人就在想，怎么把 RL 用到 language model training 上，因为这个问题还没有解决。

Transformer 直接在强化学习上跑很容易崩，大家都没有想出到底怎么防止它崩。后来证明，环境要是纯文本环境，reward 也需要是很强的 reward。

什么叫纯文本环境？

比如 text-only。之前大家做的可能是用 Transformer 做 Atari decision，把图像变成 embedding，或者把 Atari 游戏的内部信息结构化表示，再塞进 Transformer 里面运行。

当时我没有足够多的 context，对这个领域没有足够认识，所以做起来非常挣扎。即使现在回头去帮助当时的自己，可能还是会是那个结果。

你觉得当时处于一个怎么都不可能把东西搞 work 的状态？

是的。算力不够，对 MoE 的认知也不够。哪怕当时有现在的认知，还是做不出来，因为 engineering 不够，computer 也不够。受限于当时的资源，就是做不出来。

暑研结束之后，你回到清华，开始准备申请。当时压力很大吗？

整个人状态其实不太好。暑研没搞出来，周围的同学有的去了斯坦福、CMU 暑研，做出了很多东西，还发了 paper，甚至是一作 paper。

通常来说，你要发一作 paper，不然很容易被别人刷下去。这个过程非常卷。做完暑研之后，我只拿到一封推荐信，也不知道推荐信里写得怎么样，心里挺没底的。

申请结果怎么样？

我按照 PhD 申请，但最后只拿到了 Master。

当时我还在知乎上看过你的申请结果。每年知乎都有“某某 Fall 申请结果怎么样”的问题。我印象很深，你的履历里有图灵奖强推，结果申请并不理想，没申到 PhD。

你作为当事人经历那个申请季，对你来说是一种挫败吗？

可能有一点，但后来回头看也还好。在当时的环境里，我确实很大程度上受到周围小环境的影响。PhD 被认为比 Master 好，这应该是清华内部的一种氛围，甚至是一种鄙视链。

如果身在其中，很难摆脱这种影响。国外的 PhD 和 Master，国内的 PhD 和 Master，大家都有一种固有认知：学历越高，对未来发展越好。

但很多时候这并不成立，真正取决于你到底做了什么。当时我确实有一点失望，也花了一段时间调整自己。

后来我觉得，我一直都想做一些让自己与众不同的事情。

你当时是在努力挣脱固有的评价体系？

是的。我一直觉得 GPA 不是唯一的评价体系。你需要在大学里找到适合自己的评价体系，然后为这个评价体系奋斗，让自己开心。

即使 GPA 拿了第一，也可以和往年比，和其他学院比，和其他学校比。总有人比你更好，所以 GPA 并不能说明你有多好。

应该从需求方的角度看。比如最终目的是找工作，那么招聘的人更看重什么？他会更看重相关经验，不会那么看重 GPA，因为 GPA 对他没有意义。

如果你有和当前工作高度匹配的经验，哪怕你是一个没有工作经验的 new grad，也可以抵好几年的工作经历。因为招人的主要目的是，招进来之后能用、能干活。

所以你是在 Master 的时候认识到这一点的，本科时还在那个评价体系下面？

本科时我尝试挣脱，但没有完全挣脱。我意识到应该创造自己的评价体系，而不是使用别人提供的评价体系。

我采用了一个非官方的评价体系，是导师推荐给我的。我一直记得这句话：计算机系的评价体系有 3 个指标——论文、比赛和 GitHub Star，3 位数以上。

我觉得这确实有意义，因为它给了我一个完全不一样的方向：我可以在开源社区做一些事情，让自己和别人有不同的地方。对长期发展来说，这比花大量时间刷 GPA 更好。

我也有同感。本科的时候我很早就意识到，GPA，特别是本科 GPA，是一个 3 年、4 年之后都不用写在简历上的东西。

但这 3 年、4 年里，本科生又不得不把 80% 到 90% 的精力放在 GPA 上。无论找工作、申请出国还是保研，都要看 GPA。

你是怎么处理这个矛盾的？一个 3 年内重要无比、3 年之后却完全不重要的东西。

我会最低限度地投入时间，让它达到我想要的标准，再往上一点我都不愿意投入。

多一分都不想花时间？

对，多一分都不想花时间，够用就行。你可以在期末考试之前算一下自己现在有多少分，再决定这门课要不要复习。

也就是说，如果 GPA 已经够了，你宁愿那门课考 60 分，也不管了？

是的。不过 60 分可能不太够。比如 87 分是 B+，那我就很满足了。

你觉得自己已经挣脱这种评价体系了吗？比如你出国这个选择，还是评价体系和周围氛围带来的。

不是。到 2018、2019 年的时候，国内读书其实已经被认为比国外更好。清华大概只有 20% 左右的人出国，但我们那届更少，因为是科委的，只有大概 5% 的人出国。

你应该是在 2019 年 12 月申请，对不对？所以你还在等 offer 的时候，疫情就来了。拿到 offer 之后，美国领事馆也关了。

对。

你还是坚持要出国？

这是一个很难的选择。当时有疫情，国际政治局势也很动荡，个人未来和这些事情息息相关。

但我当时更专注于手头上的事情，比如在家写 Tianshou、写 tuixue.online、写签证查询系统。这样可以把注意力从宏大的国际叙事转移到眼前的事情上，让自己内心更平静。

那我们聊聊那段时间的两个项目：第一个是 Tianshou，第二个是 tuixue.online。先聊 Tianshou。你刚刚提到，动机是因为当时的环境太 overfit，RL 算法创新没有那么重要，反而是好的 infra 或者 implementation 更重要。为什么做 Tianshou？

5. Building Open Source Impact

起因是 2019 年 12 月，我内心有一个很强烈的冲动：我已经写了很多 RL 实验代码，为什么不把它们整合起来，让自己的实验跑得更好？

2020 年 1 月放假，2 月的时候，我看了一下 RLlib 的代码。本来第一步是想用 RLlib 改一改，支持自己的实验。结果看了一个月，觉得太复杂了，抽象太多。

RLlib 有几十万行代码，完全无法接受。我也不知道自己想改的东西应该怎么实现，于是决定不干了，直接重新手写。

推倒重来？

对，推倒重来。

你当时做这件事，有没有功利上的考虑？很多人那段时间会想做一个 PPO 或者 policy optimization 的 NeurIPS paper。

没有。我不想发 paper，觉得发 paper 完全没有意义。

为什么？你已经挣脱出这种评价体系了吗？

首先我已经有 paper 了，多一篇少一篇对我没有任何意义，而且申请已经够用了。比赛我也有了，GitHub 三位数的 Star 可能也算有，比如我自己做的课程 repo。

但我还是想有一个正儿八经的三位数 Star。

所以你当时看了 RLlib，觉得不好用，对 paper 也没兴趣，但对开源代码很有兴趣。你对一个好用、能够推动领域前进的开源代码非常感兴趣。

做 Tianshou 有多难？

当时很简单，第一版只用了两周。

一般有什么算法？

很多算法。对着 paper 实现就好了。如果抽象做对，实现一个算法可能不到 20 行。

为什么你两周就能做出第一版，而 RLlib 有几十万行代码？

可能是因为它最开始的设计有一点问题。后来合作的人多了，大家不断往里面贡献代码，最后项目逐渐腐化。

所以你是一个人做的？

对。

一个人高效迭代，做好顶层设计之后直接执行，反而能迸发出更大的力量？

我觉得一个项目最有用的东西是 consistency，一致性。如果项目从头到尾都是一致的，它就是一个好项目。

很多项目的腐化都来自不一致。比如 2 个人或者 10 个人，每个人写一点代码，但每个人都不知道对方写了什么。某些 assumption 没法及时传递，就会导致代码在很多地方复制粘贴，或者出现一些不好的行为，最后代码不断膨胀、腐化。

你觉得 Tianshou 当时算是一炮而红、挺受欢迎的。它做对了什么？

我觉得它抓住了用户需求。研究者，或者说科研一线的人，其实都有一个需求：有没有一个好用、好改的 RL 框架，可以直接拿来用。

Tianshou 的代码短，抽象也做得还可以。研究之后你会发现，如果要改某个东西，就一定要改那个地方。只有那个地方能改，而且如果要支持某个 feature，也只有改那个地方才能支持。

别人想改什么地方，你的设计已经为他们设计好了，他们只能改这里。

对。它的应用性也做得还可以，想跑什么算法都有。

Tianshou 第一版是你一个人写的，后面慢慢变成更多人的 project，变成开源项目了吗？

对，后来开源了。组内其实没什么人维护，直接 open source 了。

那你怎么避免 Tianshou 发生刚才说的多人协作导致的不一致和腐化？

初期是因为我有足够的时间，可以一个人把所有东西包下来，肯定是一致的。虽然这对长期发展不太好，但当时够用。

后期因为我入职之后没有时间，就把整个维护权转移给社区的人。如果他们觉得是对的，就让他们做。只要有一个拍板的人，这件事就可以保持 consistency。

现在 Tianshou 成为社区项目已经 5 年了。你觉得它腐化了吗？

有一点。我的 context 和继任者的 context 不完全一样，他会重写我一部分代码。我们两个人没有那么一致，所以还是会有一些腐化。但从长期来看，我觉得可以接受。

第二个 project 是 tuixue.online。你为什么做这个？

和做 Tianshou 差不多，是因为我有需求。暑研时我要预约签证，需要找最近的时间。当时领事馆一会儿关、一会儿开，我需要实时知道哪里有签证预约。

我找了一圈，不知道有什么东西能满足需求，所以就手写了一个。最开始我写了一个签证查询爬虫，然后开源，免费给大家使用。

这个项目很受欢迎。我昨天晚上看，总点击量已经 100 多万了。

当时就有 100 多万，现在可能已经 1000 多万了。但很早之前就关了。COVID 过后，需求没有那么多了，而且美国领事馆升级了网站，原来的爬虫也不能用了，我也没有时间重写。

所以它完成了自己的使命。

这两个 project 某种程度上都不是很功利。Tianshou 不是为了申请，因为它发生在申请之后。你本可以在疫情期间做别的事情、放松一下。tuixue.online 也是一样。

你有一种很内在、很强烈的冲动，去创造一些你觉得有用、自己需要的东西，然后把它分享给所有人。

我想做一些能够产生影响力的事情，哪怕亏钱也行。比如做慈善。我觉得 Tianshou 和 tuixue.online 都是在做慈善，完全 non-profit。

做这种慈善项目让我非常满足。相比钱，impact 更让我满足。

你对 impact 的追求是什么时候开始的？

高中。

高中为什么会和 impact 联系起来？

可能说起来有点奇怪。高三的时候，有一天我脑子里突然蹦出一个 idea：也许未来某个时候，会有一个未来的我给过去的我发送信息。

我意识到，如果人生是一场游戏，那么游戏结算时的分数，可能是记得你名字的人数。

没了？

没了。

那意味着什么？

意味着你需要被更多人认识。

所以你高中突然意识到，这件事很重要。你希望在自己死去的那个瞬间，记得你名字的人越多越好？

对。

直到今天，你还是用这个作为衡量标准？

可以算是。

为什么这件事重要？

我当时也不觉得它一定重要，但尝试了几次之后，发现这确实是我想要的。

如果我做的东西能给别人带来好处，那么首先我自己认可自己做的东西，其次别人也认可。然后我会从别人那里得到正反馈。

这可以和名望、名气、fame 画等号吗？

不太行。有些名望和名气可能是不好的。比如你坐上了什么位置，确实很有名望，但这个名望对别人可能没有收益，甚至可能是负面的。

我想要的是，当然不可能对所有人都好，但我可以尽力对身边的人好，做一些对大家有益的事情。

如果我要挑战一下这个观点：你为什么不自己过得开心就好了？为什么需要别人记得你？你想让很多人使用你创造的、有用的东西，这个冲动的本源是什么？是害怕被忘记吗？

不是。

我觉得人生可以算作一种体验。既然已经来到这个世界上，为什么不珍惜这段旅程，不要浪费它？

但为什么不浪费这段旅程，就一定要让别人记得你？

我觉得这里有一种很有趣的张力。你刚才说，想挣脱外部的评价标准，比如 GPA、高考，或者别人觉得 PhD 比 Master 好。但另一方面，你给自己的 intrinsic 标准，又是外界对你的认同。

对。

只不过这个认同不是官方的认同，不是既有评价体系的认同，而是共识。

对。我想摆脱的是现有体系和陈规的评价体系，但我更想要每个人发自内心地给我点赞。

这个点赞可以变成 GitHub 的 Star，可以变成 tuixue.online 的点击量，也可以变成 Google Scholar 的 citation，或者 OpenAI 模型每天进行多少次 inference。

对。

你会担心自己的标准变成一种新的陈规吗？以前上一辈用 GPA 评价年轻人，等你成为上一辈之后，会不会用 impact 评价下一辈？

我只是对自己这么要求，不会对别人这么要求。

所以你不觉得自己的标准可以放之四海而皆准？

是的。我不喜欢被外部标准推着走。

但会不会出现被自己设定的标准推着走的情况？

目前还没有。如果出现了，可以修改自己的评价标准。虽然有自己的标准，但不是这个标准的奴隶。哪怕很长一段时间没有开源项目，我也不会觉得特别困扰。

你倒不担心。我觉得 OpenAI 的模型就是最好的。从某种程度上可以这么认为。

评价体系是一种很简单、直接、能够快速筛选人的操作，所以社会发展会收敛到这种策略，短时间内无法改变。

哪怕你是这个评价体系里的胜出者和受益者，你可能也不喜欢它。它应该更个性化。

6. Choosing OpenAI Before ChatGPT

你在清华。经历了疫情和风雨飘摇的那段时间之后，你申请到了 CMU，本来应该是 2020 年 9 月入学。

对。疫情第一学期过去了之后，就直接在家上网课，一直在家上了一年。

但当时一入学，就要考虑找工作的事情了。那个过程是什么样？

刚开始我吊儿郎当，投了 18 家，最后只收到 Google 和 OctoML 的 offer。OctoML 是陈天奇老师的公司。

如果手上只有这两个 offer，我肯定去 OctoML，不想去 Google。

为什么不想去 Google？

在大厂当螺丝钉，做一些自己不是那么喜欢的事情，比如前后端，没什么意思。

后来我又去面试，拿到了幻方的 offer。幻方当时说要搞一个 AI Lab，就是后来的 DeepSeek。

你当时拿到了 offer，但没有去。

对，我没有去。

现在回头看，如果开天眼，你当时面临的选择是 DeepSeek versus OpenAI。

对。幻方不是让我去搞量化，而是搞 RL infra。

除了 OpenAI 和幻方，你当时还有哪些选择？

应该还有英伟达。英伟达也是搞 RL 的。FAIR 其实也是，但最后因为一些流程原因把我拒了。

所以你当时面临的选择是幻方、OpenAI、英伟达、TikTok，可能还有 FAIR。最后选择了 OpenAI。这个选择是怎么做的？

我要强调，这是在 ChatGPT 之前。

对。你当时不知道 ChatGPT 会出现。

不知道。首先，OpenAI 之前一直在做强化学习，OpenAI 和 DeepMind 是当时 AI 领域做得最好的两个 research lab。

我当时根本没有想过自己能进 OpenAI，能进去就已经非常好了。我觉得这是一个机会，可以体验世界上最前沿的 research 是怎么做的，而不是像学校里几个 PhD 手搓一个东西，没有方法论。

我想知道工业界究竟是怎样用方法论做研究的。

你当时去 OpenAI，是直接进入 John Schulman 的组？

对，是 John Schulman 招的我，也是他面试的我。我非常感激他能给我这个机会。哪怕他离职了，他离职那一天我还难过了一个下午，把电脑关掉，什么都没干。

他当时很欣赏你？

对。他觉得我的 GitHub 很漂亮，也认可我的评价体系。对他来说，这也是一个评价指标。他还认为，招一个工程能力良好的人进来，对任何项目都有帮助。

你们面试有什么有趣的故事？你是怎么 impress 他们的？

最后一轮面试，他出了一道非常 end-to-end、很开放的题，给我 3 个小时。我花了 2 个小时就做完了，从头开始写了一个东西。

展示过程中出现了一个 bug，但我现场修好了。可能他觉得我既有工程能力，实力也还可以，所以就把我招了。

听说这道面试题只给两个人测过，一个是你，还有一个是现在做 Codex 的 Andrew。

对。

你们两个都通过了，所以通过率是 100%。

在进入 OpenAI 之前，我还很好奇，你当时考虑过读 PhD 吗？

没有。

为什么？

如果想进工业界，读 PhD 就是浪费生命。完全可以以 Master 为跳板，凑够进入工业界的标准。

你可以在 Master 期间，或者本科期间，积累足够的背景，做出一些让自己与众不同的项目，和同一时期的 PhD candidate 同台竞争。然后想办法让对方选择一个 Master，而不是另一个 PhD。

想清楚差异化非常关键。

所以你很早就想清楚，未来一定是工业界？

对。我觉得学术界教书或者当教授太卷，不是我想要的东西。还要为了一个项目拉 funding，限制很多，还不如进工业界。

如果我们是一家公司，要招一个能力相近的 Master 和 PhD，你会不会觉得他们培养的能力不一样？PhD 更多培养学术能力：写好 paper、把故事讲圆、图画得漂亮、把宣传做好。

对一家公司来说，这些重要吗？和你这种极致的工程能力相比，在今天的 AI 时代，这两种能力谁更有价值？

放在今天，当然是工程能力越好越有价值。但放在当时那个时间点，还真不好说。

所以我当时尽量两边都满足：我发过 paper，开源的 infra 也很 popular，工程能力也够强。

为什么现在你觉得已经很明显，工程能力是第一位的？

我引用一句同事的话。他之前也是 OpenAI 的 PhD，做过一个很出名的 OpenAI framework。他说，教一个 researcher 如何做好 engineering，要远比教一个 engineer 如何做好 research 难。

目前 research lab 探索前沿，拼的其实是 infra 的正确性。如果 infra 正确，就看单位时间内能迭代多少次。

Idea 大不了找人讨论，通常很快就能出来。你只要能验证，就相当于完成了 research work。真正动脑子的人，可能是已经在领域里浸染很久的人，比如 Alec。他从 GPT-1 的时候就开始做了，可能有非常强的 research 直觉。

普通人可以直接找他讨论。Idea 很便宜，关键是单位时间内能验证多少个有效 idea，而且还要有正确的 infra，得到正确的结果。

快速迭代。

对。现在的 PhD 通常不具备这个能力，或者说没有把它作为重点。学术培养体系强调找到好的学术方向，但在公司里，只要在这个领域工作足够久，也会形成研究直觉，知道什么是好的、什么是不好的，什么该做、什么不该做。

所以 idea is cheap。只要有很强的 engineering skill，把 infra 搭对，快速迭代，验证 idea 甚至 agent 都能做。

在我的认知范围内，每家的 infra 都有不同程度的 bug。谁修 bug，谁修的 bug 越多，谁的模型就训得越好。

所以 Llama 训练不过 GPT，可能是因为 Llama 的 bug 太多。我不知道，但我可能会这么猜。

所以你很早就意识到，整个 pipeline 能不能 work，关键不是算法创新，而是正确的超参数、正确的 infra，以及好的系统，让你快速迭代。

对。而且我不愿意做 research 调参，这件事对我没有吸引力。我更喜欢卖铲子。

你喜欢搭一个 playground，把根基打好，让别人去玩、去发 paper，你不管。

对。别人发 paper 的时候可能还会带上我的名字。后来大家会发现，OpenAI 很多 model release 都有我的名字，这是因为我在 OpenAI 内部搭了整个 post-training 的 RL infra。

所以你是整个 post-training RL infra 最核心的贡献者？

对。之前大家都用这套 post-training RL infra 去训练 RLHF 模型，所以每次发布一个大型模型，我的名字就会被放上去。

所以每个 OpenAI 模型背后都有你，因为你喜欢卖铲子。

对。而且我是卖铲子里最面向客户的那一位，因为 RL 是整个 infra 的最顶端，生态位比较高。

如果太底层，比如写 data loader 或者 storage，名字可能没有那么显眼。但 RL 是每个人都想要的东西。

我之前也想过自己的职业生涯应该怎么发展，当时定了一个指标：最大化自己在 OpenAI blog 上出现名字的次数。

你很会给自己写 reward。

为了最大化这个 reward，你需要做什么？

肯定先做 infra。单个 research 不能 scale up，但如果做 infra，大家都用你，就可以 scale up。我又擅长写 RL infra，所以这是一个非常适合我的机会。

这基本上是我进清华之后的主线：RL infra。

7. Infra Beats the PhD

今天你已经走过这条路了。我们播客的很多观众可能还在本科或者硕士，犹豫工业界和学术界的选择。特别是在 2025 年这样的格局下，你会怎么帮他们思考？

长远来看，你觉得现代学术界应该被重构。现在那些有抱负、希望做出 impact 的年轻人，到底应该读 PhD，还是尽早进入工业界？

我觉得还是尽早进入工业界比较好。读 PhD 的问题是，你不知道毕业之后会发生什么。可能等你毕业，范式已经变了，你会发现自己做的东西没什么用了。

如果目标是进入 AI Lab，先要弄清楚 AI Lab 需要什么样的人。如果他们更需要 infra 人才，那就多做 infra，哪怕没有 PhD degree 也没关系。更重要的是经验是否 match，是否有用。

现在你觉得 AI Lab 最需要什么样的人？

还是 infra。Infra 是无底洞。Research 方面，有 research 直觉的人其实就那些。ChatGPT 出来之后，在这个行业里工作 3 年以上的人也屈指可数。

当前的问题还是 infra：能不能 scale up，能 scale up 到什么程度，单位时间内能迭代多少次。这直接决定生产效率。

听起来，这不是一个特别适合 PhD 的场景。

可能涉及一个 gap。RL 的学术研究对 Atari、MuJoCo 这些 task 过度拟合，调来调去，比较的是在 100K 预算下谁的分数更高。

但工业界完全不 care 这个。工业界做的是用 RL 解决真实问题。

我在 2022 年 8 月意识到这一点之后，就逐步停止了 Tianshou 的开发。因为 Tianshou 还是针对 toy benchmark，我应该投入更多时间去做更有意义的事情，比如在 OpenAI 内部把 RL infra 做好，所以主要精力都放在维护和开发 RL infra 上。

这个认知在 2022 年已经算很超前了，绝对不是共识。你当时为什么没有打破信息差，写一篇 blog 劝大家别搞？

我害怕把这个东西说出来之后，OpenAI 会说我泄密。虽然可能也没有那么泄密，但万一呢？

8. How ChatGPT Took Off

我们聊聊 OpenAI。刚才已经提了很多，但你是在世界上极少数从 ChatGPT-3.5、GPT-4、GPT-4V、GPT-4o、GPT-4.5 到 GPT-5，背后一直参与的核心贡献者。

你的主要贡献可以概括成 3 个词：强化学习、post-training 和 infra。

先问第一个可能很好回答、也可能不好回答的问题：什么是强化学习？

如果可以把一个环境建模，然后在环境中得到反馈，通过反馈让它越来越好，这个循环就是强化学习。

第二个关键词是 post-training。什么是大语言模型的 post-training？

当时还没有 post-training 这个说法。当时我们的 team 叫 RL，没有 pre-training、post-training 的区分。

所以你刚进 OpenAI 的时候还没有这个概念？但你刚进 OpenAI 的时候，ChatGPT 已经是主线了吗？

不是。刚进 OpenAI 的时候，只有 John Schulman 下面的 RL team，正在做一个 WebGPT 之后的版本。

WebGPT 是用 GPT-3.5 做 browsing。但当时如果直接用 GPT-3.5 做 browsing，效果很不好，因为 browsing 需要 tool call。

所以我们退而求其次，先把用户交互体验做好。唯一要解决的是 chat，通过 instruction following 和 RLHF 的方式来解决。

所以你加入 OpenAI 的时候，GPT-3.5 这个模型已经在内部有了？

对。

当时 PPO 的 pipeline 好用吗？

非常不好用。当时最常用的是 GPT-3.5 的 SFT，在那边迭代了好几次。后来才有 GPT-4。

后来 Greg 写了一套专门的 infra，支持用 GPT-4 的训练 infra 来做强化学习训练。

你加入 OpenAI 是 2022 年 7 月，对吧？那时候 GPT-3.5 已经是整个 OpenAI all in 的方向了，距离 release 还有几个月。你们内部当时能想象 ChatGPT 会有这么大规模的成功吗？

没有。

你能内测那个 model，但有没有意识到它会是 game-changing 的东西？

没有。我第一次用的时候，只觉得这是一个会说话的模型，也就这样。用了几次，发现它可以帮我解决一点代码问题，也就这样。但它不能帮我解决很多问题，所以我也没有特别想用。

因为它能帮我解决的问题有限，而且我已经提前知道这个东西，经历的是一个循序渐进的过程，所以不会觉得特别突然。

但发布之后，我把它展示给身边的人看，他们觉得非常突然。我没想到会这样。

当时 OpenAI 已经整个公司在 2022 年 7 月 all in ChatGPT 了吗？

没有，只有我们组在做。你可以去看 ChatGPT 的 blog，往下拉有 contributor。John Schulman 应该排第一位，后面大概 12 个人，一直到赵胜佳之前，都是我们组的人。

什么时候你意识到，自己在 OpenAI 做的东西真的引爆了？

可能就是 ChatGPT 发布之后。我当时在开 NeurIPS。它是 11 月 30 日发布的，12 月过了几天，发现身边的人都在讨论 ChatGPT，觉得非常有用，而且 OpenAI 的服务器还被打爆了好几次。

和你当时的 Tuixue Online 一样，服务器也被打爆了。

对。可能产生了自需求、自宣发的效应，大家都是自来水，自发地宣传这个产品。

这肯定是一个值得投入精力的东西。ChatGPT 的发布本身，好像也不是谁计划出来的，而是一系列半偶然、半必然的因素，产生了滚雪球反应。

当时发布 ChatGPT，只是为了收集真实世界的用户数据，对吗？

对。收完之后可能 5 天就关掉。如果没有人用，就结束。我们本来预期一开始可能有 1 万、2 万用户，然后跌回去。

实际 curve 呢？

指数增长。

这就是 ChatGPT 爆款成功的过程。

你刚去 OpenAI 的时候，对公司的初印象是什么？

感觉像一个大号实验室。其实没有我想象中那么有方法论，但里面有很多研究直觉很强的人，他们可以指明方向，然后大家执行就好。

后来 Barrett、Liam 等人从 Google 来了，加入 John Schulman 的 RL team，组里就变了，开始引进 Google 的先进生产力，迭代速度变快。

Google 还是非常厉害的。有一张图表示单位时间的迭代次数和成功率，这两个东西大致成正比。单位时间内迭代得越多，成功率就线性上升。

这其实也是 RL 的 curve：不断 trial and error，不断尝试，尝试到一定次数，就能达到目的。

所以当时引进的是一种哲学理念：先不要想天才的 idea、天才的算法，先把 infra 打好。

对。让我们从一周迭代 30 次，变成一周迭代 300 次。

我看过一个采访，有人问 Sam Altman，OpenAI 成功的原因是什么。他说，OpenAI 能做出杰出的科技创新，是因为在人才密度极高的小团队里，任何平庸的表现都不能被容忍。

你赞同吗？

赞同。人才密度上去之后，会自发涌现出一些意想不到的东西。如果换一个环境，大家都比较平庸，可能就是各扫门前雪，做完自己的事情就结束了，还可能拖延。

你加入时 OpenAI 是 280 人，现在已经 3000 多人，3 年增长了 10 倍。你觉得 OpenAI 还能保持过去小而美、做出硬核创新的风格吗？

概率会下降，但没有下降得那么厉害。你总可以划分出一个小团队，专门做研究。

你觉得 OpenAI 的领导层做了哪些努力，来避免规模扩大之后失去人才密度和硬核创新？

比如简化组织架构，取消不合理的 meeting。主要还是组织架构更重要。

什么是高效、利于硬核创新的组织架构？

信息流通通畅。今天有一个决策，可以无损地传达到下面；下面有什么最新进展，也可以无损地传达到上面。

否则上面做决策的人和下面干活的人，可能想的是完全不同的两个方向，大家没有往一处使劲。

OpenAI 是怎么做到信息流通的？

首先，Sam 和 Greg 都会保持对技术的了解。Sam 之前会有专门的研究助理，帮助他了解公司内部最新的研究进展。Greg 更不用说，整个 infra 下面几乎都有他参与过的东西。

他们对技术非常熟悉，要做的就是保持技术敏感性，至少知道当前事情做到什么程度、最新进展是什么、有什么用。

所以一把手、二把手这样的人，必须愿意钻进细节里，了解公司的每一条毛细血管。

我觉得管公司和管代码库很类似，都需要 consistency。如果不一致，就像一个人的身体动了，但脚没动，会非常奇怪。

9. The RLHF Infra Bottleneck

那我们聊 post-training，从 GPT-3.5 开始。但实际上，GPT-3.5 的 PPO 也没有调通那么早，你是先调通 GPT-4？

对。我先在 GPT-4 上调通了。新的算法大概是 2022 年 8 月刚好调通，然后用 GPT-4 跑。GPT-3.5 当时用的是旧的算法。

所以 GPT-3.5 发布时，内部 GPT-4 早就有了，而且 RLHF 是先在 GPT-4 上调 work，再在 GPT-3.5 上成立的？

对。不过其他组也帮我们踩了不少坑，我们会尽量复用已有的 pipeline。但模型怎么 train，数据怎么收集，以及 infra 到底有什么问题，主要还是我们自己处理。

当时要把 RLHF 搞 work，关键的挑战和突破是什么？

首先是不知道应该怎么衡量性能。没有人知道性能应该是什么样。

你的意思是，训练出很多 checkpoint 之后，不知道哪个变好了？

对。单一 reward 会发生 reward hacking。它可能不断上升，最后 saturate 成一条直线。但真实情况可能是，人类 reward 先上升，之后慢慢下降，这就是 reward hacking。

所以你不知道哪个 checkpoint 真的比其他 checkpoint 好。选择 checkpoint 本身也是一个技术。

我们其实没有花太多时间选 checkpoint，直接建了一堆 sampling-based eval，看每个 benchmark 上的结果。但 benchmark 只是一个数字，过了某个数就算完成，不能说它一定好，也不能说它一定坏。

每次跑一个 model，方差都非常大，噪音很多。

最后怎么解决？

还是拉下来亲自看，和它交互几次，看自己的体验怎么样，再找几个人看，大家投票。

所以 eval RLHF，最后还是用 human feedback 来 eval？

对，只能这样，没有别的办法。

这相当于你第一次在工业级规模上搭建大模型所需要的 RL infra。它和你曾经搭过的 Tianshou 这种 single-task、toy-task RL infra，有什么区别？

区别非常大。Toy task 的 bottleneck 在环境，因为模型很简单，不管训练还是采样 action，都很便宜。

大模型 RL infra 的情况相反：模型很大，但环境很简单，环境可能只是一个 prompt。但模型采样要考虑如何高效采样，训练要考虑如何高效训练。

提供环境、提供 prompt 可能只需要几微秒，但跑一遍 inference、跑一遍 training，可能需要几百秒甚至几千秒，特别是 GPU 少的时候。

未来的模型相比 GPT-3.5、GPT-4，会有什么新的挑战？

对 RL infra 来说，还是性能和 scale up。怎么使用更多 GPU，怎么提高吞吐量。

这就不只是 RL 的问题了，还涉及模型 inference。

对，会更 end-to-end，深入实现细节，做 end-to-end 优化。

你做的其实是一个 intersection：既要懂 RL，也要懂 ML systems，还要懂 language model 如何 inference。

对。这个位置非常锻炼人，也很累。有一段时间我确实做得非常累，加班太狠，脑子疼，受不了了，就去医院看了一下，但医生说没什么事。

那时候工作强度有多大？

早上醒来就一直写、debug、处理问题，一直到晚上睡觉。一周 7 天，平均可能 6 天。

经历一段时间之后，会发现这样不能持久。首先要保证身体健康。我现在养成了一个习惯，每周跑两次 3 千米。

以前在清华上体育课，3 千米还不及格，完全不会跑。但现在是自发地去跑，因为意识到这件事很重要。

我很羡慕你过去两年在 OpenAI 做的事情。你能探索的是世界上 99.99% 的 researcher 和 infra engineer 没资格碰的东西。

你在最先进的 model 上做优化，每天都在未知领域探索，而且知道自己的探索一定是人类历史上第一次找到答案。

但我觉得我做的也是一些很琐碎的事情。我的工作就是日常维护，并不需要那么多智商，也不需要太多智力上的东西。

不需要太多智力？

对。只要把事情做好、做对就行。方向很重要，只要在正确的方向上做自己认为正确的事情就好。

你觉得 RL for 大模型还需要 breakthrough 吗？还需要大的突破，还是范式已经在那里，只要把 infra 拉上去？

还是有的。不能根据当前状态预测接下来会发生什么，接下来什么都有可能发生。

可能有新的范式，新的 RL 范式，也可能有新的 pre-training 范式，都有可能。每天都要面对未知的挑战。

话说回来，我觉得自己很幸运在这个位置。但如果换成任何一个人，只要拥有我的 context，应该也完全可以胜任。我不觉得只有我能做这件事，换成任何一个正常的人类，应该都可以做。

你太谦虚了。展望未来 5 到 10 年，最大的挑战会在哪里？

现有模型的能力瓶颈还没有被完全探索。我们先让它慢慢 hill climb，从大规模 RL 的实验里看它最多能达到什么性能，再决定之后要做什么。

所以你的意思不是 compute 不够，而是现有性能还没有被榨干。先把现有方法和现有 compute 榨干，再看下一步。

对。而且还有很多 infra bug。哪怕现在的 infra，也不可能百分之百没有 bug。毕竟是人类，每个人都有可能犯错。

人多之后 context 会不一致，每个人都会写一些奇怪的东西。

未来大模型强化学习、post-training 的 pipeline，最大的瓶颈会在哪里？

我觉得瓶颈在 infra 的吞吐量：单位时间内能修多少个 bug，以及单位时间内能迭代多少次，能正确迭代多少次。

剩下的东西都不重要，因为这些能力可以赋能其他所有事情。算法也好，环境也好，如果把 bug 全修了，算法可能连改都不用改，就已经很好了。

怎样提高 infra 的效率？需要什么架构、什么样的人、什么资源？

这个我们还在探索。我现在已经不在最核心的位置了，但我觉得应该去做更重要的事情。我们组正在重构 OpenAI 内部的 infra，做下一代 infra。

你们每一代 infra 都会推倒重来吗？根据现在的认知重新做顶层架构，再像你写 Tianshou 那样重写，还是小修小补？

目前是推倒重来。上一代 infra 已经 3 年多了，积累的问题很多。我们希望用新的 infra 清理之前的 technical debt，提高 researcher 的 iteration speed。

Researcher 不会参与 infra building，只会提需求？

对。具体怎么写 code、怎么做 distributed training，不是他们负责的。他们以后可能只要改一个 flag 就好了。

听起来，OpenAI 的 researcher 可能是第一个被 AI 取代的工作。

我觉得是。单位时间内能实验多少次，取决于能想多少个 idea。Idea 可以很便宜地生成，一个人坐在那里可以写很多个。

甚至生成 idea 本身也可以被 AI 建模。下一步可能取代 infra engineer，然后所有人都被取代。

但 sales 可能不会那么快被取代，因为 sales 要说服对面的人买单，对面是人。AI 可能没办法那么有效地说动人，这可能仍然需要人与人之间沟通。

我们刚刚聊了 text-only 的 GPT-3.5，再聊多模态。Agent 和 RL post-training 有没有本质差别？

没有本质差别，本身就是同一个东西，只是中间多了几步 rollout，环境可能更多一些。

所以比起标准 LLM 加 RL post-training，agent 加 RL post-training 谈不上新的挑战？

对，本质上是同一个东西。

你个人对 AGI 的定义是什么？你觉得现在达到 AGI 了吗？如果还没有，pre-training 加 RL post-training 这条路能不能把我们带到你定义的 AGI？

OpenAI 内部有个笑话：抓 15 个人，可能有 20 种定义 AGI 的方法。

我之前的定义是，如果一个东西能够完成 80% 到 90% 的、我认为有意义的 task，那它可能就算 AGI。

目前我觉得还没有。至少从我的角度看，我还不放心让它直接上手改我的 infra 代码，因为这对它来说非常 out of distribution。AI infra 在它数据集里的占比几乎为零，而且验证反馈的周期太长，成本也太高。目前还触及不到这一块。

Good for you，听起来你短期内不会被 AI 取代。

在 Strawberry 出来之前，我们内部其实已经用了一段时间。那时大家都觉得自己的工作要被取代，甚至有人说那我们就写一堆屎山，等它之后帮我们清理。

但现在一两年过去了，屎山还在那里。每个人都会 overreact，觉得新技术来了之后一切要改变，但实际上不会。它是一个很慢、很循序渐进的过程。

10. OpenAI Mission Tradeoffs

你现在在 OpenAI，以前在清华、CMU，也待过科研 lab。很多人批评 OpenAI 已经和“Open”没什么关系了。你过去又很热爱开源、打破信息差，这会不会和你的个人目标、偏好产生冲突？

这是一个 trade-off。我还是很热爱开源。如果 OpenAI 有开源的东西，我可能会参与。

但我觉得应该去做自己认为更重要的事情。开源对 OpenAI 来说就是一个 trade-off，不能直接把最好的模型开源，因为公司要生存。

如果公司不能生存，就没法继续融资、做实验、取得突破。这些都是现实问题，所以我认同这个 trade-off。

OpenAI 一开始建立时，架构其实很特殊。它最初不是一个商业盈利公司的架构，至少公开资料上的 slogan 是“让通用人工智能平等地造福全人类”。

你觉得闭源是让这个目标更近，还是更远？

“通用 AGI 造福全人类”一直可以拆成两部分：第一，实现 AGI；第二，造福全人类。

实现 AGI 比较好理解，就是堆 RL、堆 pre-training、堆算力、scale up。

造福全人类，目前的拆解是做产品，并且尽可能以低价提供。比如有免费的 ChatGPT 用户，让他们更容易接触到这项技术；免费用户也可以使用语音模式，直接体验。

这可能比直接开源一个裸模型权重更有利于造福全人类，因为用户拿到裸模型，也不知道怎么使用。

所以 OpenAI 的“Open”，不是对其他大公司、大模型公司开放，而是对普通人开放？

对。

但如果 AGI 不是明年就能解决，而是一个长期过程，技术上更开放、更透明，会不会让 OpenAI 更有利于尽快达到 AGI？还是你觉得 OpenAI 已经 self-contained，不需要社区反馈和帮助？

理论上，确实存在一条路径：开源，同时接受社区反馈，可能更好地实现 AGI。

但实际执行有很多困难。比如你是第一名，如果开源，其他人马上就能变成第一名。对方再训练一下，可能又闭源。这样就不是所有人同心协力，OpenAI 可能融不到资，没有人持续为它输血。

这有点像博弈论：即使我想为了 AGI 造福全人类，但可能有人不这么想，有人只想赚钱。为了防止这种情况，OpenAI 不得不闭源。至少在我看来是这样，这是公司存活的考虑。

如果 OpenAI 有无限资源，永远不用担心公司死掉，你会很开心地把过去两三年做的 RL infra 开源吗？

当然会很开心。John Schulman 也问过我要不要开源，我当时觉得不太好，因为要考虑公司的利益。

DeepSeek 至少采用了 open weights，是不是让 OpenAI 内部重新进行了一轮评估？

是的。

你刚刚说 OpenAI 的使命要拆成两部分：先实现 AGI，再造福全人类。更深地说，如果要理解这个使命，实现它最大的机遇和挑战是什么？

执行。朝正确方向执行。只要能执行就好，不要再出现 2023 年 11 月公司差点倒闭、Sam Altman 被开除那种事情。

你希望整个组织架构越稳定越好，有利于快速往前走。

Sam 被开除时，你们内部接收到的信息是什么？外部有很多玄幻的说法，比如 Ilya 到底看到了什么。

那些基本都是随便谣传、捕风捉影。内部的视角是，Ilya 和其他一些董事会成员不信任 Sam，于是投票把他投出去了。

底下干活的人非常 surprise，非常震惊，不知道发生了什么，因为董事会之前对下面的人缺乏透明度，我们也不知道这个决策是怎么做出来的。

他们不信任 Sam 什么？

不信任他这个人。你可以去看官方公开的调查报告，结论是一致的。

但最后的结局是 Ilya 走了。明明董事会已经把 Sam 开除了，也不信任 Sam，为什么最后 Sam 反而更得人心？

很多员工觉得，如果由一个纯技术出身的人领导，可能没有足够的远见。AGI 的实现并不只是技术，技术实现之后还有很多商业因素。

比如要融资、要算力、要说服别人愿意投钱，这些都非常重要。如果只有很好的研究经验，可能不足以支持你走完这么长的路。

从长远来看，还是需要 Sam 这样的人。所以 Sam 可能反而是最难被 AI 替代的人，因为他需要同时处理商业、地缘政治和资源问题。

可以把 Sam 抽象成一个 identity。短时间内如果用 AI 替代他，别人对这个 identity 的认同感会缺失，所以很难替代。

你刚刚说 John Schulman 离开的那天下午难过了很久。但他不是唯一一个离开 OpenAI 的人。OpenAI 取得巨大成功之后，有大量团队成员离开。

你觉得极度成功的组织大量人才流失，是必然、不可避免的吗？

一个健康的组织，所有人都应该是可以替代的。只要能够持续培养新人，有造血能力，让组织正常运转，就可以。

虽然很多人离开了，但可以花时间和精力再培养一批新人，持续造血，就像干细胞一样。

所以 OpenAI 现在没有谁是不可替代的？

对。

这是不是也意味着，OpenAI 做的东西外面的人并非难如登天、无法复刻？

可以这么认为。其实把最简单的东西做好就行，没有什么黑魔法。

现在可能是人类历史上最激烈的一次科技竞赛。OpenAI 是点燃这一切的公司。我想知道你们内部的氛围有多 intense，会有很大压力吗？

看组、看 deadline、看 project timeline。比如 post-training，目前压力还是挺大的。

我们现在重构 infra，可能也有压力，但没有 post-training 那么大，因为他们有非常明确的 deadline。我们可以稍微延期，更着眼于长远，把事情做对。

外部来自 xAI、SRP K，或者中国大模型公司的竞争，会传导到你们内部的日常开发吗？

不太会，除了 DeepSeek 那一波。他们在 Twitter 上声称自己的迭代速度非常快，这引起了很多人的警觉。

因为 OpenAI 内部的迭代速度相比其他公司有点慢，所以我们要努力把迭代速度冲过 100。

所以对 OpenAI 这样的基座模型公司来说，生死线是 infra 的 cycle time。

对。其他东西，比如 data、算法、researcher 数量，多投入人就好了。

AI infra 不也是人力吗？

好问题。AI infra 需要更多 context。但如果只是做数据 ablation、跑一些实验，就不需要那么多 context。你进来之后写一个 for loop，把 data config 配好，跑起来就行。

这些事情其实都可以自动化。

所以真正让你们警觉的是，DeepSeek 的 infra 很好，迭代很快。

你们并不特别在意哪个 model 在哪个榜上超过 GPT 多少，而是在意单位时间内的迭代速度和成功率。

对。

你觉得 OpenAI 现在在这个指标上是全世界第一吗？

不是，肯定不是。这和组织架构有很大关系。

比如抽出一个团队成立 startup，它的迭代速度肯定比 OpenAI 高，因为代码库小、沟通成本低，只需要集中于一个 use case。

OpenAI 要同时考虑很多 use case。组织变大之后，就会出现这样的问题。

如果 OpenAI 在这个生死指标上已经不是第一，未来还能够继续做出第一的大模型吗？

每个公司都有这个问题。公司做大、做成功之后，速度都会变慢。

最后就看谁没那么差。创业公司在这个指标上可能更好，但在用户反馈、资源等其他指标上，很难和 OpenAI 竞争。这都是 trade-off。

这是人类组织发展到一定规模之后必然面对的问题，无法完全避免。不是人才密度难以维持，而是组织架构里的 context sharing 难以保持一致。

这会导致 infra 不一致，开始臃肿，组织结构也开始臃肿。人多就是这样。

理论上，应该有一个拥有无限长 context 的 agent 来替代 context sharing。

听起来这是一个刚需。

对。它可以解决人类历史上组织臃肿的问题。不管写代码还是做其他事情，都面临这个问题。

人脑的 context 有限，没法一次存储这么多 context，但 AI 可以。未来可能每个公司都有一个拥有无限 context 的 agent 来当 CEO，负责所有的信息共享和决策。

可能没有比这样的 agent 更适合的 decision maker 了。

11. Living in a Determined World

那如果 AI 可以解决一个世界难题，你希望它解决什么？

如何预测未来。

你说的未来，肯定不是预测杯子怎么掉下来，而是整个人生、世界格局，所有这些东西。

为什么这是你最想做的事情？

我觉得自己创造一个世界，还是很有吸引力的。站在更高维度看，你需要提前生成剧本。

我的理解是，你觉得我们的命运可以被预测。这个世界是决定论，我们生活在一个确定性的马尔可夫过程中。

是的。

再往深了说，你觉得人没有自我意志、自由意志？

我现在脑子里在想什么、下一个单词说什么、下一个问题问什么，全都在宇宙大爆炸那一刻就定好了。

是的。我已经验证了无数遍。

这听起来是一个相当悲观的世界观。

可能这是真的。但我内心深处不愿意接受，也不愿意接受自己只是一个被模拟的原子。

为什么你会这么想？

有一些个人经历，不太方便说，但这确实是事实。所有东西都可以被预测，所以理论上可以用 AI 解决。

但如果真的有一台能预测未来的机器，对个人而言可能是一场灾难，会导致所有价值体系崩塌。

如果有这样的 AI model，对人类社会来说最好的选择可能是毁掉它，让它永远不要出现。

但有些人非常愿意开发这样的 model。

可能是因为他们想摆脱宿命论的控制。

你的意思是，有了这样的 model，我就要故意做一件和 model 预测不一样的事，把它称为逃脱？

只是为了搞清楚这个世界背后的运行规律，或者说这个世界为什么是确定的，为什么是宿命论。

所以你觉得上帝不掷骰子？

宏观不掷骰子，微观掷骰子。

这个说法成立吗？

如果按照量子力学的观测，它可以成立，因为你可以在后台修改一些世界线。你可以认为我说的是胡扯，没问题，但我没有把它当成胡扯，我是在尝试 reason behind it。

我想过很久，这个世界到底是不是确定性的，我们是不是有一个剧本，只是提线木偶，在世界的 dynamics 下完成一次随机过程。

我觉得不是随机过程，而是确定过程。

你对这件事毫无怀疑？

我很怀疑，但我尝试证伪，发现证不伪。我非常希望它能被证伪。我对这个问题很感兴趣。

我大概六七岁的时候就和父母提过：你怎么知道我说的这句话不是早就确定的？你怎么知道你的反应不是确定的？

后来我发现，如果真是这样，我甚至不觉得自己是人。所以最好的方式就是忘掉这一切，假装不知道，然后去体验当下的经历。

你已经这么做了吗？

我一直都这么做，因为没有别的办法。

还有一种解释是，时间线不是线性的，可以跳跃。未来的我可能帮助过去的我完成某些决策。

你刚刚说过，高中的时候突然有一个想法，觉得未来的你把“要做 impact”这件事告诉了过去的你。

对。那个想法只是突然从我脑子里蹦出来，但我不知道是不是未来的我告诉我的。

为什么你觉得世界线不是连续的？未来会穿插进来？

我觉得三维生物有自己的局限。在三维认知里，时间是线性的、单向流动的。但在四维时间里，时间可能不是单向流动的，而是可以任意跳跃。

这是我目前找到的、相对合理的解释。

所以你觉得，过去可能有无数个时刻，未来的你像《星际穿越》里的 Murphy 一样，在后面推那个柱子？

这是可能性之一，因为无法证伪。未来的我推那个柱子，也会导致未来的我再次回到过去推那个柱子。

所以现在最好的解决方案就是忘掉这件事，同时坚信西西弗斯是幸福的。

对。

这个话题可以再聊半小时，我们先过掉。

我相信现在每一个 AI 从业者，特别是 OpenAI 的从业者，内心可能都有创业的种子。你有过创业的考虑吗？

可能有，但现在还没有看到很好的 idea。而且 OpenAI 对我来说仍然是一个不错的地方。

你会喜欢什么样的 idea？偏 product，还是别的？

我更喜欢 product。

像天授和 tuixue Online，我做 research infra，其实也有用户，用户就是 researcher。你可以根据 researcher 的反馈实时迭代。

我希望找到一个大家有需求、自己的天赋又能很好施展的地方。技术是什么并不重要。退学 Online 就是一个很简单的通知系统，甚至算不上系统，写几行 PHP 就够了。

甚至不需要 PHP。哪怕每天手动更新两次时间，白天更新一次，晚上更新一次，也有很多需求。

技术不重要，重要的是抓住需求。

你希望 10 年后的翁家翌是什么样？会在什么地方做什么事情？

我希望那时的我能做自己想做的事情，有足够的资源和能力做自己想做的事。

你不想干预那时的自己想什么？

对。想法会变，现在想什么并不重要。反正一切都是确定性的，过去之后就结束了。

我现在能做的，就是投资那个时候的我，让他拥有选择的权利。

既然最后都会到那个时间点，为什么还要投资？

我觉得投资一下还是会更好。万一不投资，不是在骗自己吗？

但在确定性的世界里，不投资也会到那个时间点。投资未来可能也是确定的，所以投不投资都不是自由意志。

对。

你以前投资未来，是提前学高中数学、提前做这些事情。现在除了技术和 AI，你还想投资什么？

提前退休，有足够的资本去做自己想做的事。

如果现在给你无限的钱，你想退休之后做什么？

花一点时间找到自己想做的事情。

也就是说，你现在手头上的事并不是特别想做，只是迫于生计，想赚到足够退休的资本，再去寻找那个事情？

我手头上的事情，比如 RL infra，在很长一段时间里确实是我想做的事。但随着时间推移，事情逐渐稳定，或者发生了一些变化，每个人的重心都会变。

我曾经想通自己想要什么，但现在又想不通了。

你现在又想不通了。

对。我觉得这其实也很正常。

所以你现在反而处在人生的某个迷茫期。曾经喜欢的 RL infra，或者做有 impact 的事情，因为已经看到头了，剩下的都是确定性的事情。AGI 也已经板上钉钉。

家翌，我没有更多问题了。希望你在 2025 年这个时间节点，在 podcast 最后留下一段话，去探索自己到底想要什么。

虽然我曾经一度想通了自己想要什么，但其实还是没有完全想通。这个问题，值得用一生去思考。