# 189: Geodesic顾全全：预训练有点“无聊”了，但用scaling改变AI制药才刚开始

晚点聊 LateTalk · 2026-11-19 · 96 min · https://podcast.latepost.com/189

## 逐字稿

欢迎收看晚点聊，我是主播曼琪。这期节目我们来到硅谷，访谈了刚刚从字节 Seed 离职的顾全全。我们从字节最近发生的 AI for Science 组织调整聊起，回顾了顾全全在字节的三年历程。他做过 AI 制药，也在最后一年半参与了豆包基础模型预训练，负责优化和 scaling。采访后，顾全全创立的 Judas Intelligence 在 9 月正式亮相，上周刚发布了 Nova Atom Light 新模型。当预训练本身的秘密变得越来越少，顶尖团队之间的竞争关键是什么？AI for Science 会成为下一个 AI for Coding 吗？我们进入本期节目吧。

程曼祺
我们先聊聊你最近的变化：你从字节离开了。关于离职，外界有一些解读。你自己能分享的版本是什么？

顾全全
我在字节工作了大概 3 年。刚去的时候是在 AI Lab，后来叫 ByteDance Research。从第一天开始，我做的就是 AI 制药。我是 ByteDance Research 下面 AI 制药团队的负责人。过去 3 年，我们主要做生物领域的基础模型，包括蛋白质语言模型、结构预测、动态构象生成、结构设计，还有冷冻电镜技术的大模型。这 3 年收获非常大。

程曼祺
你离职时也发了一条推文，提到你是 AI 制药的负责人，也提到你是预训练的 co-leader。但之后字节又说你不是这个负责人。为什么会有这种不同的定性？

顾全全
首先，我不太确定那是不是字节的官方回应。但我担任 AI 制药负责人这件事是毋庸置疑的。

程曼祺
最开始是一篇见面报道。报道里说，字节相关人士表示，顾全全不是字节的这类负责人。

顾全全
我觉得这也涉及一个更深的话题：研究人员进入大公司之后，公司是怎么组织 AI 研发的？

我加入的时候，AI 制药是一个非常重要的方向。字节内部肯定有多个团队在做相关的事情。我是 ByteDance Research 下面 AI 制药团队的负责人。另一个一级部门确实有一个团队在做小分子制药，但我加入的是 ByteDance Research，它的前身是 AI Lab。在这个部门里面，AI 制药团队的负责人就是我。

程曼祺
这两个团队后来都去了 Seed，是吗？

顾全全
后来到了去年年中、暑假的时候，ByteDance Research 并入了 Seed，包括我们 AI for Science 的方向和机器人方向。Seed 是一个很好的平台，也是很好的品牌。我觉得并进去对各个方向的研发推进和招聘都有很大帮助。

不过，即便并入 Seed 之后，你刚才提到的那个团队也不在 Seed 里面，还是属于另外一个部门的制药团队。

从去年开始，吴永辉加入之后，我在那个时间点又创建了第二个团队，负责优化和 scaling，主要做字节豆包大模型预训练方向的工作。预训练是一项很大的工作，需要跨团队合作，也需要一些重要的技术。我的团队主要负责优化器和 scaling law。

程曼祺
近期，字节在 AI 制药或者 AI for Science、AI 生物科技方面有不少调整。你离职了，ProteinX 项目的负责人肖文芝之前也离职了。另一个负责人刘凯则单独成立了一家公司，自己还是主要股东，叫 A6 Labs。为什么后来发展成看起来有 3 个团队都在做一个大方向上的事？

顾全全
字节很早就开始布局 AI 制药。你刚才提到的刘凯，属于原来字节下面、后来叫 Project Forge 的制药团队负责人。我们是独立团队，他不向我汇报，我也不向他汇报，而且我们属于不同的一级部门。

文芝一开始也是跟刘凯合作做小分子，后来自己出来做蛋白。他先复现了 RFdiffusion，后来转到 RFdiffusion3，做得也很好。Proteomics 这个模型，我觉得领域里大家也都很认可。

我这边从第一天开始就是带领 ByteDance Research 下面的 AI 制药团队。我们有几个方向：蛋白质语言模型，对标 Meta 的 ESM；蛋白质构象生成，因为它比结构预测更浅一些。结构预测通常预测静态结构，构象生成要预测动态结构。如果把结构预测看成静态图，构象生成就有点像动态视频。我们还做冷冻电镜基础模型。

### The Chai-2 Turning Point

去年 6 月，我们看到 Chai Discovery 发布了 Chai-2 模型。它设计抗体的成功率达到百分之十几到二十，比之前 David Baker 实验室千分之一左右的成功率高不少。

程曼祺
这个模型是专门生成抗体的吗？

顾全全
它生成抗体，专门生成 nanobody，纳米抗体也可以。

我们发现，从结构建模出发能做到这么好的结果，就比较好奇，也想看看能不能做类似的事情，而且希望做得更好，所以开始做结构预测。结构预测领域最好的模型是 AlphaFold 3。我们的第一个目标是先做一个模型超过 AlphaFold 3。

文芝那边之前做了很多 AlphaFold 2、AlphaFold 3 的复现。虽然我跟他是独立团队，也不太了解他们具体做的事，但我知道他们做得很好。我这个人的性格是，要么不干，要干就要做 number one。我们以前做很多理论工作也是这样：要做，就要尽量把问题盖棺定论。

所以我们采用 scaling 的方案，把 RFdiffusion3 从 400M scale 到 900M。数据方面，虽然 AlphaFold 3 用了多少数据没有披露，但我们觉得我们的数据大概是它的 2 倍。预训练完成后，我们的模型全面超过 AlphaFold 3，就是 SeedFold。

Chai-2 是在 Chai-1 的基础上改造出来的结构设计模型。我们用类似的思路，从 SeedFold 这个结构预测模型出发，调整一些模块，再做持续训练，训出了 Seed Pro 2。Seed Pro 2 对标 Chai-2，我们的设计成功率达到 70% 到 80%。我们设计的一些 binder，亲和力可能是 Chai-2 的几十倍。

程曼祺
所以你们几个团队最开始的出发点，包括所在的一级部门都不一样，后来有了一些重叠。在字节这样的大公司里，通常怎么决定业务要不要继续做，接下来是整合还是并行，资源又怎么分配？

顾全全
在相当长的一段时间里，我们 3 个团队都是独立探索的，因为做的事情确实没有太多重叠。但 Chai-2 出来之后，如果我们不快速调整，就说明嗅觉不够灵敏、动作不够敏捷，所以必须快速切换到和 Chai-2 类似的技术路线。我们很快就做到了，花了 6 个月，从去年 6 月开始做 SeedFold、Seed Pro 2，到 12 月底就做完并超过了他们。

那之后你可能会觉得两个团队做的事情有些重叠，但这没办法。在那个时间点，作为原来 ByteDance Research、后来 Seed 下面 AI 制药团队的负责人，如果我们不快速决策，被别人打败了，对公司来说也不是好事。

程曼祺
你离开字节，和 AI for Science 这块的调整有关吗？

顾全全
可能有一定原因，但我觉得最主要的还是我自己想做一些更有挑战性的事情。

AI for Science 调整的过程中，也有些同学离开了。大家还是希望由 AI Native 的人来立这个团队，因为最后这些重大突破也都是 AI Native 的人取得的。如果不是 AI Native 的人来立团队，很多年轻同学就不干了。这也没办法。

程曼祺
你觉得 Seed 现在全面支持 AI Native 的人吗？

顾全全
我觉得 Seed 里 AI Native 人才的密度很高，非常高。基座模型这一块，包括 Seedance 这些团队，我觉得人才都非常优秀。

程曼祺
回头看，你们 3 个团队的 leader 背景都很不一样。你一直做 AI 研究和理论研究；肖文芝 2015 年加入字节，之前做搜索、广告和推荐；刘凯之前在 IDG 和火山石做投资，偏医疗投资，后来加入字节。看起来 AI 制药是一个很专的方向，为什么不同背景的人都能跨到这个领域？

顾全全
我觉得一个团队由什么背景的人来立，有不同的选择。比如一家公司有创始人或者 CEO，有些是技术出身，也有做得很成功的；有些不是技术出身，也做得很成功。所以最后能不能做好，可能由很多因素决定。

但有一点可能是必须的：就算你不是 technical 出身，也要能招到足够厉害的 technical 人才。招不到的话，我估计大概率还是会失败。至于靠什么吸引人，你肯定得有一些吸引人的地方，能给新招来的同学足够的支持，或者给他们成长的空间。有些人能做到，有些人不行。

程曼祺
你刚才说离开是想做更有挑战的事情。往后看，你比较看好的方向是什么？

顾全全
AGI 肯定是最重要的目标，但 AGI 太大了。现在已经有很多公司在做基座模型 LLM，这个领域非常拥挤，可能也不需要那么多优秀人才都去竞争。

我个人会看一些垂直领域，比如 AI for Science。最后要实现 AGI，不能说有一个能理解文本、语言、图片、视频、音频的东西，就叫 AGI。AGI 是一个非常广的概念，肯定要进入一些高价值领域，包括 AI for Science、制药、材料、Physical AI 等等。这些领域即使是头部的 frontier lab，也可能才刚刚起步，或者还处于比较初级的阶段。

程曼祺
如果头部 AI Lab 也在起步，对新团队来说是不是一种挑战？正式采访之前，我们聊到最近的一些行业动向，包括 John Jumper 加入 Anthropic。他是 AlphaFold 系列的作者，之前在 DeepMind。这样的进展会给新公司、新团队带来什么压力？

顾全全
我没有压力，反而非常 excited，因为我最喜欢竞争。以前在学术界也好，在字节做这些事情也好，我们都希望有足够强的对手。只有战胜足够强的对手，才能说明这件事有意义。如果对手都是菜鸟，在那里做也没意思。

我当时选择机器学习理论，就是因为这个领域有太多聪明、厉害的人。跟他们合作也好，竞争也好，最后做出好东西，成就感会非常高。跟菜鸟一起做，在我看来就没有那么强的自我满足感。

回到刚才说的垂直领域，包括 AI for Science、AI 制药，我觉得这些公司开始布局、加大投入，恰恰是很好的验证和背书。这说明事情有价值。这个领域可能在未来一两年或者两三年，出现一个像 coding agent 或者 Claude Code 这样的产品。

程曼祺
大家不约而同地把生物科技作为重点投入方向。具体来说，前几年出现了哪些迹象和成果，让大家觉得现在可以加大投入？

顾全全
我个人觉得是 Chai-2。Chai Discovery 去年暑假发布了模型，我们看到之后，才决定切换技术路线、all in 这个方向。

程曼祺
所以你觉得这是行业里一个很重要的成果。它是一家创业公司做的吗？它的背景大概是什么？

顾全全
对，是一家创业公司。创始人原来应该在一家 biotech 公司叫 Absci，之前可能在 Meta 和 OpenAI 都工作过。这个创业公司可能跟 OpenAI 也有一些渊源，办公地点应该也在 OpenAI 那栋楼里。

程曼祺
Chai-2 相比 Chai-1 有什么提升？AlphaFold 系列 2018 年就出现了，为什么行业会觉得 Chai-2 是一个重要进展？

顾全全
首先，Chai 对标的是 AlphaFold 3。AlphaFold 3 大概是 2024 年底出来的。后来的 Chai-1 更像是 AlphaFold 3 的对标产品，但各方面能力应该都不如 AlphaFold 3。Chai-2 是基于 Chai-1 改造出来的结构设计模型，把成功率做到了百分之十几到二十。

程曼祺
结构设计是用来做什么的？

顾全全
在这个领域里，比如抗体设计、纳米抗体设计、binder 设计，输入通常是一个靶点。你给定靶点信息，模型就给你设计一个可以 bind 这个靶点的 binder。

程曼祺
所以它和制药更直接相关。

顾全全
对，更近了一步。结构预测可以算是制药里的一个验证环节。比如你已经设计出一个 binder，想看看它和靶点结合后的复合物结构是什么、结合面的结构是什么，这时候就可以用 AlphaFold 3 这样的模型做结构验证和预测。

程曼祺
为什么 DeepMind 自己没做这件事？

顾全全
很奇怪。DeepMind 自己跑去做小分子设计了，确实没有做这种大分子、蛋白质的设计。这也是我比较 surprise 的地方。

程曼祺
药一般分小分子药，也就是化学药，和大分子药，也就是生物药、蛋白质这些。从生物科学的角度，大分子药和小分子药有什么区别？

顾全全
小分子药更容易进入细胞，因为它比较小。但它的问题也很严重。它的分子量小，结合面也小，所以跟靶点结合时很容易脱靶。

如果你设计出一个亲和力很高的小分子候选药物，并不代表什么，因为后面还有很多其他优化。比如要确保小分子代谢没有问题，否则化学药积累在体内，比如肾或者肝里，会有副作用。你还要做很多多目标的性质优化，很可能一优化，之前的亲和力就没了。

所以，如果一篇论文或者一个项目说，设计出了一个针对某个靶点、亲和力很高的小分子，但后面的事情都还没做，那说明不了任何问题，万里长征才迈出第一步。小分子药亲和力高，离真正成为药还差很多。

程曼祺
常见的大分子药物有哪些？

顾全全
比如抗体药、单抗、纳米抗体、多肽，这些都是大分子药。大分子药很多需要注射，因为吃进去的话，蛋白质可能会被体内的酶消化掉。但有些结构比较稳定，比如可以设计纳米抗体和多肽的复合物，它不太容易被消化，也有可能。

大分子药或者蛋白质最好的地方是不用特别担心代谢的问题，因为最后消化以后都是氨基酸，对人体也没什么害处。

程曼祺
你算过这两类药物的存量市场空间各自有多大吗？

顾全全
我觉得小分子的空间已经非常小了。大分子至少是万亿，甚至是 10 万亿的市场。

程曼祺
这好像和一般人的直觉相反。我们平时用的很多日常药，量很大，其实都是吃的。

顾全全
它市场很大，但 revenue 小，也就是便宜。感冒药几块钱或者十几块钱就能买一盒。这些药很重要，但 market value 太小了。

我说的这些药，治疗癌症、白血病、糖尿病，甚至抗衰老，它们的 market value 非常高。

程曼祺
Chai-2 给大家的信号，是基于一个甚至还不如 AlphaFold 3 的模型，已经可以做出比较好的结构设计模型。在一些靶点上，它大概测了 52 个，有 26 个成功了。你们也做了这 26 个吗？

顾全全
我们也都能成功，而且我们的成功率达到了七八十，是它的 4 倍，亲和力是它的几十倍。但它做不出来的那些靶点，我们也能做成一些。

程曼祺
它这个成果出来之后，除了 Seed 跟进，还有哪些主要团队跟进？Chai-2 很重要这件事，在行业里是共识吗？

顾全全
Boltz 应该也跟进了，那个有 MIT 背景的团队后来成立了公司叫 Boss。David Baker 的学生团队 BindCraft 这些，也都应该属于一类模型。

但他们当时都还不是公司，是实验室，所以没有那么大规模的实验验证。其次，他们的模型能力可能一般，有些靶点可能比 Chai 好一点，有些靶点可能差一些。

毕竟我们是基于 SeedFold 做 Seed Pro 2，SeedFold 已经超过 AlphaFold 3。可想而知，我基于 SeedFold 做结构设计模型，肯定会更强。

程曼祺
所以你们当时做 SeedFold，本身也不是为了做 SeedFold，而是想做 Chai-2 那个方向？

顾全全
对。我从来没有想过要复现 AlphaFold 3，因为在我看来，已经有很多团队在做了，让他们做就行，我们没必要做这件事。

程曼祺
但做 Chai-2 这个方向，你也不是第一个。为什么你觉得这个方向是可以做的？

顾全全
不是第一个。Chai-2 出来的时候，Boltz、BindCraft 那些团队也就是那几个月的事。所以虽然不是第一个，但我们是第一批，是最早的一批，而且我们是 best in class，在那一批里面做得最好。

程曼祺
你前面说 SeedFold 超过 AlphaFold 3。我发现很多后面发布的蛋白质预测模型都说超过 AlphaFold 3。

顾全全
不可能。据我了解，截至今天唯一敢 claim 超过 AF3 的，一个是 SeedFold，一个是 Isomorphic Labs 后来出的模型 IsoDDE。

程曼祺
这个“超过”是看什么指标？

顾全全
首先有一个标准 benchmark 叫 FoldingBench，包含多个任务，包括蛋白质—蛋白质、蛋白质—小分子、蛋白质—DNA、蛋白质—RNA、抗原—抗体等垂直任务。你可以把它想象成 Arena.ai 或者 ARC。

它是公认的 benchmark。你在这个 benchmark 上用和 AF3 一样的评测指标，比如每个输入序列预测 5 个结构，然后挑最好的，跟中位数比。有些模型说超过 AlphaFold 3，但每个输入预测了 128 个或者 256 个，做 inference-time scaling。那我这个模型只预测 5 个，如果也预测 128 个或者 256 个，挑最好的或者中位数，肯定也会更好。

程曼祺
回到你接下来想探索的重要方向之一，是继续做 Seed Pro 这个方向吗？

顾全全
不一定是 Seed Pro。我觉得 SeedFold、Seed Pro 2 只是验证了 Chai-2 这套技术路线是可行的，可以直接服务药物设计。SeedFold 和 Seed Pro 2 本身还是验证性的一步：先验证技术路线走得通。

之后通过一些小规模的 scaling，模型规模翻倍、训练数据翻倍，我们做到了比 Chai-2 更好的设计成功率和亲和力。

程曼祺
你接下来也计划在这个方向创业吗？

顾全全
我希望用 scaling 的方法来做 AI 制药。我觉得 scaling 在基础模型、世界模型、具身智能方向已经多次被验证。SeedFold、Seed Pro 2 也可以看作 scaling 的第一步验证：模型规模翻倍、数据量翻倍，已经成功了。所以它的上限在我看来极高。

程曼祺
之前这个领域大家没有去 scaling。为什么没有？大家已经看到大语言模型 scaling 有效果，为什么没有用到这个领域？

顾全全
即便在基础模型赛道上，我们也做了一年多，才让 scaling 步入正轨，从几百 B 到 1T，甚至几 T 的模型。所以这方面的认知和很多技术，主要来自基础模型领域。

AI for Science 这个赛道大多数人不是训模型出身的。他们可能对数据有很好的认知和积累，但在 scaling 上知识有限、经验比较少。

程曼祺
你可以描述一下 scaling 具体在做什么吗？

顾全全
比如 AlphaFold 3 是 400M 的模型，SeedFold 是 900M 的模型。我现在把模型 scale 50 倍，它就是 45B。第一，这件事能不能做？第二，如果能做，应该怎么做？配套数据有没有？如果有，怎么收集？

这个过程中，我没法在这么大的模型上做调研，只能在小模型上调研。怎么把小模型上调研到的最优超参数、各种 schedule 转移到大模型上，这就是我说的 scaling。

程曼祺
你在字节还有另一块工作。从 2025 年吴永辉正式加入字节之后，你有了新的机会，直接做预训练相关工作。可以展开讲讲吗？

顾全全
我觉得字节当时的大模型预训练做得不错。但那时候 DeepSeek V3，包括 R1 出来了。R1 的模型已经训到 670 多 B，我们的模型还远远没有达到那个规模。吴永辉来了之后，跟各种各样的人聊，了解我们当时遇到的问题和痛点，最后成立了一个虚拟组织，当时叫 Focus。

他跟我聊完之后，问我 scaling 是不是我们现在最重要的挑战，问我有没有兴趣加入他们做这件事。我就趁那个时候加入了 LM 团队，开始做优化和 scaling，都是为预训练服务的。

程曼祺
他当时提到，觉得 scaling 是一个挑战或者课题。具体来说为什么？

顾全全
那时候模型可能训得不如 DeepSeek V3 大，在训大的过程中可能遇到训飞或者其他问题，所以需要解决。

程曼祺
“训飞”或者“训炸”具体是什么意思？

顾全全
首先这是个比较广义的定义。比如 loss 有很大的 spike，或者 loss 飞了；梯度也飞了。通常情况下，梯度飞了和 loss 飞了是同时发生的，因为趋于局部最优时，gradient 应该越来越小。如果梯度的整个 pattern 不是越来越小，突然往上跳了，这也是一种情况。

spike 是更剧烈的抖动，可能在那一步有一个很大的梯度值。还有一种情况是 loss 微微上翘，但看下游评价指标，会发现训了好几天，指标都没有上去，和前几天差不多。这些广义上都算没训好、不符合预期，都算失败，需要排查原因。如果能找到原因，就可能要退回多少步，重新训练。

程曼祺
一般会发生在什么阶段？是模型定版、小规模实验做完，上规模时出现吗？

顾全全
一般是在预训练阶段。理想状态下，调研阶段就在小规模实验里发现各种问题，找到对应的应对策略或者解决方案。正式任务理想状态下不应该出现这个情况。

但训大模型本身极具挑战性，对很多团队和公司来说，也都是第一次或者没做过很多次，所以有时不可避免会在正式任务上出现失败。

程曼祺
据我所知，去年下半年国内一些团队，包括大公司和创业公司，都遇到过上规模后不符合预期的情况。为什么会这样？V3 之前是一次成功的，模型也有 600 多 B，670 多 B。

顾全全
一开始大家训小几百 B 的模型时，如果 scaling、优化器、normalization 做得一般，可能不会导致太大问题。但模型规模上去，训练 token 也更多，从 10T 变成几十 T，训练周期更长，对 scaling、优化器稳定性和训练的要求就更高。哪个细节没做好或者做错了，就可能出现比较大的失败。

程曼祺
据你所知，大家在正式训练任务中出现过这种情况吗？

顾全全
我觉得每一家都或多或少遇到过。

程曼祺
那就是时间和算力上的损失。

顾全全
对，时间和成本，包括算力，肯定会有损失。

程曼祺
如果是 1T 参数的模型，在正式任务上训飞一次大概会损失多少钱？

顾全全
那么大的模型训飞，我倒没有遇见过。理论上讲，你敢训 1T 以上的模型，说明实验和调研很充分，know-how 应该也比较扎实，不会一上来就训 1T。别的公司我不太了解。

一般是在小几百 B 的模型上。几百 B 的话，可能是几千万美金的研发成本。

程曼祺
所以这是一个越来越重资产的游戏，要训更大的模型。

顾全全
对。但好处是，我觉得字节和其他一些团队在这方面调研都很充分。对于调研充分、经验多的团队来说，未来发生事故的可能性肯定越来越小。

不过未来可能要训更大的模型。我个人觉得，一旦把 scaling law 搞清楚，1T 可能就是一个 threshold。只要能训 1T 以上的模型，之后再训 2T、5T、10T，应该问题都不大。

程曼祺
这个是从机器学习理论上能看出来的吗？

顾全全
主要是从 scaling law 角度看。Scaling law 通常是在中小模型上拟合。如果最后在 1T 模型上验证，预测出来的 loss 和实际 loss 比较接近，就说明 scaling law 比较准。再往上外插，失败概率也不大。

1T 和最开始拟合的中小规模已经差得足够大，可能差了 20 倍、50 倍。

程曼祺
你最后这一年多，从 2025 年年初到 3 月？到最近离职，6 月左右官宣。这段时间重点是在预训练吗？

顾全全
首先在 AI 制药团队，我仍然主要抓 SeedFold、Seed Pro 2 两个项目，因为我觉得它们很重要。

程曼祺
好。

顾全全
除此之外，主要重心是在预训练，尤其是优化器和 scaling law。这些都是跨团队合作，因为预训练涉及数据、模型。

好比盖房子，你要有设计图纸，也要有材料。优化器就像有了图纸和材料，怎么把房子搭起来，不要搭着搭着就倒了。所以 optimization 和 scaling 在这里的角色非常重要，当然 infra 的支持也很重要。

程曼祺
Seed 的预训练有一个统一负责人吗？

顾全全
应该没有。

程曼祺
所以有好几个题目一起把预训练做好，然后你们都直接向吴永辉汇报？

顾全全
对。他非常鼓励跨团队合作。他来之后，我觉得跨团队合作的氛围和效率都提高很多。几个关键负责人都是直接向吴永辉汇报，在预训练这一块是这样。

程曼祺
预训练具体是怎么组织的？为什么要比较复杂地分成好几个团队，一个团队搞不定吗？

顾全全
预训练涉及很多东西。刚才说了模型，好比设计图纸；数据好比材料；还有 infra，以及怎么做优化和 scaling，也就是怎么把楼搭起来。

程曼祺
所以至少有 4 个团队。

顾全全
至少有 4 个团队。还有一些人对这件事感兴趣，愿意一起合作参与。

程曼祺
这是字节的安排，还是核心 AI 公司里比较普遍的组织形态？

顾全全
我对别的公司不太了解，不敢说是不是普遍。但我觉得这样的安排比较合理。每个团队可以对自己负责的方向负责。比如你要开始盖房子，每个人总得拍板或者签字。数据是我做的，我得保证这版数据比上版好；优化器是我们调研出来的，我们得确保训练过程中最好不要出问题，出了问题也知道怎么快速解决。

程曼祺
必须有个人责任。否则如果没有负责人，失败了大家都甩锅。另一方面，团队多了，不是也可能有更多沟通或者甩锅的情况出现吗？中间的衔接点怎么办？

顾全全
这倒还好。我们跨团队合作的氛围不错，大家互相合作、互相学习，有时候也互相 challenge。一个方案出来，如果有人觉得难理解或者不 make sense，都可以提出来。我觉得这是好事。要是只有一个团队，所有事情可能自己说了算，也没人来劝你，反而更容易犯错。跨团队合作相当于做交叉检查，是挺好的。

程曼祺
出现意见不一样的时候，是吴永辉最后确定吗？

顾全全
对，肯定是他。我们跟吴永辉有很多周会，我自己的工作也经常跟他沟通。他对这些细节抓得很好。

程曼祺
现在大家做大规模模型预训练，核心竞争力比拼的是什么？

顾全全
第一，技术方案一定要完善，不要有明显错误，细节要抠仔细，不要出错。其次是跨团队合作和执行力。执行过程中，大家也要合作、互相检查、互相 backup。

我觉得把这件事做好，相当于一种组织能力，不是个人能力。个人很容易出错，就算一个人把所有东西都做了，也可能某个地方出错。如果没有别人一起看，最后失败造成的损失会比较大。

程曼祺
听起来这是一个尽量不要犯错，尤其不要犯低级错误的过程，是稳定推进的事情，就像盖楼一样，先盖 50 层，再盖 100 层、200 层。

什么样的人可以把这件事做好？我们拆开说。第一步，你说方案要正确，这需要什么样的团队、什么样的组织？

顾全全
数据这一块，相对模型架构和优化器来说更独立，需要有一套内部评估标准，证明每版数据肯定比上版好。

程曼祺
有件事我想确认：有一种说法是字节禁止用蒸馏数据训练模型。确实是这样吗？

顾全全
至少在我走的时候，应该是这样。

程曼祺
这样做的代价是什么？好处和代价呢？

顾全全
代价可能是某些方面的模型能力短期内有差距。但好处是你把事情做扎实，从本质上找到问题的原因并解决，之后就会变得更强。

就像一个足球队，要么找一堆外援，短平快，短期内把成绩提升上去；但这不一定能解决长远的梯队建设、青训这些本质问题。

程曼祺
所以你认为蒸馏是一种捷径？

顾全全
单单蒸馏是一种捷径。

程曼祺
蒸馏也可以看作获得高质量数据的一种方式。

顾全全
但最早的高质量数据从哪里来？这些人是怎么 curate 出来的？如果掌握了这个东西，理论上就掌握了一种源源不断生成高质量数据的方法，这才是本质。

程曼祺
听起来走捷径现在好像也没什么坏处。它有什么长远坏处吗？

顾全全
它可能短期内让模型能力有很大突破，在一些榜单和用户体验上都有不错的排名或者提升。但长远来看，如果你要超过最厉害的那一家，靠蒸馏我觉得永远只能跟在别人屁股后面。

程曼祺
所以蒸馏是一种跟在第一梯队的好方法，但做不了世界第一。

顾全全
对。你要做世界上最好的，就必须 figure out 别人是怎么生成高质量数据的。这是最本质的事情。

程曼祺
字节之前禁止蒸馏，是想做世界第一，有这样的野心和抱负，还是更多出于合规等要求？

顾全全
我觉得都有。一方面是合规，另一方面，如果你想把这件事做到世界第一，就必须愿意花时间和其他成本，给团队更多时间把问题 figure out。我觉得这是挺正确的选择。

程曼祺
Seed 内部明确说过，你们的目标是做世界第一吗？

顾全全
保底是要进第一梯队，这是最小目标。最好当然是能在第一梯队里做到最好。

程曼祺
你觉得现在至少做到中国第一了吗？

顾全全
这要看时间段。比如 2 月 14 日发布 Seed 2.0 的时候，那肯定是世界第一。前几天我看他们 Seed 2.1 要出来，我觉得应该也是第一。

程曼祺
所以现在是交替领先的状态。

顾全全
对。各家都很强，大家你追我赶，不敢随便说永远是第一。但有些时间点我们肯定要做到第一，这没有问题。

程曼祺
回到刚才蒸馏的话题。我们从怎么把方案做对聊起。你说的第二点是执行正确，关键靠什么？

顾全全
开始训练模型后，大家要互相盯着训练状态和曲线。一旦发现可疑或者奇怪的现象，就尽快开会研究、找到原因，再决定是继续训练，还是采取什么手段。

程曼祺
你觉得这两件事都做好，是小团队人少更容易，还是大公司人多更容易？

顾全全
我觉得各有利弊。小团队决策快，这是优势。大公司可以把调研做得更充分。我们每次训正式任务之前都做了非常充分的调研，也通过跨团队合作来做，所以开训时信心、底气比较足。

据我了解，有些小团队没有那么多资源做充分调研，很多时候只能跑一把试试看，you only live once。这样有可能失败，成本也比较大。有些团队在资源有限时会赌一把。但大公司不会这样，我们还是希望脚踏实地，充分调研之后再跑正式任务。

程曼祺
在你说的把方案做对、执行对的过程中，预训练本身还有什么秘密和诀窍吗？

顾全全
一方面是数据，另一方面是 scaling。我离开的时候觉得有些东西还有提升空间，可以继续深入调研。

程曼祺
这些诀窍谁能做得更好，靠的是什么？

顾全全
我觉得人才很重要。其次，不要人云亦云。有些人可能在这儿干过、在那儿干过，看过很多猪跑，但不一定吃过猪肉。他说的东西也不一定对。

还是要有独立判断。比如你跟谁聊，对方提到什么，或者面试一个人，对方提出什么，都不一定靠谱。你要坚持自己对问题的理解和认知，在自己的认知体系下建立框架，不能人云亦云。

很多时候条条大路通罗马，换一个方案也许也能达到类似结果，但你不能在方案之间来回跳，一会儿搞这个，一会儿搞那个，最后什么都没搞成，或者搞出个四不像。我觉得技术路径上还是要有坚持。

程曼祺
现在中美第一梯队的模型相互缠斗、交替领先。你觉得这种状态什么时候会改变？

顾全全
短期内应该一直会这样，因为大家都很强，没有哪家的人或者技术对另一家形成降维打击。

程曼祺
最后会不会慢慢有人持续更强，淘汰赛继续下去？

顾全全
我觉得比拼的是创新。现在几家可能用类似的技术，做到差不多的高度。谁能到下一个高度，就看谁对这些技术有更深刻的理解，并在此基础上做得更好。

程曼祺
创新有可能在一段时期内，比如两三年里，被一家公司垄断吗？竞争这么激烈。

顾全全
很难。我觉得人才流动性很快。现在招聘的标准也和我内心的标准不太一样。很多时候招聘会想，这个人在哪家公司干过，那家公司很厉害，所以要把他招过来。这相对有点功利、短平快。你也不知道那个人在那家公司到底做了什么。另外那家公司过段时间也不一定还是最厉害的。

我觉得创新能力说直白点，是一种与生俱来的能力。这个人要足够 sharp、smart，才更有可能做出原创或者创新的东西。

程曼祺
现在把预训练做好，需要足够 sharp 和 smart 吗？

顾全全
需要。我们团队里有很多很优秀、很 sharp 的人。

程曼祺
姚顺宇之前说他觉得不需要很聪明，靠谱就行。

顾全全
首先他本身就很聪明、很 sharp。很多时候可能是因为他自己已经很聪明、很厉害，所以才这么谦虚。能达到他那个聪明程度的人，我觉得不多。

程曼祺
你刚才描述的预训练过程，需要很多扎实、细致的工作，也需要团队之间充分沟通、互相盯着、交叉校验。特别 sharp、聪明的人，会有更多耐心做这些工作吗？看起来像是两种类型的人。

顾全全
我自己到后期对这件事有点觉得无聊，确实有一点。但即便这样，我还是觉得它很有意义。走的时候我也知道有些东西做得还不够好，还有提升空间。

团队里和其他团队里，我接触到很多非常聪明的人。他们做这件事乐此不疲、热火朝天。即便节奏很快、没那么多时间充分思考，他们的聪明才智还是发挥得淋漓尽致。

训练过程中发现什么问题，大家就在群里提出来，你一言我一语。有个别同学非常 sharp，能一针见血，或者给出很好的见解。我觉得这就是聪明。

程曼祺
为什么你自己觉得无聊了？

顾全全
因为很多东西我自己想得比较清楚。有些方案的选择，更多是求稳。

程曼祺
你是对求稳这件事觉得无聊，想试更激进的方案吗？

顾全全
倒不是想试更激进的方案。我们对事情已经看得很清楚的话，完全可以像下棋一样，一步一步走到底。但如果失败，成本和损失很高，所以必须跟着整个团队，不能自己冒进，也不能自大。求稳是好的。

但对我来说，有些东西论证了几个月，最后发现方案就是几个月前那个方案，这个过程就有点无聊。

程曼祺
这种无聊，是觉得推进速度不够快吗？

顾全全
我觉得挑战相对变少了。

程曼祺
所以你觉得预训练实际上比之前变简单了？

顾全全
不能这么说。很多时候，只有 90% 的人对事情的认知、看法都 get on the same page，才能进入下一步。

正确方案可能 10% 的人很早就指出来了，但一开始大家还没有被 well convinced。这时候就得等，不能大家都还没 fully understand，就开始走下一步。这样对团队也不好。

程曼祺
所以你有时候觉得自己是那 10% 的人，已经看到一个方案，觉得没必要等那么久再执行，但还是得求稳，等一等。

顾全全
对。我觉得这是好的，因为要合作。比如大家一起写 paper，也不能什么事都是我干了，那合作的人也会不开心。大家都希望有自己的 contribution。

程曼祺
你觉得现在主流的方法是预训练、后训练、数据规模继续往下走，下一步可能会是什么？会不会像 o1、R1 发布之后，我们看到 Test-Time Compute、后训练这样比较大的变化？

顾全全
我觉得现在预训练和后训练还是比较分开的两个阶段。未来也许可以把这两个阶段做得更紧密。

现在会遇到一些问题：有时预训练没做好，后面怎么做后训练，性能都上不去；有时预训练做得特别好，后训练性能也上不去。会出现一些奇怪的现象。到底是预训练做得足够好了，后面提升空间不大，还是预训练没做好，还是后训练和预训练没有对齐？

程曼祺
训练团队里有这么多聪明人，这个事情不能归因吗？

顾全全
相对来说，预训练和后训练还是比较独立。如果要把这件事搞清楚，可能就要把后训练、预训练的技术人员和关键人员都集中起来讨论。

程曼祺
这会变成甩锅现场吗？

顾全全
倒不至于。但确实比较少见。后训练和我们做的事情，按照现在的标准来看不太一样，所以相对分开。我觉得这方面值得进一步研究。

程曼祺
2025 年 2 月，梁如波有一次全员会，反思字节 AI 的进展，其中一点是跟进 o1 路线不够快。他也说了接下来一年字节 AI 业务的 3 个主要目标：智能上线、探索新的交互、加强规模效应。

回头看，2025 年最重要的一件事好像是 coding，年初没有看到。你们后来复盘过，为什么年初没有看到 coding 这件事吗？后来什么时候觉得它更重要了？

顾全全
首先，2025 年 2 月的时候，我还没有加入 Seed，所以没参加你说的那个会，但我可能也听说过这个说法。

你刚才提到 coding 为什么落后，我觉得肯定也是因为重视程度。Anthropic 一开始就做 coding；OpenAI 同时做 Sora、ChatGPT，甚至还做了很多其他事情。它做的事情很多。我们布局也比较广，因为肯定要朝着最大的对手去 PK。

开始的时候有点对标 OpenAI 的感觉。后来 Anthropic 在 coding agent 上做得这么成功，大家肯定也会复盘、调整。

Coding 这件事的用户粘性非常依赖模型能力。模型不好的话，大家都愿意买 Claude Code；买不到，就退而用 Cursor。对字节来说，我们是国内最大的公司，肯定希望有一个拳头产品，大家都愿意用。所以后来意识到 coding 能力必须足够强。

程曼祺
什么时候意识到的？

顾全全
可能是去年下半年，也就是 2025 年下半年。

程曼祺
你觉得这个时间算早还是晚？如果只看中国公司。

顾全全
我觉得不晚。比如我们做 Seed Fold、Seed Pro 2，是去年 6 月才意识到这件事的重要性，才开始赶紧做。很多时候，只要团队足够强、思想统一，早几个月、晚几个月区别不是很大。

程曼祺
如果 2025 年下半年意识到这件事很重要，到它体现在模型上一般要多长时间？我们的体感是 2026 年前 6 个月，智谱在 coding 上的口碑和市场反馈都非常好。好像昨天发布的 Seed 2.1，在 coding 排行榜上已经仅次于 Isomorphic 最好的几个模型，但这都已经 6 月了。中间为什么会有这么长时间？

顾全全
我觉得 6 个月是比较正常的周期。

程曼祺
所以你说 2025 年下半年到现在是正常的吗？

顾全全
正常。理想情况下可能 3、4 个月就能做出来，但中间总会有各种 unexpected，没有预见到的挑战，或者模型训练过程中遇到一些障碍，要花时间解决。所以 6 个月是比较合理的周期。

程曼祺
有时从外面看，大家觉得大模型领域错失了一个重点，可能几个月前内部已经看到了，只是要花时间体现在模型上。

顾全全
对。毕竟这些东西是系统工程。Coding 可能还好，可以基于预训练以后的 checkpoint 再往后做；但有些事情总得从预训练开始重新做，周期就会更长。

程曼祺
回到你接下来要探索的方向：你想用 scaling 的方式做 AI 制药。之前这个行业是什么状态？AlphaFold 系列大概是几百 M 的参数，AlphaFold 3 是 400M，SeedFold 是 900M。SeedFold 用了 2650 万个结构数据。现在公开的结构数据有 13 亿。也就是说，你用的数据大概是 AlphaFold 3 的 50 倍。之前是这个领域的数据量大于大家能吃下去的量吗？

顾全全
目前为止是这样。主要是因为大多数 AI for Science 团队，包括制药团队，算力一般是千卡规模，小几千卡，比如 1000 多、2000 多，远没有达到万卡或者几万卡。

所以就算有数据，如果只有 1000 张卡或者几百张卡，要把数据都吃进去，就得训练很长时间；模型足够大，也可能训不动。

程曼祺
你的创业想法理论上也得融很多钱，才能获得匹配的算力。你去和投资人讲这个叙事时，得到的反馈是什么？现在融资进展怎么样？

顾全全
首先，投资人非常认可这件事。如果不卷算力，那你就是一家传统 biotech company，已经有很多 biotech 公司在做了。国内有英矽智能、晶泰科技，它们的实验和管线都跑得很好。

你说需要融更多钱、需要更多资源，反而更容易吸引资源。因为它确实需要资源，而且能建立足够高的技术护城河。

就像 coding agent、视频生成模型、机器人和具身智能公司，核心竞争力是技术，但技术需要算力加持。如果不需要算力，几百张卡就能搞定，那这家公司在我看来没有竞争力。大家随便融点钱、搞几百张卡，最差也可以从别的公司挖个人过来做。那技术护城河在哪？跟原来的 AI 制药公司、biotech company 没有区别。

程曼祺
在 Seed 的时候，你们在 AI 制药上还探索了一个更早的方向：蛋白质语言模型。

顾全全
对，就是对标 Meta 的 ESM 那一套模型。

程曼祺
我是不是可以理解为，它就是用 Transformer 大语言模型的架构来做蛋白质预测？传统 AlphaFold 是一个更专门、更特别的架构吗？

顾全全
其实也没有。AlphaFold 里面最核心的模块叫 Pairformer。Pairformer 里有两个模块，一个叫 triangle attention，另外一个叫 transition module，基本上对应 attention 和 FFN。

这两类模型最大的区别是，你到底在建模序列还是建模结构。对于 DPLM 来说，它主要对序列做 tokenization。氨基酸有 20 种，再加一些特殊 token，大概 30 多个 token，vocabulary 很小。在这个基础上训 diffusion language model 或 mask language model。

蛋白质序列没有方向，从左往右看和从右往左看，信息是一样的，所以不需要做 next-token prediction，只要做 masked-token prediction，或者像 diffusion 那样建模。本质上就是更 soft 的 masked-token prediction。

我们当时做的 DPLM 主要在这一块做建模和训练，模型也比 ESM 好。

程曼祺
这条路未来指向 AI 制药应用的话，会有什么帮助？

顾全全
我觉得这条路径有点长。制药本质上是设计结构，因为你有一个靶点，要设计一个结构和靶点结合。不管结构由氨基酸还是其他材料组成，本质上结构最重要，所以第一性原理应该是结构。

程曼祺
所以不是语言，而是序列。氨基酸这 20 种排列组合成序列，也可以视作一种语言、一种编码。

顾全全
对。所以从第一性原理来说，结构设计更直接服务于制药。

程曼祺
在制药领域，更短的链路可能是不需要以语言作为中介。一般来说语言或者一套编码符号系统比较高效，但这里是直接对应空间里的 3D 物理结构。

顾全全
对。不过输入里也含有语言。靶点肯定有序列信息和结构信息，但设计时，我们是全原子建模，主要设计结构。一旦结构设计定了，氨基酸主链、侧链的原子坐标都出来了，氨基酸类型也就定了。所以序列设计是结构设计的 by-product，是同时出现的东西。但首要目标是设计结构。

程曼祺
你觉得你想做的方向会被 foundation model 覆盖掉吗？

顾全全
正因为刚才说的原因，我觉得不能。如果蛋白质语言模型是 AI 制药或者药物设计的第一性原理，那肯定会被这几种模型直接吸收，因为别人总可以在语言模型基础上再做蛋白质序列建模，或者做一个垂类模型。

但如果第一性原理是结构设计，就算被吸收，也应该不是由基座模型吸收，而是像视频生成那样的模型。换句话说，Seedance 或者视频生成模型能不能直接融入豆包、ChatGPT？Sora 能不能直接融入 ChatGPT？我觉得不行。

程曼祺
你觉得不行。目前也有分歧，有人认为可以，正在往那个方向推。比如英伟达最近发了一个模型叫 Cosmos 3，聚焦服务机器人、物理世界、自动驾驶，融合了各种模态，既有理解也有生成。

顾全全
如果把视频、图像等各种模态训在基座模型里，没问题。豆包 2.0 或者后面的豆包肯定都支持多模态。但要在视频生成、视频编辑、视频理解这些非常垂直的领域，效果比肩 Seedance 2 是不可能的，所以才需要专门的团队做 Seedance。

程曼祺
蛋白结构设计这个方向，至少和动态生成、大语言模型的基础模型是正交的，是两个 separate 的东西。

顾全全
对，要把它们收敛到一个模型，我觉得很难，因为底层原理还是很不一样。

程曼祺
从你想用 scaling 做蛋白结构设计，到做出新药、中间还有什么链路？

顾全全
主要是实验验证，但这已经是非常 straightforward 的过程，事实也符合这个逻辑。

程曼祺
这个就不需要你们自己做了吗？

顾全全
需要自己做。这个事情跟做 coding agent 不一样。传统 coding agent 只需要一套 infra，也就是分布式训练系统或者 GPU 集群。但 AI 制药需要两套基础设施：一套服务模型训练，也就是算力平台；另一套是实验。你设计出大量高潜力的 candidate，需要通过实验验证。

程曼祺
这个行业一直是模型和实验放在一起吗？也可以拆开做上下游吗？

顾全全
可以拆开，但传统 AI 制药公司或者 biotech 公司设计出来的东西基本没什么用。你把设计拿去实验验证，基本走不通，都是失败。那实验平台就会闲置，所以很多传统制药公司会把实验室资源利用起来做 CRO，相当于给别人做实验。

这有点像我融了很多钱、买了很多 GPU，但自己训不了模型，或者不训模型，专门 serving Gemini 5.2、DeepSeek V4。它就相当于实验室版的云服务，提供一套实验基础设施。

程曼祺
所以实验这部分，你们可以找合作伙伴做吗？

顾全全
我觉得没有必要。这相当于我们是租卡来训模型，还是买卡来训模型。如果租卡，就相当于自己没有实验室，把实验拿到 CRO 去做。如果自己建实验室，就相当于买卡。

买卡的成本大概是租卡成本的 3 倍。只要跑 3 年以上，买卡肯定更划算。

程曼祺
所以你从垂直整合、长期控制成本的角度，觉得自己做实验室更划算。

顾全全
一方面是成本，另一方面，如果要做 scaling，实验室肯定很忙。你依赖别人做这件事，而且早期不把基础设施搭起来，最后可能被卡脖子，或者别人不一定配合我们这么快地做实验验证，那瓶颈就会在实验这边。

程曼祺
一套实验基础设施在美国，起步大概要花多少钱？

顾全全
比算力便宜很多，几百万美金。

程曼祺
所以你设计的方法，起步阶段投入比较重，主要重在算力。

顾全全
这是个很好的问题。可能大家觉得实验成本很高，但我直接跟投资人说算力 6 个月就要 1000 万美金的时候，他们直接被 shock 到了。他们觉得实验已经很贵了，但我跟他说，实验成本可能还没有我们的招聘预算高，而招聘预算又远远不如算力高。

程曼祺
你第一次创业，之前很长时间都在学界。为什么选择一个看起来一开始就需要高投入、相对高风险的方向？

顾全全
了解我的人都知道，我的判断力、嗅觉和执行力很强。

程曼祺
所以你不觉得风险很高？

顾全全
我不觉得风险高。最重要的是，我已经花了 3 年时间把自己变成一个业界的人。

3 年前，也就是 2022 年去字节之前，我就想创业。但那时候聊了一圈，投资人给了一些反馈，说我太学术，没有工业界经验。我觉得这个反馈非常重要。

程曼祺
2022 年你本来想在哪个方向创业？

顾全全
AI 和数据库。我要感谢那些投资人拉了我一把，让我没有走进一个本身就不大的市场。

程曼祺
你现在设计的商业模式，大概是你们自己做药，也和药企合作？

顾全全
既会自己做，也会跟药企合作。

程曼祺
跟药企合作，就是给他们结构，他们在上面进一步做吗？

顾全全
你可以想象，我们的模式跟 Isomorphic 很像。药企内部的人要制药，就像他们内部的人要写代码一样，可以用我的 API 做出一些好药。

程曼祺
所以直接卖模型给他们，收 token 费用？

顾全全
肯定不是按 token，而是按任务，也就是按药物价值来计价，比如一个靶点设计多少个。

另外，药企这个行业是买方市场。真正有挑战、高价值的靶点，大多数 AI 制药公司和传统制药公司都做不出来，药企自己也做不出来。

程曼祺
这是你跟这个行业调研过的结果吗？如果药企自己的研发能力有限，之前这么多年里，新药是怎么产生的？比如 GLP-1 减肥药，第一款药出来之后，后面的人基本都是仿制或者二次开发。最开始的第一款药怎么出来的？

顾全全
最开始有些药是实验室通过手工或者其他方法做出来的。某些靶点的第一个药，通常是在大学或者研究机构的实验室里做出来的。

但我个人认为，这套东西是时候改变了。你可以想象，AI 模型里的 Transformer 来自大学实验室，是先在那里提出，然后拿到工业界做工程化和 scaling。制药行业里也有一个很奇怪的类似过程。

程曼祺
除了刚才说的很多大公司，包括 OpenAI、Isomorphic 有一些动作之外，还有哪些创业团队在做？

顾全全
类似的创业团队挺多，但真正有能力训练自己模型的很少。美国有 Chai Discovery，肯定算一家；还有 Latent Labs、Boss。Boss 是英国公司，虽然是从 MIT 那个团队出来的。

你可以这么想，这些公司有点像当年的 Cursor 或者这一类公司。但最后真正能杀出来的，可能也就一两家。

程曼祺
像这些新的进展，会先用来做什么类型的药？对普通人来说，哪些病或者健康问题可能得到解决？

顾全全
这是个很有意思的问题。你这么问，就说明思维还是定势在传统 AI 制药或者传统 biotech 行业，也就是奔着某一种病去。

程曼祺
对。

顾全全
但你想，Claude Code 不是奔着某一种语言或者某一类东西去的。它的能力横跨很多编程场景和语言，可以做前后端开发、PPT、AI 模型训练代码等。

一个好的模型不应该奔着某一个靶点或者某一种疾病去，而是针对一类 everything。只要有一个靶点，有潜在的 biological mechanism，就可以通过强模型从靶点发现、药物设计到验证，甚至形成类似 OpenClaw 或 automated research agent 的 self-loop、self-closed loop。

程曼祺
我有一个比较小白的问题：这样一个通用能力，在这个过程中会不会产生毒？比如试药三分毒。

顾全全
有可能，所以要做细胞实验、动物实验，确保没有毒性或者副作用。这是有可能的，但小分子会复杂得多。

程曼祺
如果它有这种可能性，刚才说的一种模式是直接卖 API。在这种模式下，安全控制会变得很重要。

顾全全
对。所以我们的模型不仅需要预训练，还需要后训练。

设计出的药物拿去实验之后，会得到亲和力、hit rate、毒性、可合成性，以及针对靶点的特异性等结果。比如它只能 bind 这个靶点，不能 bind 那个靶点。实验会返回这些结果，作为奖励信号，用于强化学习后训练。

所以后训练需要实验基础设施。预训练基本不需要实验，但后训练要拿实验数据和结果作为奖励信号做强化学习。这就是为什么必须有自己建的实验室，否则基础设施就缺一条腿：一条是算力 infra，另一条是实验 infra。如果实验 infra 不在自己内部，要依赖下游的 CRO，就不好办，相当于到别人那里租卡。

程曼祺
你们这套方法未来也可以用在小分子药物上吗？

顾全全
可以做小分子，但我们不会去做。我们想聚焦，大分子这块的空间想象力和市场已经足够大，没有必要做小分子。

就像 Claude Code 做 coding 做得很好，问它跟 coding 类似的东西做不做，至少短期、早期肯定不要做很多事。先把一件事做好，后面的空间已经很大。

程曼祺
OpenAI for Science 的负责人 Kevin Weil 在 2026 年初说过，他觉得 2026 年的 AI for Science 会像 2025 年的 AI 软件编程。你觉得这个预期过于乐观吗？

顾全全
如果没有我这家公司，这个预测可能是错的。如果有我这家公司，这个预测肯定可以兑现。

程曼祺
这么自信？你们 2026 年就能拿出成果吗？会是什么样的成果，现在方便描述一下吗？

顾全全
对。肯定要比 Isomorphic Labs、Schrödinger 做得更好。

程曼祺
那只有 6 个月时间。

顾全全
差不多。之前我们也说过，coding 从落后到反超可能也差不多 6 个月。而且他们的模型更大，至少是几十 B 这个级别。我们现在制药模型还远远达不到那个尺度，一般是几十 B。

程曼祺
最后聊聊学界和工业界。你刚才也说，过去 3 年的大模型热潮击穿了学界很多东西。具体包括哪些方面？

顾全全
一个是算力。学校没有那么多算力，所以做不了那么好的事情。

另一个是，原来没有大模型时，学生可能还能沉下心做中长期的事情。但现在看到工业界每天日新月异、突飞猛进。原来的一些同学，可能本科或者高中毕业后去了 OpenAI 或大厂，现在发展得非常好。学生会想，自己本科也是好学校，但选择读 PhD 是不是耽误了，或者没赶上这波浪潮。

程曼祺
你觉得学生这么想有道理吗？PhD 确实是耽误了吗？

顾全全
我觉得有道理。但不一定适用于每个人，大家志向不一样，未来想做的事情也不一样，不同实验室提供的资源也不同。大部分情况下可能真的不需要读 PhD，除非想做比较偏理论的事情。Frontier lab 不会让你天天去证定理。

程曼祺
你刚才说的第二点，是学生的心情、mindset 被改变了。

顾全全
对，很多想法被改变了，他们会有冲击。举个最直观的例子：两个同学，一个考上清华北大，出国读 PhD；另一个去了清华北大，本科或者硕士毕业就去大厂，有些甚至没去头部高校，去了 DeepSeek。结果发现对方做得非常好，在公司里扮演重要角色，而自己在斯坦福、MIT 读 PhD，做的事情跟别人横向比较，好像什么都不是。我觉得这很普遍。

另外，现在想学一个概念，可以在 ChatGPT 或其他模型上问，得到的资料非常好。教学和学习方式变了。以前课堂上讲的都是 PPT，有些课和老师的 PPT 多少年没更新过。你会 question：教学是不是落后了？

现在大家主动学，看到什么东西觉得有意思、一直没搞清楚，就花半小时用 ChatGPT 或者 AI 模型问一问，最后搞懂。第一，学的是自己想学、觉得有价值的东西，不是别人让你学的，可能那东西根本没价值。第二，这是一个主动获取知识的过程，而且互动性很强。

程曼祺
你自己是博士生导师，现在还支持、鼓励人读博士吗？

顾全全
首先，对很多人来说，读博士肯定可以帮你建立 research taste，我觉得这很重要。

程曼祺
在工业界也能建立品味。

顾全全
工业界的话，在迭代很快的组里，很多时候不一定有很多时间自己建立品味。

程曼祺
是因为没有时间想，还是因为没有时间想？

顾全全
因为大家做事情节奏快，争分夺秒。外部有很多竞争对手虎视眈眈，要跟他们 PK，肯定不能花太多时间去提升某方面的积淀。但 in the long term，我相信还是有机会的。

程曼祺
这么说，DeepSeek 可能是个挺好的环境，他们工作时间不是特别长。

顾全全
但我没觉得他们做得特别好。

程曼祺
这个评价我们可以之后再看。

顾全全
主要是他们做的东西。当然很多人觉得他们最大的贡献是开源，整个社区对他们非常 respect。但他们那些 MHC、DeepSeek Sparse Attention、DSC 之类的东西，在我看来都不够 elegant，结构太复杂，也不利于 scaling。

程曼祺
是因为结构复杂，所以不好 scaling，还是数学上也不优雅？

顾全全
数学上也不优雅。比如 MLA，我觉得数学上也是一个比较不优雅的东西。

程曼祺
字节是不是因为相对封闭，有一点被低估了技术影响力？

顾全全
首先我们内部肯定有很多很好的成果，不只是我团队，包括很多合作团队，甚至很多没有合作的团队，我知道那边人才密度很高，也有很多很好的成果。

有些东西不发表。OpenAI、Anthropic 也不发表，这是现在的主流。

程曼祺
但 OpenAI 和 Anthropic 虽然闭源、不发表，他们的模型是没有争议地最强，所以技术影响力还是很大。

顾全全
对。我觉得字节处于一种比较封闭的状态，但它的模型能力从体验或者 benchmark 跑分上看，可能没有到毋庸置疑的第一，所以大家不太了解它到底是什么水平。

内部其实有很多很好的成果，因为用于现在或者未来的模型、产品，很多东西不让发表，也没有写成报告或者论文。通常能发表的反而是没有用于最核心模型或产品的东西。

程曼祺
对参与具体工作的同学来说，他们牺牲了一些个人的技术影响力。

顾全全
是，某种程度上可以这么说。外界可能没法透明地看到他们的贡献，确实有这样的局限性。

学术界的 credit assignment 至少比较规范，也不会有东西不让你发。

程曼祺
回到读博士的问题，你觉得博士还是能帮一些人建立研究品味、研究方法论和创新能力。

顾全全
我觉得这肯定有价值，当然也取决于你在哪里读博士。

程曼祺
你自己和同事的体感是，这几年博士退学或者招生情况有变化吗？

顾全全
我过去几年没有 actively 招生，因为在工业界，精力也主要在工业界。我没有主动招生。

但据我了解，很多学生，包括你之前采访过的我的学生，都非常优秀、有想法。对这样的学生，我更多是引导他们。比如他们想做一些事情，只要我觉得风险不是特别大，就会鼓励他们去做。

程曼祺
包括退学或者休学？

顾全全
对。就算退学、休学、master out，我觉得都没问题。这恰恰说明这些人未来上限可能很高、前途无量。中规中矩的人大概率能比较成功，但要非常成功，我觉得不可能。

程曼祺
在新的环境下，什么样的研究是真正有野心、有抱负的研究？

顾全全
我觉得这是工业界和学术界很大的不同。工业界鼓励竞争。公司内部跨团队可以合作，但出了合作圈，肯定要和外部对手 PK。比如字节要和 OpenAI 或者 Anthropic PK。这件事可以挂在嘴边，说我要做一个东西超过比如说 Gemini 5 或者 GPT-6。在业界这是合情合理、大家认可的。不竞争反而说明你不行，没有这个 mindset。

程曼祺
可以挂在嘴边，我倒觉得大家公开说得不多。

顾全全
不管公开还是私下，都可以随便说。

在学术界，这种 competition 在大家看来是不好的，会觉得你不够 collegial，把研究搞成军备竞赛。学术界不鼓励沿着同一个方向投入，而是鼓励找不同方向。

程曼祺
你说的是一个学校里、一个院系里不同实验室？不同学校也有吗？你觉得这合理吗？

顾全全
不管合不合理，学术界不是这么运作的。

程曼祺
你前面说你最喜欢竞争。

顾全全
对。我在业界这 3 年收获满满，同时也感受到这一点。业界鼓励大家既合作又竞争，公司之间说白了就是竞争。

程曼祺
学界不鼓励军备竞赛，是为了鼓励大家探索不同方向吗？

顾全全
我不知道你看过《叶问》没有。我觉得学界每个实验室就像传统门派，比如八卦掌、咏春拳，大家鼓励一团和气，不要踢别人的馆子。

程曼祺
你觉得一团和气有利于进步、探索知识边界、发现新知识吗？

顾全全
现在 AI 发展这么快，就出现问题了。现在有 AI 榜单，Arena.ai、ARC，这就像天天打 MMA。能不能打，上台就知道了。

原来没有这么多榜单，没有这么多东西时，大家都可以说我练八卦掌、咏春、太极，太极里还有很多门派，每个都很厉害，还有什么五连鞭。但现在有了擂台，能不能打，上去就知道了；不能打，一上去就原形毕露。

我觉得现在学术界和工业界，本质上都到了这个阶段。

程曼祺
回到刚才的问题，什么样的研究有野心、有抱负？你说工业界和学界的标准不一样。工业界有野心，是在大家都做的方向上做到第一、做到最强；学界则是做不一样的东西。

顾全全
至少是大家做得不太一样，最好不要去……

程曼祺
我理解你的意思。你这个回答跟我之前聊过的偏学术背景的人不太一样。大家聊学界的偏好，通常会从积极面解读：我们没有在相同的事情上浪费知识，而是提出新的问题。但你刚才讲的是不利的一面，以差异化的方式掩盖大家都有点菜的现实。

顾全全
可以这么理解。但工业界不是这样。为什么工业界很多人会被 lay off？说白了，你在论文里写什么不重要，真正重要的是，你到底能不能对把事情做成有贡献。你到底是正向贡献，还是负向贡献。

如果你肯定 build 不了，原来没有大模型的时候，迭代压力没那么大，地主家还有余粮，可能多请几个客卿长老做研究也无所谓。但现在这个年代不行了。

程曼祺
这两种思维模式，你自己更喜欢、更习惯哪一种？

顾全全
肯定是工业界的评价标准。

程曼祺
为什么你在学界待了很多年才去工业界？

顾全全
我的 mindset 不是来了工业界才改变的。我一直知道情况是这样。只不过以前 AI 离大家很遥远，去工业界不一定能很快做出区分，待在学术界也不至于被别人甩出去十万八千里。

那时候 AI 发展和迭代没现在这么快。所有人可能都不能去赶上这波发展，也就没必要 point out 现在这种情况。

程曼祺
在一条路上竞争最强，和探索更多方向，哪一种更有助于我们更快接近 AGI？

顾全全
如果以 AGI 为目标，肯定要每个赛道上都有足够多的强玩家。这也是刚才你问 Anthropic 或 OpenAI 进军这个方向时，我为什么 super excited。他们不来，反而说明这个赛道可能没有保障；他们来了，我觉得我们就进这个赛道。

程曼祺
你的意思是最好有不同方向，而且每个方向上都有人在争谁最强。如果有人告诉你他选的赛道只有他一家，其他人都没有，你就得 second thought。可能这个赛道没有价值，或者没有他说得那么好。

去年底，2025 年底，Ilya 接受采访时说，房间里的空气都被大语言模型和 scaling law 这条路线吸走了，太多资源和目光都在主线上，没有探索更多不同的可能性。

顾全全
我觉得确实不应该所有空气都被大语言模型吸走。但 scaling 不是专属于大语言模型的技术。它应该是一个足够 general 的技术，可以应用到语言和各种垂直领域，包括 coding、AI for Science、AI 制药、材料。

我从 2014 年博士毕业到现在，大概 12 年，在学界和工业界都待过。我觉得 scaling 是我见过、用过之后发现最有效的方法。

程曼祺
现在也有人讨论或者辩论，觉得 scaling 特别消耗能源和数据，和人、动物那种更节能、更优雅的学习过程不一样。

顾全全
但人到现在也不是猴子或者猩猩。进化到现在，肯定也经历了自然界的优胜劣汰和自然选择，也有消耗和淘汰。所以我觉得不要简单地用能源或者环境来评价，本质上是适者生存。

程曼祺
我刚才说的可能还有另一点：人学一个东西好像不需要那么多数据。有人认为可能有更简练的学习方式。你觉得 scaling 之外，有可能有更简练的学习方式吗？

顾全全
比如训练语言模型，因为要强调通用能力，确实用了很多各类数据。但如果只在垂直领域，想做到 AGI 水平或者比人更好，可能确实不需要那么多数据。

我们的 AI 制药模型、蛋白质结构预测模型，训练数据就是垂直领域的数据，没有把各种文本、文献都拿进来。从这个意义上说，模型比基座模型小。我们觉得要 economically 地完成垂直领域的目标，确实不需要像基座模型那样动辄几 T。

程曼祺
所以你的 bet 是 scaling 这个方法本身可以在很多领域解决不同问题。

顾全全
对。在我尝试的各种方法里，scaling 是最有效的方法。

程曼祺
经过前面的解释，我也更理解你离职推文的最后一句话：“Scaling 不会停止，更好的模型还在路上。”

你心中更好的模型是什么？可以描述一下吗？

顾全全
这是一个很广义的概念。比如基座模型，不管是字节还是其他家，我觉得大家肯定都在做 scaling，模型会越来越强。

在垂直领域，我觉得出现 game-changing 模型的可能性更高，因为大家本来都处于比较初级的阶段。突然有一个模型做得特别好，比其他几家好很多，概率更高。大家起点都低时，做到第一名相对容易。起点足够高后，做第一名可能只能当几个月、几周，甚至几天。

只要你有成为第一名的能力，就不用慌，稳步推进就可以。

程曼祺
最后一个问题。你现在还有什么仍在思考、重要但没有明确答案的问题吗？

顾全全
AI、scaling 和垂直领域这些问题，相对来说我都想得比较清楚。但理论，回到机器学习理论那一块，确实还有很多问题，包括我和一些学生长期都搞不定的问题。那些东西比较抽象。

程曼祺
可以举几个例子吗？你试着描述一下。

顾全全
比如优化领域有一种方法，通过自适应地选择 step size，叫 Silver Step Size，因为 silver bullet 就像吸血鬼害怕银子弹一样。

这一块，比如怎么做一个 anytime 算法，而且它能达到和它的 lower bound 匹配的结果。这个问题我们研究了一段时间，最后也没搞定。

我电脑里、跟学生讨论的群里还有很多这样的问题。但我觉得它们是很窄、很 specific 的问题。在我看来，AI 的问题没有什么拿不到答案的，因为说真的，AI 问题不就是一些大的方向、直觉和判断吗？我们自己的认知和判断还比较准。

但具体到非常细的技术细节，挑战太多了，很多问题困扰我们很多年。

程曼祺
这些问题不是你工作中、或者接下来新的事业一定要解决的，纯粹是兴趣爱好？

顾全全
对。说真的，这些理论东西从另一个角度讲就是脑保健操，做理论就是练练大脑。

有些学生也这么说，他们觉得很好。如果每天都做重复、没有挑战的事情，整个人的状态和反应速度可能会下降。偶尔找一些有挑战性、open-ended 的事情，如果能解决一两个，对大脑的刺激和训练应该非常有帮助。

所以我把这些东西当作兴趣爱好在做。
