[BidClub_]
晚点聊 LateTalk · · 96 min

189: Geodesic顾全全:预训练有点“无聊”了,但用scaling改变AI制药才刚开始

顾全全程曼祺

BiotechAI & SoftwareTechnicalCompany Building
Podcast ↗
TL;DR
  • 顾全全对AI制药的核心下注,是把基础模型领域验证过的scaling搬到蛋白结构设计。 据他介绍,团队将RFdiffusion3从约400M扩大到900M,并增加约一倍训练数据,随后结构设计成功率达到70%—80%,高于他引用的Chai-2约10%—20%。这在他看来只是路线验证,尚未触及上限:“scaling不会停止。”
  • 这条路线的资本门槛首先是算力,而非实验室。 SeedFold使用2650万个结构,他称公开结构数据已有13亿,约为前者的50倍,多数团队却只有一两千张卡。他为创业规划的算力预算是6个月1000万美元,实验室则是几百万美元;其护城河判断建立在持续放大模型的能力上。
  • 商业设想是提供通用的大分子设计能力,按任务价值收费,并用自建实验室完成训练闭环。 药企可以通过API设计候选物,实验返回的亲和力、毒性、可合成性和特异性再成为强化学习奖励。他拒绝先押某一种疾病的思路,认为好模型应覆盖多种靶点,类似Claude Code覆盖不同编程任务。
  • 在成熟的预训练赛道,竞争越来越依赖组织能否稳定完成昂贵的系统工程。 顾全全用盖楼比喻模型、数据、infra和优化团队的配合;几百B模型一次训练失败,损失可能达到几千万美元。他认为1T模型若能验证scaling law的预测,继续外推才更有把握,领先并不来自某个人掌握一招秘密。
  • 禁止蒸馏,在他的解释里是用短期能力差距换取自主生成高质量数据的能力。 程曼祺追问,既然蒸馏能改善榜单和体验,长期究竟有什么坏处;他的回答是,想争世界第一,就必须弄清优质数据最初如何产生,否则“你永远只能跟在别人屁股后面”。他同时限定,这一政策至少适用于自己离职时。
  • 他所说预训练有点“无聊”,指的是挑战减少、共识形成较慢,而非训练已经简单。 有时10%的人较早看清方案,要等90%的人理解才能推进;高失败成本又要求求稳。另一方面,他认为coding从内部确认重要性到体现在模型上,约6个月是合理周期,外部看到的落后可能包含工程时滞。
  • 头部实验室进入生物科技,在他看来是赛道验证,而非创业威胁。 “我没有压力,反而非常excited。”他在访谈时表示公司2026年会拿出成果,并称要做得比Isomorphic Labs、Schrödinger更好;这是他的目标与判断,访谈并未展示对应交付结果。
  • 大模型正在重估博士训练的机会成本,但研究品味与个人贡献的确认仍有价值。 顾全全认为,大部分人未必需要读PhD,偏理论研究者则另当别论;工业界资源更强、迭代更快,也可能缺少沉淀时间。闭源公司的核心成果不能发表,还会牺牲研究者的个人技术影响力。
Digest · the substance, structured for research

1. “负责人”争议需要放回组织边界

  • 顾全全将自己的职责限定为ByteDance Research、即原AI Lab下面的AI制药团队负责人。他不确定媒体转述的否认是否属于字节官方回应,但认为这一团队负责人身份“毋庸置疑”。
  • 据他介绍,刘凯所在团队属于另一个一级部门,双方互不汇报;肖文芝起初与刘凯合作小分子,后来转向蛋白,并做过AlphaFold 2、AlphaFold 3的复现。三个团队起点不同,并非一个统一团队内的分工。
  • ByteDance Research后来并入Seed;他又创建优化与scaling团队,参与豆包预训练。他强调预训练是跨团队合作,没有一位统一负责人,几个关键方向负责人直接向吴永辉汇报。

2. Chai-2让研究重心转向直接设计

  • 他的团队最初同时探索蛋白质语言模型、结构预测、动态构象生成和冷冻电镜基础模型。静态结构与动态构象的区别,他比作“静态图”与“动态视频”。
  • 转向的触发点是去年6月看到Chai Discovery的Chai-2:据他引用,抗体设计成功率达到百分之十几到二十,明显高于此前David Baker实验室路线约千分之一的水平。
  • 结构设计给定靶点,直接生成能与之结合的binder;结构预测则更像验证环节,检查已有候选物与靶点结合后的复合物结构。这让设计比单纯预测更靠近制药。

3. SeedFold是通往设计能力的中间步骤

  • 顾全全说,团队并非为了复现AlphaFold 3而做结构预测,而是为了获得更好的设计起点:他们把RFdiffusion3从约400M扩大到900M,数据估计约为AlphaFold 3的两倍,形成SeedFold。
  • 在此基础上调整模块、继续训练,得到Seed Pro 2。他报告成功率达到70%—80%,部分binder亲和力为Chai-2的几十倍。
  • 他引用Chai-2在52个靶点中做成26个的结果,称团队在这26个上全部成功,也做成了对方未做成的一些靶点。从去年6月启动到12月底完成,约用了6个月。

4. “超过AlphaFold 3”必须统一评测预算

  • 顾全全援引的结构预测基准FoldingBench覆盖蛋白—蛋白、蛋白—小分子、蛋白—DNA、蛋白—RNA及抗原—抗体等任务。他强调,应按AlphaFold 3相同的指标与采样方式比较。
  • 他的关键异议是,有些“超越”来自每个输入预测128或256个结构,再挑结果;自己的比较则每个输入只预测5个。他称据其了解,明确声称超过AlphaFold 3的只有SeedFold和Isomorphic Labs的IsoDDE。

5. 离职是寻找挑战,也涉及团队领导方式

  • 对离职原因,顾全全承认AI for Science组织调整“可能有一定原因”,但主要还是想做更有挑战的事。他认为部分年轻研究者离开,也与希望由AI Native的人带团队有关。
  • 他并不要求创始人一定技术出身:非技术CEO也可能成功,前提是能招到足够强的技术人才,并提供支持与成长空间。“招不到的话,我估计大概率还是会失败。”

6. 大分子优先来自设计链路与价值判断

  • 顾全全认为,小分子容易进入细胞,但结合面小,容易出现脱靶;高亲和力之后还要优化代谢等多种性质,而后续优化可能又损失亲和力。“万里长征才迈出第一步。”
  • 相比之下,他强调蛋白降解后是氨基酸,因而认为大分子的代谢顾虑较小。但许多蛋白药需要注射,口服可能被酶消化;他也举出稳定复合物可能更耐消化的例子。
  • 程曼祺追问,日常大量使用的药物似乎仍以口服小分子为主。他区分使用量与收入:感冒药便宜,而癌症、白血病、糖尿病等治疗对应的价值更高。
  • 他据此判断大分子至少有“万亿,甚至是10万亿的市场”,未注明币种。这是他的市场判断;他同时明确,即使方法能做小分子,创业早期也不会分散投入。

7. scaling同时涉及规模、数据与超参数迁移

  • 对顾全全而言,scaling不是只把参数加大:例如将900M模型再扩大50倍至45B,首先要判断能不能训,再解决配套数据从哪里来、如何收集。
  • 大模型上无法反复调参,所以需要在小模型上找到较优的超参数和schedule,再可靠地迁移上去。这种跨尺度迁移,才是他所说scaling的技术工作。
  • SeedFold及其设计模型只是初步证明:模型和数据各扩大约一倍,成功率与亲和力就得到提升。他认为上限很高,但没有把这一步验证等同于完整上限已经确定。

8. 数据已经超过多数团队的算力胃口

  • 据顾全全介绍,SeedFold使用2650万个结构,而公开结构数据已有13亿,约多50倍。至少在他描述的阶段,问题是有数据,却尚未充分吃进去。
  • 多数AI for Science团队只有约1000—2000张卡,尚未达到万卡或几万卡规模。他认为该领域不少人更擅长数据积累,缺少基础模型团队在大规模训练上的经验。

9. 预训练需要四类团队一起“盖楼”

  • 吴永辉加入后与团队讨论训练痛点,建立名为Focus的虚拟组织。顾全全说,当时DeepSeek V3、R1已到约670B,而字节模型规模还小,scaling成为重要挑战。
  • 他的比喻是:模型架构是图纸,数据是材料,优化与scaling负责把楼盖起来,infra提供支撑。各团队必须对自己的环节负责,否则失败后容易无人承担。
  • 程曼祺追问,多团队是否反而增加沟通和甩锅。顾全全认为互相challenge提供了交叉检查,优于单个团队自说自话;重大分歧由吴永辉拍板,后者也抓技术细节。

10. 训飞既可能爆炸,也可能悄悄停滞

  • 顾全全对训练失败的定义很宽:loss或梯度突然spike、发散是一类;loss略微上翘,或训练数天下游指标仍无改善,也属于未达到预期,需要排查。
  • 模型从小几百B继续扩大,训练token从10T变成几十T,训练周期更长,对优化器、normalization和稳定性的要求随之提高,小细节可能造成大失败。
  • 理想情况是在小规模调研阶段发现并解决问题;正式任务失败代价很大。他估计几百B模型可能损失几千万美元研发成本,但明确说自己没有遇到过1T以上模型训飞。

11. 1T是检验外推能力的门槛

  • 顾全全认为,如果中小模型拟合的scaling law,在相差20—50倍的1T模型上仍能准确预测loss,那么继续外推至2T、5T或10T,失败概率应该不大。
  • 这有一个前提:调研充分、训练规律已经摸清。他把推进比作先盖50层,再盖100层、200层;可靠执行与交叉检查,是组织能力,而非依赖某个人不犯错。

12. 禁止蒸馏是选择建立自己的数据能力

  • 顾全全确认,至少在自己离职时,字节禁止使用蒸馏数据训练模型。代价可能是短期部分能力落后;他的解释是,要把高质量数据如何产生这件事真正做扎实。
  • 程曼祺连续追问:蒸馏也是获取优质数据,能改善排名和体验,长期到底有什么坏处?他的回答是,想超过最强公司,就不能只获取结果,而要掌握源源不断生成优质数据的方法。
  • 他用外援与青训作比:外援能快速改善成绩,却不一定解决梯队建设。禁止蒸馏在他看来兼有合规与长期竞争考虑;“你永远只能跟在别人屁股后面”,是他对纯跟随路线的判断。

13. “无聊”来自求稳与共识成本

  • 顾全全承认,预训练后期“我自己到后期对这件事有点觉得无聊,确实有一点”:有些方案几个月前已经提出,论证几个月后仍选择原方案。他觉得挑战减少了,但也认可高失败成本下求稳的必要。
  • 他描述的共识门槛是:10%的人可能很早指出正确方向,但要等90%的人“get on the same page”才能进入下一步。“不能大家都还没fully understand,就开始走下一步”,合作还涉及其他人的理解与贡献。
  • 程曼祺用姚顺宇“靠谱就行”的观点追问聪明是否必要。他认为姚本人已经很sharp,团队中也有人能在训练异常讨论里一针见血;细致执行并不排斥聪明才智。
  • 他判断头部模型短期仍会交替领先,没有谁形成降维打击;创新与人才流动也使一家垄断两三年很难。招聘只看名企经历,在他看来容易把“看过很多猪跑”误当成真正做过。

14. 预训练与后训练的接口仍未打通

  • 顾全全提出,未来两个阶段也许需要结合得更紧:有时预训练没做好,后训练上不去;有时预训练很好,后训练仍不提升,原因可能是空间不足,也可能是两者未对齐。
  • 程曼祺追问,这么多聪明人为何不能归因。他承认两边仍较独立,要搞清楚需要关键技术人员一起讨论,而这种协同相对少见;他没有给出已经确定的解法。

15. coding追赶存在约六个月的工程时滞

  • 对字节为何较晚重视coding,顾全全认为首先是投入重点:Anthropic较早专注coding,OpenAI和字节布局更广。他感觉字节起初更像在对标OpenAI,后来才因Coding Agent的成功调整。
  • 他把明确认识到coding重要性的时间放在2025年下半年。程曼祺提到智谱在2026年前6个月的口碑与市场反馈;他认为约6个月是合理周期,理想情况也许能缩至3—4个月。
  • 中间会出现未预见的训练障碍,所以内部识别机会早于外部看到成果。他还认为,coding能基于已有checkpoint继续训练;若需要从预训练重做,周期会更长。

16. 全原子结构设计比蛋白语言更直接

  • 顾全全早期做过对标ESM的DPLM:20种氨基酸加特殊token,词表只有30多个。他解释,这类模型通过mask或diffusion建模序列,而非照搬文本的next-token prediction。
  • 他认为,制药更直接的目标是设计能结合靶点的三维结构,而不是先把序列当语言。AlphaFold的Pairformer也有注意力及transition模块,关键差别在建模序列还是结构。
  • 在全原子设计中,氨基酸主链、侧链的坐标确定后,类型也随之确定。因此他把序列设计称为结构设计的“by-product”,认为结构才是更接近制药的第一性原理。

17. 多模态基座不自动等于专用结构模型

  • 顾全全不认为结构设计会自然被语言基座吸收。他拿视频生成作类比:模型支持图像、视频输入,并不意味着能在垂直效果上比肩Seedance 2,仍需要专门团队。
  • 程曼祺提出异议:行业对模型统一有分歧,英伟达Cosmos 3也在融合理解与生成。他承认多模态可以进入基座,但坚持通用融合与专用能力不是同一件事,收敛为一个模型“很难”。

18. 自建实验室同时服务验证与强化学习

  • 顾全全认为,AI制药需要两套infra:GPU训练平台与湿实验平台。模型高通量生成候选物后,必须有实验验证,否则设计与反馈之间会出现瓶颈。
  • 程曼祺追问是否可以交给CRO。他把自建比作买卡、外包比作租卡:除了长期成本,更担心外部验证速度跟不上,早期不建好,后期会被实验环节卡住。
  • 对毒性问题,他承认药物可能有毒性或副作用,需要细胞、动物实验。亲和力、hit rate、毒性、可合成性、特异性等结果,正好成为强化学习奖励;预训练基本不依赖这些湿实验,后训练则需要。

19. 算力开支远大于实验室投入

  • 顾全全估计,在美国建立起步实验室需要几百万美元,比算力便宜很多。“算力6个月就要1000万美金”,会让原本认为湿实验很贵的人“直接被shock到”。
  • 他给出的预算排序是,实验室成本可能低于招聘预算,招聘又远低于算力。他认为如果几百张卡即可完成,竞争者容易融资、挖人复制,技术护城河就不够高。
  • 面对第一次创业为何选择重投入方向的追问,他说自己不认为风险高,理由是判断力、嗅觉、执行力,以及三年工业界经验;这是他对自身能力与路线的信心。
  • 他原本在2022年考虑AI与数据库创业,投资人指出过于学术、缺乏工业经验。他如今反而感谢这些反馈,认为既促使自己补课,也避开了后来判断不够大的市场。

20. 商业模式押通用API,交付目标指向2026年

  • 采访开场介绍,顾全全创立的Judas Intelligence在9月正式亮相,并于上周发布Nova Atom Light。访谈中他设想既自己做药,也与药企合作;后者像内部开发者使用代码模型一样调用API。收费不一定按token,而是按靶点、设计数量及任务价值计算。
  • 程曼祺问哪些疾病会先受益,他反驳这仍是传统biotech思路:Claude Code并非只服务一种语言,好的设计模型也应覆盖多种靶点,并可能接入类似OpenClaw的自动研究闭环。
  • 对OpenAI for Science负责人关于“2026年AI for Science会像2025年编程”的预期,他说:“如果没有我这家公司,这个预测可能是错的;如果有我这家公司,这个预测肯定可以兑现。”他表示公司2026年会拿出成果,并称要做得比Isomorphic Labs、Schrödinger更好。

21. 博士训练的机会成本与学习方式都变了

  • 顾全全认为,学校算力不足,学生又不断看到同龄人在工业界迅速取得成果,心态自然改变。对“大部分情况”,他觉得可能不用读PhD,但偏理论志向和不同实验室资源需要另看。
  • 教学也受冲击:多年未更新的PPT与被动听课,对上可主动追问的模型。他举例说,可以花半小时互动,把真正想学的问题弄懂,学习的目标和反馈都更直接。
  • 对有想法的学生,只要判断没有特别大风险,他会支持休学、退学或转硕士离开。他认为中规中矩可以比较成功,但要非常成功,往往需要不同的选择。

22. 研究品味与个人credit仍有价值

  • 顾全全仍认可博士训练可以建立research taste、研究方法与创新能力。工业界节奏快、竞争紧,未必留出足够时间沉淀;他没有否认长期在工业界也能形成品味。
  • 谈到DeepSeek,他明确尊重其开源贡献,却不认为所有技术设计都优雅。他点到MHC、DeepSeek Sparse Attention、DSC及MLA,批评结构或数学形式复杂,并认为不利于scaling;这是他的技术评价。
  • 程曼祺反问字节的封闭:OpenAI、Anthropic虽然不公开,模型强度仍足以建立影响力,字节却未处于无争议第一。顾全全回应,内部许多成果因用于核心模型而不能发表。
  • 他承认这会牺牲员工个人技术影响力,外界也难透明判断贡献。学界在credit assignment上更规范,是他仍认可的优势;他对Seed 2.0和Seed 2.1领先位置的判断,也限定在具体时间点。

23. 工业界看谁能打,学界倾向各立门派

  • 顾全全喜欢工业界可以公开把超过竞争对手作为目标;学界则更强调collegial,直接在同一方向比拼可能被视为军备竞赛。他用《叶问》里的不同门派比喻这种秩序。
  • 榜单在他的比喻中是MMA擂台:“你能不能打”,上台便见分晓。程曼祺提醒,差异化也有避免重复、提出新问题的积极意义;他同意,也承认它可能掩盖能力不足。
  • 他的偏好始终是工业界的贡献标准:论文写了什么,最终不如能否把模型做成。他认为AGI需要多个方向,每个方向都有强玩家;头部实验室进入生物科技,让他“反而非常excited”。

24. scaling是明确下注,具体理论题仍可长期无解

  • 对Ilya所说语言模型吸走资源,顾全全部分同意,但强调scaling不专属于LLM,也可用于制药、材料等垂类。从2014年博士毕业以来,这是他尝试过“最有效的方法”。
  • 面对更节省数据的学习方式,他认为垂类未必需要通用模型那样的数据广度:自己的模型并未把各种文本、文献全部纳入,规模较小也可以是经济上合理的选择。
  • 宏观方向上他比较确定,微观理论上却仍有未解题,例如Silver Step Size相关的anytime算法与匹配下界。他把这些与学生长期讨论的难题当作“脑保健操”:保持挑战,比每天重复同样的事情更能刺激思考。
Full transcript