[BidClub_]
42章经 · · 63 min

锐评国模与 Neo Lab,畅谈 RL 人生与 RLaaS | 对谈 Mind Lab 首席科学家骁腾

曲凯马骁腾

AI & SoftwareCompany BuildingTechnical
Podcast ↗
TL;DR
  • 马骁腾对国模“短期悲观,长期乐观”,但把新范式的落差视为比算力不足更危险的风险。 防蒸馏加强会拖慢追赶,他仍看好“明年”国产算力达到能用的状态,以及中国组织数据生产的能力。产业应用主要发生在1T以下、常用模型约300B至500B,但如果领先者突破了持续一周的reasoning等新范式,而国内没有跟上,前沿科研的差距可能扩大。
  • 大厂可能输掉模型技术竞争,同时通过算力和股权赚钱。 马骁腾认为,集团会不断比较训练账单与ROI,创业公司则是“做不出来就死掉”,投入强度与数据积累因此不同。曲凯用腾讯招人、给钱给卡和独立性的做法反驳;他的回应是,这能追赶,却不能保证成为最好,半年做出今天的模型也不等于追上半年后的对手。
  • 公开数据之外,企业真实场景和可交互环境成为后训练的重要增量。 马骁腾的判断是“数据就是用完了”,指公开互联网数据,而非所有潜在数据;新增价值在企业、真实生活与To C产品中。没有标准答案时,交付物也从示范数据变成能让模型尝试、验证和学习的环境,但他承认,独家数据究竟值多少,收购方自己也未必知道。
  • 海外他更看好OpenAI,国内显著看好DeepSeek,也认可智谱的数据生产体系。 他认为OpenAI在pre-training阶段调整了harness与reasoning结构,而Anthropic目前看尚未跟进。DeepSeek的优势则是model与infer的紧耦合:推理更便宜,带来更多使用与数据,也让RL训练更快;智谱的特点是务实、重数据,“希望这个模型是最实用、最好用的一个模型”。
  • 在马骁腾的标准里,Neural Lab必须证明商业闭环,RSI也不能替代真实需求。 “只有有用是重要的”:先用产品prototype获取真实数据,在研究跑通后再扩大场景和增长,而不是拿新架构到处找用途。他把RSI理解为可验证领域里的自动化数据构建与训练循环,仍不相信模型迭代最终完全不需要人,因为reward取决于人需要什么,私有数据与现实实验也不会自动出现。
  • 后训练服务最适合已有PMF、拥有自身benchmark,并开始追求效果或成本优化的企业。 后训练既能提高现有模型在业务中的表现,也能把相近表现迁移到更便宜的模型;按他的经验,frontier模型一次训练迭代约几万元,完整项目可控制在人民币几十万至100万元。门槛是“你要有自己的benchmark”,之后的主要摩擦包括数据访问、本地部署要求,以及企业是否愿意购买服务。
  • LoRA把有限算力转成了大模型定制与大量差异化模型的机会。 团队在2025年3月从约4台H800起步,后来沿着做大base model、缩小adapter、扩大LoRA数量三个方向推进。他称团队在4月做了一个单个base model支持100万个LoRA推理的系统,但把由此形成“agent的society”保留为一种可能性。
  • 持续学习缺少的可能是存放长期记忆与state的轻量单元,而不只是更多上下文。 马骁腾用读过300多篇论文后的“我就悟了”说明:人保留下来的是判断力,并非每篇论文的全部细节。他不担心更强模型本身,愿意为不同模型拥有不同偏好、服务不同人的未来工作——“我认为我应该为了第二种情况而奋斗”。
Digest · the substance, structured for research

1. 业务外形在变,MindLab的研究主线始终是后训练

  • 马骁腾介绍,自己2017年在清华直博,2023年毕业后继续做博后,2024年与谢扬创业做浏览器,2025年10月与陈凯杰、Andrew创办MindLab。他贯穿这些经历的目标,是做强化学习与post-training,而不是某一种固定形态的应用。
  • 浏览器原本是收集GUI数据、开展后训练的入口,但他发现,应用公司的资源有限,还要不停追逐最好模型的表现,很难持续做模型研究。离开浏览器公司、组建后训练实验室,是为了把资源重新放到这条主线上。
  • 面对马卡龙及公司争议,他认为创业不必回避讨论;应用与RL服务业务的实质,都是通过大模型RL改善具体任务。他把post-training比作推荐系统这样的“基础技术”:上面长出西瓜视频、抖音还是今日头条,不是他作为研究者现阶段最关心的问题。

2. RL人生的三个原则,是探索、知行合一与有限的长期主义

  • 马骁腾用早期Atari训练解释探索:即使只有10%的随机动作,看似低效,也可能是跳出局部最优的必要条件。生活中他因此选择“九十分主义”,做到90分后,把剩余精力用于探索新事物,而不是一直沿着既定路径优化。
  • 曲凯的反问是,个人可以接受90分,创业却需要某个点达到100分甚至更高。马骁腾认可这个矛盾:自己承担探索,Andrew与陈凯杰补足商业化,让整个团队达到100分;这也是他选择共同创业的原因。
  • “知行合一”对应policy与value的一致:判断某件事有价值,就要行动、收集经验,再用结果修正判断。他强调,不是先拥有一套永不改变的价值观,而是持续更新价值观,并检查实际策略是否与之匹配。
  • “长期主义”也有边界。他用折扣因子0.99、约100步的视野作解释:太小会短视,太大会受远期噪声干扰而不收敛。创业更符合这个学习循环,因为能获得较完整的真实反馈;大厂的信息与探索空间往往更局部,所以“创业是一种生活方式”。

3. 没进过AI Lab,不等于没有大规模训练经验

  • 对于为何没有在主流AI Lab任职却能训练模型,马骁腾先承认:“首先我肯定不知道,因为我没在厂子里训练过模型。”随后给出自己的经验来源:2018年左右参与一个5000万元项目,在1万核CPU、100张V100的集群上做对战训练,Ray还处于0.2、0.3版本。
  • 他认为今天的困难与读博时具有连续性:每天仍在处理reward hacking、simulator、reward设计与benchmark,只是网络更大、表达能力更强、实验更贵。这种经历让他较早接触了RL训练的完整链条与基础设施,而非只研究算法的一小部分。
  • 面对“早年坚持冷门RL”的叙事,他反而说:“那个时候我们哪知道它不火呢。”最初是导师项目带着走,训练小车、小人又像打游戏,很有意思;论文难发则是真实痛苦。他也不接受国内缺少优秀RL研究者的简单判断,认为更大的差别是缺少让RL、CV等方向混合的“熔炉式”环境。
  • 多方向经历是他的另一项资产:从传统RL、理论bound到实际项目,甚至风险敏感RL对后来线性RL工作的启发。老师给他的解释是,不同经历会产生不同想法,聪明人也不能做完所有research;这进一步影响了他对AI的期待——经历应该塑造不同的AI,而非只塑造一个统一答案。

4. 国模的追赶仍在原范式内,真正风险是范式发生变化

  • 马骁腾认为,1T以下模型的预训练和后训练已经形成standard recipe,“只要给我卡我都能做”。竞争更多转向数据规模、模型效率与更大规模训练;在这些方向上,他认为OpenAI和Anthropic存在明显领先。
  • 曲凯的体感是,国内过去几年追近了,但“5.5X”等发布后,差距似乎重新拉开。马骁腾给出“短期悲观,长期乐观”:防蒸馏加强后追赶速度会放慢,但如果核心技术范式没变,仍有追赶空间。
  • 长期乐观来自两个条件:他预计“明年”国产算力虽然仍落后于最先进的N卡,却会达到能用的状态;同时,他认为中国组织数据运营的能力很强。更危险的条件是,领先者采用新范式,实现持续一周的reasoning、挑战菲尔兹奖级数学证明,而这种范式没有被突破。
  • 他把产业与前沿科研分开看:多数实际应用在1T以下,常用的是约300B至500B的Flash类模型,已能处理绝大多数办公任务。若关注制药等frontier领域,他承认与美国会有差距;不能把这一差距直接等同于所有产业应用的处境。

5. 数据没有凭空增长,增量正在转向私有场景与环境

  • 曲凯追问,传闻中“30T”量级的数据究竟从哪里来。马骁腾的回答是,公开互联网数据确实已经用完;当前预训练乃至中训练的数据,很大部分仍来自已有数据、模型蒸馏,以及把模型自己产生的轨迹再训回去。
  • 专用领域仍能组织新数据,但他更关注Anthropic通过收购获取未公开企业数据的做法。他同时保留不确定性:“这些数据的价值到底有多大”,Anthropic自己也未必知道;能确认的是投入决心。企业、真实生活和To C应用中的数据,也不一定最终流向预训练厂商。
  • 数据正在被重新表述为“环境”:有高质量标准答案,可以蒸馏、做SFT;没有答案,就必须提供一个题目与可尝试的空间,让模型通过SFT或RL学习。这类环境构建需要更多投入,也是他认为目前相对被忽视的环节。

6. 大厂的资源优势,可能被集团账单与组织惯性抵消

  • 马骁腾以千问为例:团队此前处于公认第一梯队,并不意味着技术或资源明显落后,但巨额账单摆到集团面前后,就必须回答ROI、转化与财务优化。他认为这会发生在所有大厂;旧业务与组织自身的向心力,也会限制突破性创新。
  • 他的判断很强:“最后不一定是大厂做出最好的模型。”创业公司做不出来就会死,必须all in;长期数据积累与清洗也可能让动作慢的大厂持续落后。但商业输赢是另一回事:大厂能通过算力、股权等方式从创业公司的发展中获利。
  • 曲凯用腾讯提出反例:看清方向后,把最好的人招来,给钱、给卡、给独立性,理论上应能快速追平。马骁腾认可腾讯的魄力与混元的进展,但强调“不能说混元现在是最好的模型”;腾讯最终要选的是适合微信等未来业务的模型,并不只是在争论谁实现AGI。
  • 对“从各家抽出80至90分人才,半年造出同水平模型”的思想实验,他承认“很有可能”。问题是成本显著高于直接使用现成模型,半年后对手又会领先多少无法确定;卡、生态支持与运营也不是把人拼在一起就自动具备。

7. 他偏好的模型公司,分别在结构效率与数据体系上下注

  • 海外若只能选一家,马骁腾目前更看好OpenAI。他认为,OpenAI在pre-training时对harness与reasoning结构做了调整,“目前看”Anthropic尚未在这方面调整或跟进;这是他给出的技术理由,而不只是对现有产品表现排序。
  • 国内他“显著看好DeepSeek”,尤其是model与inference的co-design。他把encoder、decoder分离理解为面向混合算力的设计苗头:未来可能用国产卡做prefill、NVIDIA卡做decoding,以效率弥补算力不足;另一个竞争方向,是组织数据团队攻克最强模型也难解决的科学任务。
  • DeepSeek的紧耦合,在他们加LoRA时也能感受到:adapter可能破坏原有最佳平衡点,但他补充,这也可能是团队尚未做到极限。他还举mHC从四路减到一路的变化,强调推理设计的系统结果:价格低、支撑更多token使用、获得更多数据,RL训练也更快。
  • 对智谱,他的评价是务实、好用,数据生产线在他们接触的几家中最完善、质量最高;Kimi则更喜欢创新。曲凯将其概括为智谱把每件事扎实做好、DeepSeek强在基础设施、Kimi更fancy,马骁腾基本认可这种区分。

8. 产品化的时机,也是模型公司分配注意力与算力的选择

  • 马骁腾批评MiniMax“信仰不够坚定”:曾有linear attention这条有特色、后来被广泛使用的路线,却又放弃、回到传统技术。曲凯指出,它一开始就更重产品和应用,与DeepSeek的路径相反;马骁腾认为,先营收、先上市会消耗大量attention,影响模型竞争。
  • 他主张技术、工程、商业化、产品化与推广应形成顺序和反馈循环,而不是只停留在技术里。DeepSeek模型做好后再招产品团队,在他看来是“顺水推舟”;MindLab也是先让LoRA技术达到可商业化状态,再推进服务,同时探索下一轮研究。
  • 曲凯用Seedance的成功挑战“大厂做不好模型”的判断。马骁腾归因于数据、明确场景与足够算力,并强调机会成本:按他的叙述,字节切出卡做视频,OpenAI则放弃Sora、把卡投入语言模型;他不能说这一定解释了字节语言模型的处境,但认为它“肯定是其中一个因素”。

9. Neural Lab的标准是研究与产品闭环,而非一个新标签

  • 马骁腾把Neural Lab与传统论文、基金循环区分开来:它是拿投资人真金白银、最终需要交付商业价值的公司。MindLab的口号是“Research Product Co-design”,用实际场景反推research,再看研究究竟有没有用,而非以论文发表作为最终评价。
  • 曲凯提出不同排序:OpenAI、Anthropic先是模型绝对好,赚钱是结果。马骁腾追问“什么定义了模型好”,直到双方落到能解决真实coding问题、进入实际应用;他由此强调“只有有用是重要的”,警惕研究者“拿着锤子去找钉子”。
  • 另一处分歧是先模型还是先产品。他先说一定先research、再产品,曲凯反问,没有用户需求如何确定研究方向。马骁腾随后给出更完整的路径:先有prototype,推向市场收集真实数据,但不做大规模增长与投流;研究跑通后再扩场景,发现下一轮问题。
  • 对外讲Neural Lab、内部却不强调标签的矛盾,曲凯也直接指出。马骁腾说,他们更关心扎实工作、自动训练与部署、减少模型训练的摩擦;对投资人的提醒则是,看故事里“到底有没有商业闭环的逻辑”。

10. RSI可以自动化数据循环,但人类需求与数据边界不会消失

  • 马骁腾认为,RSI目前很大程度是“宣传口号”,类似从prompt engineering到context engineering、harness engineering,强调重点在变。实际内容是AI在模型迭代中的比重增加:在高速、可验证的环境里,自动找数据、构造、验证,再返回训练,“没有什么复杂的trick”。
  • 他不相信模型迭代最终完全不需要人,因为reward设计要回答人究竟需要什么。写作是他的例子:模型很难自行判断文字是否对人友好,写作能力“可能越来越差”,仍需要人把它拉回来;这类能力很难完全RSI化。
  • 即使自动迭代成立,也没有解决数据从哪里来。某家制药公司的机密数据不在公开网络,模型又没有办法自己做实验,就不可能凭空获得相关经验;除非公司真正开放数据、让AI操作并进行迭代,自动化训练循环本身无法跨过这道边界。

11. AI service的研究价值,在于接触公开语料里没有的真实问题

  • 马骁腾不把帮企业训练模型视为业务转型或单纯外包:材料研发中的真实数据、金融医疗每天新增的query,以及用户负反馈,都是可研究的环境来源。问题是如何从这些流式任务里持续构造环境、训练模型;交付不了商业价值,他就认为research无效。
  • 对数据、infra、训练等中间层公司逐渐聚合,他的解释是“模型即服务,模型即产品”。前端与harness在他看来差异较小:他们“从来没有记住一副名鞍”,记住的却有赤兔;围绕模型的部署、训练、LoRA与benchmark因此都得有人完成,只是哪些自做、哪些外包。
  • 国内暂时更大的阻力,他认为是理解和购买服务的意愿,而非拿卡:后训练比预训练少用很多算力,甚至不必使用最新卡。这个判断也对应他对中美SaaS差异的理解——国内接受此类服务仍需要一个较长过程。

12. 客户先能判断好坏,后训练项目才有明确终点

  • 筛选客户的第一道门槛是“你要有自己的benchmark”。没有自己的评价体系,既无法判断训练是否有效,也难以创建合适环境;有benchmark至少意味着企业知道要往哪个方向优化,而不只是刚开始尝试agent、模型调用或RAG。
  • 最理想的一类客户是已经实现PMF的创业公司:用frontier模型能服务用户,接下来追求更好效果、更贴合用户与更低成本。它们经常需要比较新模型,通常也已有自己的benchmark;技术理解与业务收入,是他观察客户的两个维度。
  • 传统或垂直行业中,符合条件的企业较少,MindLab更看重真正落地、确实有价值的头部客户,不愿为了PR做模型。他的判断是,头部公司验证方案后,行业可能跟随;反过来,若头部公司都没有理解post-training的意义,“大概率这个行业不需要post-training”。

13. 后训练同时改善效果与成本,项目价格并非唯一门槛

  • 马骁腾把企业决策画成两轴:纵轴是自己的benchmark,横轴是模型成本。可以继续提高当前模型的表现,也可以把相近表现训到更便宜的Flash版本;他举的型号是Gemini 5.3及Gemini 5.3 Flash,目标是让“斩杀线”向上或向左移动。
  • 收费通常按token,与数据量和算力消耗相关。他给出的经验量级是:最frontier模型一次迭代约几万元,一个完整项目可控制在人民币几十万至100万元,小模型更便宜。曲凯认为,对已融到B轮、融资一两千万美元的企业,拿约10万美元尝试很值得;马骁腾同意。
  • 满足资金和benchmark条件后,核心摩擦是data access。有些高速增长企业愿意以效果为先,他指出,它们调用模型厂商服务时数据本来也会流过去;另一些要求本地部署,MindLab可以支持,但成本会高于service。
  • 曲凯追问,既然方法标准化、成本又不高,客户为何不自建团队。马骁腾强调大模型训练底层工程的成本:多种parallel要协同,还得训对、训快、训便宜,并持续适配新模型;他也承认会有自建团队,若业务只需很小的模型,则不必找他们。

14. LoRA从算力约束起步,走向百万级差异化推理

  • 马骁腾说,开始做LoRA“完全是因为卡少”:2025年3月左右,约4台H800上开始尝试DeepSeek的LoRA训练。后来大概去年9月,他们看到Thinking Machines发布《LoRA Without Regret》,提出LoRA在很多情况下可以接近全量训练,与他们的观察一致,让团队很振奋。
  • 他们参考Tinker做出服务Mint,随后沿三个方向推进:skill up,在更大的base model上训练以获得更强智能;skill down,把每个LoRA做小,降低成本、加快迭代;skill out,在此前提下训练更多LoRA。
  • 他用人类基因差异作比喻:即使差异在“千分之五以下”,乃至打趣他与曲凯可能在“千分之二以下”,行为、声音和长相仍可不同。固定base model承载大部分共同能力,小adapter则改变behavior;这是他理解模型差异化的直观方式。
  • 他称,团队尝试在4月做了一个系统,可以在一个base model上挂载100万个LoRA进行推理。由此提出的仍是设想:未来一个system挂着大量不同behavior的LoRA,可能像“agent society”,产生新的互动;并未把这种社会形态说成已经实现的结果。

15. 持续学习需要存下判断力,而非记住每个细节

  • 马骁腾最近最关心的是,standard recipe之外还能有什么突破。AI一天能读300多篇论文,但能否形成insight?他自己的经验是,读到一定数量后“我就悟了”,看到新论文能迅速识别重点、判断对下一项研究的贡献,却并不记得此前论文的每个细节。
  • 他认为这种被压缩的state需要存放之处,而当前模型缺少这样的机制。持续学习可能需要“一个轻量可迭代的单元”,也许类似LoRA,但还需要新的更新方式,承载更长期的记忆、提高学习效率;这是研究问题,尚不是他给出的定型方案。

16. 通用模型可能更强,但他选择为多样化的未来工作

  • 曲凯最后提出威胁:更强通用模型会不会把具身、personal agent乃至MindLab所做的事情一起泛化解决?马骁腾回应,即使有人轻视personal agent,Anthropic负责采购数据的人仍会采购大量这类数据;他认为产品是获取真实数据的最好方式。他举Claude Code为例:Anthropic领先OpenAI约半年,做出Claude Code并积累大量数据,使其这段时间的coding表现领先;OpenAI过了很久才真正追平。曲凯则明确说,模型最终泛化解决问题与当前采购数据“没矛盾”,双方没有完全达成一致。
  • 对物理世界,他承认,更大的通用模型很可能比专用具身模型理解得更好;但“GPT-6”理解世界,与直接部署到具身系统是两回事,还要处理因果、延时和本体交互。他设想的可能路径,是先由强模型提供能力,再蒸馏成适合驱动本体的VLA,而非跳过工程环节。
  • 面对“当前工作会不会归零”,他提出两种情形:若真出现全知全能AI,工作、职业乃至社会秩序都可能被重洗,现有价值一起归零;若并非如此,就会是模型百花齐放,各有taste、preference与擅长任务,服务不同个人和行业。
  • 他没有断言第一种情形不会发生,而是说“我认为我应该为第二种情况而奋斗”。比起把社会压成单一答案,他希望AI让世界更“多姿多彩”;短期可能有人失业,也会有人借新技术找到更有意思、自己想做的事情。
Full transcript
曲凯

There's something there。我们今天很开心请到了 MindLab 的联合创始人兼首席科学家马骁腾。

马骁腾

Hello,大家好,我是 MindLab 的联合创始人兼首席科学家马骁腾,大家也可以叫我 Pony。我 2017 年在清华宗教学系直博,2023 年毕业,之后继续在清华宗教学做博士后。2024 年,我和谢扬一起创办了 Fellow 浏览器;2025 年 10 月,我和两位好朋友陈凯杰、Andrew 一起创办了 MindLab。

我一直在做强化学习和后训练相关的工作。今天也很开心来到 42 章经,见到曲凯老师本人。

曲凯

好的,非常官方。既然你提到了谢扬,我就想问一下:你待过的这两家公司都算是有一些争议,不知道你怎么看这些争议?我觉得大家对 MindLab 的争议,主要在于之前做马卡龙的那一段。

马骁腾

嗯。

曲凯

其实你们现在的业务已经和当时很不一样了,这也是我们今天做这期播客的原因之一。可以先简单讲讲这些争议,以及你或者你们内部的一些看法吗?

马骁腾

首先,我觉得有争议是好的。创业肯定不要回避大家的讨论和争议,只有有人讨论,才说明被大家看见了。无论是做 Fellow,还是加入 Macaron、创办 MindLab,我想做的事情其实一直都是模型训练和后训练。我自己学的是强化学习,也很理解 RL,一直在寻找能通过 RL 做出真正有用的事情。

在 Fellow 的时候,我们希望通过浏览器收集数据,做 GUI 相关的后训练。但后来发现,在一家应用公司里很难做后训练,因为资源很少,而且要不停追求最好的模型表现。后来我离开 Fellow,加入并创办了 MindLab,做一个后训练实验室。

对我来说,无论它表现为马卡龙这样的 App,还是我们现在做的 RL 服务类 To B 业务,实质上都是给超大模型做 RL,让它在某项任务上的表现得到有效提升。我更希望把后训练理解成互联网时代的推荐系统,是一种基础技术。至于它上面长出来的是西瓜视频、抖音还是今日头条,我觉得可能不是现阶段需要特别考虑的事情。尤其是作为研究者,我不是特别关心最后呈现出来的形式是什么。

曲凯

嗯哼。所以你追求的还是模型训练本身的效果,最后交付出来的结果怎么样之类的。

马骁腾

对。

曲凯

你的选择也都是奔着这个目标去的。所以我特别好奇,你为什么没有首选去 AI Lab?

马骁腾

首先,我自己非常喜欢创业。我认为创业是一种生活方式,这也和我做很多 RL 研究有关。做了很多 RL 研究之后,你会发现,限制模型能力的完全是探索和表征能力这两件事。

曲凯

能不能再讲细一点?大家该怎么理解这两件事?

马骁腾

RL 里有一些非常基本的概念,现在都变成了我人生的哲学,也在指导我做各种人生规划。

曲凯

对,我们之前和吴恩达录过一期播客,那期播客里提到了一句话,大家也特别喜欢:人生本身就是一场强化学习。

马骁腾

是的。我觉得在大的 RL 过程中,我学到了 3 件对我很有帮助的事。

第一是 exploration 和 exploitation,也就是探索与利用。这是 RL 非常入门的一个概念,所有能 work 的 RL 算法里都有探索和利用的平衡。很早期我们做 Atari 小游戏的时候,会有 10% 的概率随机选动作。不要觉得这 10% 的随机动作看上去非常低效;如果不做随机动作探索,就无法达到最优解。

这里面有很多证明。今天训练模型的时候,我们也会控制模型的熵。很多情况下,训练得过猛,模型的熵就会降低,泛化性也会变差,这也是探索的一种体现。所以我在研究里看到,必须要有一部分探索。

我觉得生活里也一样。如果我不跳出既定思维,去做一些自己觉得有意义的事情,就会永远困在局部最优里。所以我一直是一个 90 分主义者:做到 90 分,我就觉得可以了,应该把剩下 10% 的精力花在探索新事物上。

曲凯

那在模型训练和强化学习这件事上,你觉得自己做到了 90 分,还是多少分?

马骁腾

我觉得现在显然是 90 分的状态,很多东西我们还没有做到最好。

曲凯

但这里还是有矛盾的。可以理解你在个人生活里是 90 分主义者,但在创业这件事上,你还是追求某个点上做到 100 分,甚至更高。

马骁腾

我觉得你说得非常对。这就是为什么我会和 Andrew、凯杰一起创业:我做探索的部分,他们一起让整个团队达到 100 分。

曲凯

OK。

马骁腾

某种程度上,他们弥补了我在研究探索上的商业化不足。

曲凯

明白。这是第一个点,你其实还有两个点。

马骁腾

第二个点是知行合一。RL 里面有 policy 和 value,也就是策略和值。我们做决策时,可能有两套逻辑:第一,我知道应该选哪个选项,以及选择它的概率是多少;第二,这个选项够不够好。比如 A 选项是 5 分,B 选项是 3 分,那我可能会选 A。选择一个选项的策略概率,和我们给它的评分是对偶的。知道它的评分,就能知道它的概率。

这也对应 RL 的两种不同算法流派:policy iteration 和 value iteration,它们都可以得到很好的策略结果。但无论是 policy iteration 还是 value iteration,都要求你的值和策略一致。如果不一致,一定是有一件事做错了:要么是策略更新晚了,要么是值更新得不够。

所以 RL 教给我,应该成为一个知行合一的人。我应该不停更新自己的价值观和判断;做出判断之后,就要去收集经验、采取行动,看看判断是否正确,再反过来修正自己的价值观。这其实是一种实践论。

曲凯

嗯哼。

马骁腾

第三个是长期主义。这也是我觉得目前强化学习最受诟病的一点:大模型训练缺乏长期主义。我们都在用 GRPO 训练,它是单步决策:问一个问题,然后回答一次。无论是 agentic 任务,还是很长的 reasoning 任务,都只回答一次。但我们的人生是一条 single path,是一个非常漫长的过程。

RL 基础理论里有一个概念叫折扣因子,就是把很远的 reward 折扣到当前的 reward 里。每一步折扣后的 reward 加在一起,就是你现在对这件事的价值判断。比如,明天发生的事,肯定是我最重视的;但十年后发生的事就有点没谱,所以要给它一定折扣。这个折扣因子决定了 agent 的视野,可以大致理解为时间跨度的倒数。如果折扣因子是 0.99,时间视野大概就是 100 步。

在 RL 里,折扣因子不能太大,也不能太小。太小就会短视,看不到未来会发生什么;太大又会不收敛、一直震荡,因为未来有很多事情都是噪声。这也指导我既要有比较长远的目光,也要有一个好的计划。

我不去 AI Lab,是因为我觉得自己需要探索,希望的人生状态是创业。创业有很多好处,它最适合 RL 的这个 loop,因为可以不停地收集真实经验。在大厂环境里,你拿到的不是全部信息,而只是局部信息,不利于更新自己的 value 和 policy。同时,在大厂里显然也没有办法做探索,只能做比较局部的事情。所以我一直把创业当成一种生活方式,而不是为了某个目标,我一定要做成什么事情。我很享受这个过程带来的快乐。

曲凯

但我在想,整个 AI 行业,包括智谱、Kimi 这些公司,成立也就三四年。那个时候你应该在读博二左右。

马骁腾

那没有。智谱成立的时候,我应该已经博三、博四了。

曲凯

对。

马骁腾

Kimi 成立的时候,我应该是博士最后一年。

曲凯

所以据我了解,你在读博过程中其实也没有去这些公司实习,是吗?

马骁腾

对。我觉得这件事其实是反过来的:我不太看短期的 value 是什么,而是先决定自己的人生计划。我的第一选择可能是成为创业者。

其实我也尝试过找教职,成为教授。原因很简单:第一,我发了很多论文;第二,我很喜欢和学生打交道,帮助一个 junior 学生探索出很好的成果。但我发现,教授的大部分时间都不是在做这些事情,而是在处理基金等比较枯燥的事情。后来我就放弃了这条路,选择自己创业。

曲凯

嗯哼。大家通常会觉得,能训练模型的研究者应该出自某个现存的 AI Lab,至少在里面工作过。但你没有这些经历,市场上对你的认可和口碑还挺好的,你们做的模型也不错。你觉得这是为什么?为什么没有真正去这些公司训练过模型,但仍然能做得很好?

马骁腾

首先我肯定不知道,因为我没在厂子里训练过模型。但我有一些在更大集群规模上做模型的经验,这源自我痛苦的读博经历。

读博期间,导师让我做了一个 5000 万的比较大型的项目,大概从 2018 年开始。那时候 OpenAI 刚刚出现,我们希望能在一个有 1 万核 CPU 和 100 张 V100 的集群上做大型的对战式训练。我很早就了解整个 RL 训练的全栈,包括基础设施。当时 Ray 是 0.2、0.3 版本,Python 也是 0.3、0.4 的那个非常早期版本。我们用 Ray、K8s 这些东西做大规模集群训练。

第二,我觉得大模型训练会带来一些新挑战,但本质上和我读博时做的事情没有变化。我每天也在面对 reward hacking,思考怎么做更好的 simulator,怎么设计各种 reward 和 benchmark。只不过网络变大了,表现能力变强了,做实验更贵了而已。

曲凯

你觉得自己和别人比,有什么特别的学习方法吗?

马骁腾

我不是那种特别典型的 nerd,不是竞赛出身之类的。但我觉得自己的泛化能力和通用性比较强,对各种东西都很感兴趣,也喜欢在各种事情上做尝试,这和我的 90 分哲学有关。

博士期间,我阴差阳错地做了很多研究方向,包括线性强化学习、多智能体强化学习,这些现在都算传统的、经典的 RL。我也做过很老的 tabular RL,做过只有在影印版的 20 世纪六七十年代的书里才能看到的各种 Markov 链性质的 survey;还做过一些证明各种 bound 的 RL,以及一些实操项目。

因为我做的 RL 项目比较多,也和很多不同的老师打过交道。他们带来了很多不同的 insight,我发现这些 insight 汇总在一起,会形成一个更 meta 的抽象,这对我帮助非常大。

曲凯

我刚才听你说 90 分理论时想讲,其实在一个领域做到 90 分以后,再往上走,难度和边际效应都很低。

马骁腾

对。

曲凯

但是你可能在其他领域只做到 20 分,却突然发现里面某个点可以用到这个领域里。不同的东西交叉起来,可能产生加法甚至乘法的关系。

马骁腾

是的。我读博时有一段时间非常绝望。那时候我刚到叉院 visit,叉院的同学都非常厉害。我们组有一个同学硕士毕业时发了 30 篇论文,答辩只有 30 分钟,他做了 30 页 PPT,每页讲一篇论文,念一遍标题就过去了,非常厉害。

曲凯

他现在在干嘛?

马骁腾

他现在是清华大学教授。

曲凯

OK,合理。

马骁腾

对,非常卷,压力非常大。我去找张中杰老师,说我觉得自己做不出比他们更好的 research,也很难找到一个角度做得比他们更好。他说,每个人的经历不一样,所以会有不同的想法,这就是 research 的魅力。不是一个人聪明,就能做出所有的 research;他一定是因为之前经历过一些事情,受到启发,才能做出新的东西。

我带着这种信念回到自己的研究里,发现确实因为自己做的东西比较杂,经常会从一些奇奇怪怪的地方找到启发,再应用到另一个领域。包括我自己非常满意的一个线性强化学习工作,就是受我很早做 risk-sensitive RL,也就是风险敏感强化学习的启发。后来那个工作和 CG 的工作做得非常相似,这对我自己是很大的鼓舞。因为经历不一样,所以能做出来的事情也不一样。

这也影响了我们现在做后训练的事情。人的经历能够塑造人,而 AI 的经历塑造出来的可能只是一个单一的 AI,不是多样化的 AI。这可能不是我想做的事情,我希望它是多样的。

曲凯

嗯。你刚才聊的这些还都是 RL。我很好奇,前两年我们也和很多做 RL 的人聊过,尤其是做得好的人。

马骁腾

嗯。

曲凯

他们之前都会提到一个点:当年选择这个方向的时候,它并不是一个很受待见的事情,对吧?

马骁腾

是。

曲凯

他们经历了这个领域很长一段低谷期,可能这几年 RL 才火起来。你当时会不会也有这种感受?如果是这样,为什么始终在 RL 领域做很多东西?

马骁腾

我觉得他们这是后验地这么说。那时候我们哪知道它不火呢?

曲凯

OK。

马骁腾

我们就是刚进去的博士生,小白,导师让做什么就做什么,老师接了一个项目做 RL,我们就做 RL。好处是特别有意思,剩下的人都在搞 CV、NLP 之类的东西,我一直觉得那些东西有点 tricky,改一下网络结构跑一跑。但 RL 就是打游戏,谁不喜欢打游戏呢?训练一辆小车跑起来,再训练一个小人跑起来,感觉很有意思。

挑战主要是,像你说的,那时候 RL 不受待见,我们能发出去的论文非常少。发论文确实非常痛苦。

曲凯

不然你现在可能已经在当教授了。

马骁腾

那也不是,这真是两件事。

曲凯

还有一种说法是,国内的 RL 水平一直没有跟上,真正做得好的人比海外少很多。我不知道这是客观事实,还是……

马骁腾

一般来说,各个领域最 top 的人都比较少,但国内还是有很多非常优秀的 RL researcher。后验来看,硅谷做 RL 的 researcher 能更早参与 language model training。比如 John Schulman,他是 PPO 的发明者,在 OpenAI,而 OpenAI 一直是靠 RL 起家的。

国内可能缺少相对熔炉式的环境,立山头的现象比较多,大家经常贴标签,说你是做 RL 的,你是做 CV 的。但我觉得大家做的东西其实都一样,都是把知识训练到模型里,本质没有区别。不同领域的东西也可以互相借鉴。

曲凯

所以你觉得现在中美两边模型的整体进展怎么样?

马骁腾

整体来说,美国肯定是 OpenAI 非常领先。他们领先的地方是更早做了数据、更早做了大规模强化学习,而且有很多卡。之后可能是国内一些 top 大厂,再往后可能是 Meta、Mistral 等公司,也追赶上来了。

整体来看,在 1T 以下模型的预训练和后训练上,已经有了标准流程。只要给我卡,我都能做,这没有什么秘密,大家都知道怎么做。大家更多是在想怎么扩展更多数据、怎么设计更高效的模型,让它能扩展到更大规模。据我了解,OpenAI 和 Anthropic 在这件事上有非常明显的领先。

曲凯

对,我的感受是,过去几年国内通过各种方法已经追上很多了。但最近各种 5.5X 的东西出来之后,我感觉差距似乎又被拉开了。我也在想,如果后面大家要卷更多参数,需要更多卡,那国内是不是会持续处于劣势?之后又要怎么追?

马骁腾

我觉得这件事短期悲观,长期乐观。短期悲观是因为蒸馏不了,蒸馏不了以后,速度显然会慢下来。

曲凯

对,这也是最近新出现的事情,防蒸馏这方面大家做得越来越好了。

马骁腾

对。蒸馏不了以后,速度显然会慢下来。但我觉得长期还是比较乐观,因为这里面没有什么特别核心的技术发生变化,大家还是在原来的范式下面。

中国有两个可能追上来的点。一个是国产算力。我觉得明年虽然肯定还是和最领先的 N 卡差一截,但会变成一个能用的状态,极大缓解现在的局面。第二,中国人组织数据运营的能力远远强于美国,甚至美国很多大厂的数据工作,追根溯源也是中国人在帮他们做。所以我不认为中国人在这件事上落后。

比较危险的是,OpenAI 可能已经在采用一些相对新的范式,能够做更长的 reasoning,甚至 reasoning 一周,去做一些菲尔兹奖级别的数学证明。这可能涉及范式变化,如果这方面没有突破,我觉得会比较危险。

但如果你关注的是产业,就不需要太担心。现在大部分产业应用基本都发生在 1T 以下,最常用的其实是 Flash,各种 Flash,大概在 300B 到 500B 的范围内,能解决绝大多数办公任务。如果你关注的是制药这类最 frontier 的事情,确实会和美国有一些差距。

曲凯

但从数据量来说,传闻美国那边在追求 30T 的量级。这些数据到底从哪来?我一直有这个疑问,因为很早以前大家就觉得数据不够用了,是不是已经用完了?

马骁腾

数据肯定是不够用。所谓已经用完,是指互联网的公开数据已经被用完了。现在大部分预训练乃至中训练规模的数据,都来自之前做出来的数据,再拿回来蒸馏。无论是蒸预训练模型,还是蒸模型自己之前产生的轨迹,再蒸回去,都是这样。

现在大家追逐的更多是一些专用领域的数据。比如说,明显这批数据优化了 Blender 的表现,我相信国内后续版本也会很快追上。构造这样一批数据虽然比较困难,但不是我们做不了的事情。

让人担忧的是,Anthropic 已经在做一些暴力的收购来获得数据。它收购公司以后,就能获得公司里绝对没有公开的数据。但这些数据的价值到底有多大,我觉得 Anthropic 自己也不知道,不过能看出来,他们对这些事情有非常大的决心。

所以逻辑没变:数据已经用完了,后面最重要的数据会在企业里、真实生活场景里,乃至 To C 应用里面。这也是我觉得 post-training 后面会有价值的原因,因为这些数据不一定会流到预训练厂商那里。

曲凯

嗯哼。国内模型这块,我们不讲具体哪家,避开敏感话题。我想分成两类:一类是大厂,比如腾讯、字节、阿里;另一类是新一批公司,比如 Kimi、智谱和 MindLab,你们定位自己是 Neural Lab。

我觉得新一批公司如果未来要追求更多数据、做更多事情,需要的卡和钱就会更多。

马骁腾

嗯,会更多。

曲凯

这样的话,长期来看,尤其像你刚才提到的蒸馏,未来可能越来越难蒸,逼着大家只能走正道。这样是不是大厂还是更有优势?

马骁腾

单纯看资源和运营能力,大厂肯定有优势。但实际结果是,这两年无论中国还是美国,做出最好模型的都不是大厂,而是一些 AI 创业公司。我觉得这里面肯定有本质原因。

比如今年我们频繁看到大厂重组,包括裁员。

曲凯

包括裁员之类的。

马骁腾

对,这件事很现实。我们就说千问吧,在林俊旸离开之前,千问团队肯定是公认的第一梯队主流模型团队,做得非常好。也就是说,千问团队没有理由做不好,除非技术或者资源落后。但后面发生了一系列事情,核心其实是千问的账单摆在集团面前,集团要看账单的 ROI 是不是最高。这样一来,他们肯定会思考,怎么把实验室的产出转化出来、优化财务,因为这是一个非常烧钱的庞然大物。我觉得这件事一定会出现在所有大厂里。

国外也是这样。据说 Google 在 OpenAI 之前就已经做出了类似 ChatGPT 的东西,但没有发布,因为觉得可能影响广告业务。大厂会有这样的顾虑。有篇文章写得特别好,叫《The Cost of Staying》,说在大厂环境里有一种原生的向心力,让你无法做出特别突破性的创新。

我倒觉得最后不一定是大厂做出最好的模型,但这不意味着大厂会成为这场游戏的输家。无论在中国还是美国,大厂其实通过股权、销售等方式,把算力置换给创业公司,再从中盈利。所以从商业上看,大厂不一定会失败,他们账面上可能已经赚到了足够的钱;但在模型技术竞争上,他们未必是最后的赢家。

曲凯

嗯。

马骁腾

所以每个大厂的核心决策者面前都摆着一个问题:这些卡到底是给 Anthropic,还是自己训练?这是 Google 面临的最大问题。

曲凯

目前已经有些苗头了。就像你刚才提到的,大家的训练方法很多都不再是秘诀,慢慢变成行业公认的操作规范。那时候是不是大厂就会比较有优势?

马骁腾

我觉得也不完全是。现在已经是这样了,如果再从头走一遍标准流程,重新组建一个和现在最好的模型团队一样的团队,会很费劲,也会消耗很多资源。很多大厂到后面肯定会觉得没必要。

但对创业公司来说,做不出来就会死,所以一定会 all in,把这件事做出来。第二,数据长期积累和清洗始终还是有优势,这个优势很可能让比较缓慢的大厂持续处于劣势。所以我整体还是觉得,大厂可能会在这场游戏里集体失败。

曲凯

但我觉得腾讯这个案例还是比较典型的。大厂一开始可能先观望,不知道事情会怎么样;某个时候,不管是因为外部竞争压力,还是股东回报、股价压力,决定 all in 了,看清楚了,就砸钱。第一步可能是尽量把最好的人招过来,这些人应该八九不离十都知道这套活怎么干。

马骁腾

嗯。

曲凯

然后我再给你钱、给你卡,再给你相对的独立性。理论上来说,至少应该能用最快的速度追平行业里开源模型的平均水平。

马骁腾

首先,腾讯选择姚顺雨这件事上,肯定是极其幸运的。我觉得腾讯也非常有魄力,确实给了姚顺雨很多权限。同时姚顺雨本身也面临很大的压力。很幸运的是,他们在混元系列里做得还不错。

即使这样,我们也不能说混元现在是最好的模型,对吧?腾讯也投了 DeepSeek,长期和 DeepSeek 绑定。对腾讯来说,哪个是更好的选择?站在腾讯的角度,可能要思考的不是怎么实现 AGI,而是未来的新业态业务。比如假设腾讯也要做 Muse,当然现在也有 WorkBuddy;未来微信可能也会有很多 AI 支持,那时候选择什么模型最好,我觉得还是个问号。所以我也不觉得混元已经处于非常好的状态。

包括 Meta,最近的 Muse 除了是一个由 personal agent 包装起来的 App,其实也是一个模型系列。你用过 Muse 的模型吗?

曲凯

Muse 后面就是 Muse 的模型,是这么理解吗?

马骁腾

不是,是像用 Muse 的 API 去 coding。

曲凯

哦,那没有。

马骁腾

显然没有人用过,对吧?它只是最后打完榜以后,就没有人会用的一个东西。所以我觉得这里面还是有很大的问题。

曲凯

嗯。但我在想,这是一个思想实验。比如说我现在从智谱、Kimi、Seed 等公司里,每家公司拿出一个在各自领域达到八九十分的人,组成一家新的模型公司。理论上来说,它能不能半年就做出一款追平现在 Kimi、智谱水平的模型?

马骁腾

我觉得显然很有可能做到这一点,但这样做的成本显著高于直接用它们现在的模型。而且你现在开始做,花半年做出来,可能也就达到现在的水平;半年以后这些公司发展到什么程度,肯定会领先很多,那时候就非常不确定了。

何况你真的有这么多卡吗?你真的有那么多生态支持吗?这里面的运营难度其实很大。

曲凯

嗯。所以下一步,包括你们在内,国内这些模型公司核心要拼什么?

马骁腾

整体竞争局面上,我觉得肯定还是要从 inference 和 data 两个角度理解这个问题。

inference 方面,除了国产卡,还有一个很重要的因素是模型架构本身。现在大家都在尝试做模型和 inference 的 co-design,让模型尽可能适配最新的卡,甚至有一些苗头是为了未来的国产卡设计的。比如 DeepSeek 现在采用 decoder、encoder 分离的架构,显然是希望未来让 encoder 跑在国产卡上做 prefill,让 decoder 跑在 NVIDIA 卡上做 decoding,进而做更高质量的生成。这里面已经有一些苗头。如果我们不停优化效率,就有可能在很大程度上弥补算力不足。

第二是在 data operation 上。如果我们的数据可以更好地集中在一个模型上,尤其是在最前沿的领域有所突破,我指的前沿领域是那种真的需要把 extra 开到 max 才能解决、甚至还解决不了的任务,比如科学发现任务,那么数据就会变得极其重要。我们能不能组织足够的数据团队,在这上面进行押注,是一件很重要的事情。

曲凯

嗯哼。过去一两年,卖数据肯定是实打实最赚钱的事情之一。未来几年可能也会延续这个趋势,只是数据的形式和领域不同了?

马骁腾

现在数据已经转化到“环境”这个语境下了。就像你说的,什么叫实打实地做?数据和蒸馏是等价的:你有更高质量的数据,把它做 SFT。但如果没有标准答案,就一定得有一个题目让模型在里面尝试,无论用 SFT 还是 RL。所以环境变得非常重要,这也是现在大家比较忽视、需要投入更多精力去构建的东西。

曲凯

嗯。海外模型你最看好哪个?

马骁腾

我目前肯定最看好 OpenAI 和 Anthropic。如果非要选一个,我比较看好 OpenAI。

曲凯

原因是什么?

马骁腾

因为 OpenAI 的新模型对 harness 和 reasoning 结构做了一些调整,目前看 Anthropic 应该还没有在这方面做调整或跟进。

曲凯

你指预训练的时候吗?

马骁腾

对,预训练的时候。

曲凯

OK,那国内这几家你最看好谁?

马骁腾

我显著看好 DeepSeek。数据这件事很难说,大家到底往哪个方向做,更多是一个运营问题。但 DeepSeek 几乎 all in 在第一件事上,就是 inference 和模型的 co-design。

如果仔细训练过 DeepSeek 的模型,就会发现它的设计耦合得非常紧。比如我们在训 LoRA,在 DeepSeek 架构上训 LoRA 时,会发现加上 LoRA 后会破坏一些 DeepSeek 最佳的平衡点。当然这也有可能是因为我们还没做到极限,但还是明显能看到 DeepSeek 在 inference 上的智慧。

举一个小例子,他们之前的 mHC 是四路,这次减到一路,其实就是为了 inference 设计。包括刚才说的 encoder、decoder 分离,也是为了 inference。这样的设计会让它的价格极其便宜,而价格便宜就意味着它能拿到更多数据,支撑更多 token 使用,RL training 也会更快。这是一个非常系统性的结果。

曲凯

嗯,除了 DeepSeek,还有别的你看好吗?

马骁腾

我自己还是比较喜欢 GLM。首先,我们今年做了很多 GLM 的 post-training,它的模型确实非常好用。GLM 这家公司看上去没有很多花哨的创新,甚至有很多合理的借鉴,但它确实是在实实在在地做模型,希望模型最实用、最好用。

而且 GLM 真的非常认真地做数据。我们看的这些公司里,GLM 自己的数据生产线应该是最完善的,数据质量也最高。

曲凯

能不能这么理解:智谱是最务实的,实打实地把每件事做好?

马骁腾

嗯。

曲凯

DeepSeek 是在 infrastructure 上做得最好?

马骁腾

对。

曲凯

Kimi 比较 fancy?

马骁腾

它比较喜欢创新。

曲凯

那这么讲,MiniMax 是不是也有类似的问题?

马骁腾

在我看来,MiniMax 是信仰不够坚定。它一度有自己非常有特色的方法,就是 linear attention。linear attention 现在也成了大家实质上经常用的一项技术,但它自己没做下去,又放弃了 linear attention,回到了传统技术。

曲凯

所以我觉得,MiniMax 一开始其实是做产品、做应用做得最好,或者说最重视产品和应用的。

马骁腾

对。

曲凯

就像你讲的,它可能反而不是一个坚定 all in AGI 的角色。

马骁腾

我觉得——

曲凯

它正好和 DeepSeek 相反,所以它会在中间做很多应用。

马骁腾

对,这里面有一个很强的顺序和 timing 问题。今天 DeepSeek 又在开产品团队招产品的人了。当你把模型做好以后,做商业化和产品就是顺水推舟的事情。MiniMax 有一点搞反了,它先做了营收,先追求上市。当然,MiniMax 事实上也是第一个上市的公司,但这肯定牵扯了大量 attention,让它今年的模型竞争是不是很占优势,成了一个问题。

这和 AI 都没有关系。蒸汽机时代也是这样:一定是先有技术,再改善技术,直到它能变成工程、可以商业化,然后把它产品化、推广运营,再把推广运营的结果拿回来迭代技术,一定是这样的过程。

这也是我们这样运营实验室的原因。我们觉得 2025 年年底这样的阶段,还是一个由 research 主导的阶段,我们还有很多东西要探索。今天像 LoRA 这样的技术已经可以商业化了,我们就在探索下一次迭代的新技术。等我们把 LoRA 做好,商业化就是顺水推舟的事情。

曲凯

嗯。我突然想到一个问题:最好的模型很多确实是国内外的创业公司做出来的,但 Seedance 的成功,你觉得是因为什么?

马骁腾

Seedance 成功的原因太显然了,就是数据好。

曲凯

就是数据,对吧?纯粹就是数据。

马骁腾

对。另外,我觉得还有非常明确的场景支撑,以及确实拿了足够的算力。字节决定把 Seedance 做好,其实也代表着要切出一部分卡,不去做语言模型。

曲凯

嗯。

马骁腾

他们没有 all in 去做语言模型。反过来,OpenAI 做的决策是切掉 Sora。Sora 当时做得也很不错,效果很好。如果 Sora 留到今天,表现应该不会比 Seedance 差。但当时 OpenAI 的决策是把这部分卡全部拿出来,all in 做语言模型。我不能说这一定是字节语言模型失败的原因,但这肯定是其中一个因素。

曲凯

最后我想谈谈 Neural Lab。你们也把自己定义成 Neural Lab,但国内过去半年到一年出来了很多 Neural Lab。我感觉国内的 Neural Lab 和海外的不太一样。海外很多是垂直某个领域,或者真的有一些创新架构,差异化更明显。国内这一波,我感觉很多是新出来一个人就讲一个 Neural Lab,或者讲世界模型的 Neural Lab、AGI 的 Neural Lab。但这些方向本来就在大 AI Lab 的主线上,智谱、Anthropic、OpenAI 都在做 AGI,为什么还会有新的 AGI Neural Lab 出来?总而言之,你怎么看海内外 Neural Lab 的生态?

马骁腾

我先谈一下我对 Neural Lab 的理解。为什么叫 Neural Lab?因为它不是传统意义上的 Lab,不是只做写论文、发 paper、申请基金这样的 loop,而是实打实做一件可能会商业化的事情。

我们在 setup 自己的 Lab 时,有一个 slogan,叫 Research Product Co-design。DeepSeek 可能更多做 inference 和 model co-design,我们做的更多是自己的 algorithms 和 product co-design。我们面向实际场景,反推应该做什么 research,再以 research 有没有用作为判断标准,而不是以论文有没有发表作为判断标准。

在我看来,现在很多宣传自己是 Neural Lab 的人,没有想明白这件事。他们没有想明白,虽然叫 Neural Lab,实际上它是一个公司,拿着投资人真金白银的钱,最后要交付商业化价值。如果没有尝试进入商业化闭环,我觉得就不是 Neural Lab。对我们来说,也一直在 research 和最后的商业化产出之间做平衡。

在听这个播客的投资人,一定要看看大家讲的故事里,到底有没有商业闭环的逻辑。

曲凯

所以你不觉得大家会说“我是一个 Neural Lab,目标是未来做出更好的模型,超过今天所有模型”,包括一些不同架构?比如像那个 Discovery Loop,最近也有人在做 diffusion model,瞄准的应该是一个更厉害的 OpenAI、Anthropic,我的理解是这样。

马骁腾

首先,你觉得 OpenAI 和 Anthropic 厉害,其实是因为它们赚的钱多,模型有用,拿过来好用,对吧?

曲凯

不,我觉得是因为它们的模型本身绝对地好,所以赚钱是模型好的结果。

马骁腾

那什么定义了模型好?

曲凯

我举个大家经常看到的例子。比如某个模型能解决之前 coding 里有 bug 的问题。

马骁腾

那为什么这件事重要?

曲凯

因为它真正能进入实际应用。

马骁腾

Yeah。只有这个事情重要,只有有用重要。我觉得所有 researcher 都在犯一个致命的问题:大家非常善于造锤子,都喜欢拿着锤子找钉子。你提到的很多新架构和技术,我觉得当然都很有前景,但很有可能变成拿着锤子找钉子。你的钉子到底是什么?你应该先想好。

曲凯

哦,我理解你的意思。所以这么讲,也大概明白为什么我们看到美国有很多 Neural Lab 是在锤子领域的。

马骁腾

对。

曲凯

因为它是在把锤子和实际落地结合起来。

马骁腾

对。反过来,这也不是说美国一定比中国做得好。美国有一些 Neural Lab 也犯了这个错误,但某种程度上,美国很多公司确实有更高的比例,是先从实际业务出发,再说我需要一种新的 research 去做未来的事情。我觉得应该是这样的逻辑。

比如我认为长期记忆很重要,所以要发明一种长期记忆网络,它能产生很高的商业价值,让很多人用到、帮助大家生活,我觉得这样的工作才有意义。

曲凯

之前一段时间,我们播客也讲过,美国红杉也在提:下一代真正的 Neural Lab,其实是今天的应用公司。

马骁腾

嗯。

曲凯

刚才你讲的一些逻辑我都听到了。但为了落地,到底是模型和产品并列走,还是先模型再产品,还是先产品再模型?两者的比重和优先级,怎么样才最合理?

马骁腾

这件事应该比较清晰,一定是先做 research、先做模型,再做产品。

曲凯

为什么?如果是为了落地,你应该先了解用户需求,先有问题,才能提供解决方案。

马骁腾

Very good question。所以我觉得最好的方式是,首先有一个产品 prototype,尝试把产品推向市场,但不要做大规模增长和投流。这样可以达到两边的目的:收集真实数据,这对 research 非常重要;再从这些数据里做各种实验。等你把它做 work 了,再想办法拓展更多场景,就能发现更多问题。我觉得这是我心目中最理想的闭环。

曲凯

嗯。我觉得现在国内,尤其媒体提到 Neural Lab 时会下意识反感,很多被黑的、有争议的公司,大家觉得它太会讲故事,讲了一个特别 fancy 的故事,或者最近特别热的话题,但没看到交付结果。这可能是现在很多公司被黑的原因。

马骁腾

是的,我自己也比较讨厌这种公司。但我觉得这是人类 attention 的局限性,人很容易被新名词、新概念吸引,比如 Neural Lab、RSI。

其实在我们内部,我们不是特别强调自己是 Neural Lab,而是更多强调我们做 Research Product Co-design,做扎实的工作、交付结果。RSI 我们也不怎么讲,更多讲模型的自动训练和自动部署,帮助大家减少训练模型过程中的摩擦。

曲凯

但你们对外 PR 确实会提到 Neural Lab。

马骁腾

我觉得 PR 是一种说法。我们不是为了做一个 Neural Lab 而做 Neural Lab,而是说我们——

曲凯

这个我理解。我觉得很多时候公司也是,因为我们自己也是媒体,也做 FA。公司有时候没办法,大家都说自己是 Neural Lab,你总不能非要讲“我其实是模型在训练自己”这么长的一句话。大家已经给你贴了标签,最后还是会把你归到那个标签里。

马骁腾

别人怎么看,我觉得不重要。

曲凯

嗯。既然你提到 RSI,可以再简单聊几句这个事吗?你怎么看它,觉得离实现还远吗?

马骁腾

我个人感觉现在 RSI 完全就是一个宣传口号。AI 很简单,就是 data 和 model,只是 training 里有一些细节不一样。RSI 也一样,有点像从 prompt engineering 变成 context engineering,再变成——

曲凯

Harness。

马骁腾

对,harness engineering。其实都是一个东西,只是强调的重点变了。RSI 肯定是强调模型训练迭代里 AI 所占的比重开始变高。

刚开始训练模型时,模型比较笨,我们要做 RLHF,让模型和人的能力对齐。后来人的各种 preference 都用完了,只能让模型和一些有事实标准的事情对齐。现在模型比较聪明,有可能可以自己和自己对齐,但它也一定是在相对有标准、可验证的事情上。说白了,RSI 就是在一个高速、可迭代的环境里,做一个自动化数据构建 pipeline,让模型自己找数据、造数据、验证,再回来训练而已,没有什么复杂的 trick。

我不太相信最后模型迭代完全不需要人,因为 RL 里的 reward 设计很难完全依赖模型自己。道理很简单:人到底需要什么,才是 AI 的实际准则。比如 Andrej Karpathy 在接受采访时也说到,subjective 的写作很难让模型自己迭代自己的写作能力。这也是为什么大家看到模型的写作能力可能越来越差,一直有人在把 AI 自己迭代出来的写作能力拉回来。因为它没办法判断这种写作对人来说是不是友好。

所以我觉得有很多事情很难完全 RSI 化。第二,即使实现了我们想要的 RSI,也没有解决数据到底从哪来的问题。比如一家机密制药公司的数据,AI 在公开网络上没接触过,又没有办法自己做实验,它怎么可能实现完全的自我进化?除非公司真的能开放所有数据,让 AI 操作它并做迭代,否则很难做到。

曲凯

嗯,明白。最后再讲回 MindLab。我知道你们最近在做一些 AI service 的事情,会帮其他公司训练模型。

马骁腾

嗯。

曲凯

这和我们刚才讲的 Neural Lab 矛盾吗?现在算是转型还是延续?

马骁腾

我觉得完全不矛盾。自始至终,我们一直希望从真实环境里做 learning。大家听到帮一些公司做模型,第一反应可能是外包:一群人去帮客户把项目做完。但实际情况完全不一样。客户的场景非常真实,有时会抽象出很好的数据集,比如材料研发过程中产生的真实数据,这些数据很难从公开语料里获取。

再比如金融、医疗的数据是流式的,每天都有新问题、新 query 进来。怎么从这些新的 query,尤其是用户有负反馈的 query 里构建环境,持续训练模型,我觉得才是现在最重要的研究问题。

所以我们更多会把和客户一起做模型看作 research。它也闭环到商业化里:如果不能交付价值,我们的 research 就是无效的。我们一直以最终能商业化为目标做 research。

曲凯

嗯。

马骁腾

现在有机会做这样的项目,我觉得挺好的。

曲凯

嗯,美国有很多家公司在做类似的事情。

马骁腾

是的。

曲凯

我们也有一个很明确的感受:美国各种中间层公司,不管做数据还是 infra,自己也都在做模型、做算力相关的事情,慢慢也都要自己买卡,好像中间层都慢慢变成了聚合形态。我不知道你们有没有这个观察,以及你觉得背后的原因是什么。

马骁腾

首先,我有这个观察。

曲凯

嗯。

马骁腾

我觉得这可能是一个比较本质的事情:模型即服务,模型即产品。这个逻辑没有任何变化。在 AI 时代,驱动整个 process 的模型是最重要的东西,也是差异最大的东西。剩下的前端、harness 这些都不重要。

我前两天还跟同学说,我们能记住历史上很多名马,比如赤兔,但从来没有记住一副名鞍,因为马鞍都差不多,harness 就是那个马鞍。

回到怎么把模型做好这件事,大家都会考虑整个 pipeline 上的所有事情,包括部署、training、LoRA 的一些反推、benchmark。这些事情都必不可少,哪一项都缺不了,只不过哪些自己做、哪些外包给别人做而已。

曲凯

嗯。我自己也研究了一下美国整个 infra 和 AI service 生态,你会发现美国也是几拨人。英伟达肯定是最核心的一环;围绕 Elon Musk 那边也有一圈人。英伟达卡的重要性变大以后,谁能拿到更多卡,好像谁就有更多算力、能做更多事情。国内似乎缺少生态链里很核心、能起决定性作用的这一环,最后大家是不是会比较分散地竞争?我不知道抓手到底在哪里。

马骁腾

目前看,国内还没有卡在算力上。整体来说,后训练需要的算力比预训练少太多了,不是一个特别消耗资源的事情,甚至在某种程度上都不需要用最新的卡。

从中国的生态来看,我觉得大家理解和接受这类事情的难度,大于拿卡的难度。国内很多很适合做这类服务的人,脑子还没转过来,大厂味太足了,需要转变想法。包括我们经常说,中国的 SaaS 做得明显不如美国,就是中国接受这类服务的意识不够。所以我觉得中间肯定需要一个比较漫长的过程。

曲凯

你们现在跟客户交流时,有没有发现什么有意思的点?大家的需求是什么,对这件事的期待是什么?什么样的公司最适合跟你们合作,或者自己做模型?

马骁腾

一般来说,我们希望客户能有两个维度,可以放进一个象限里。第一个维度是对技术的理解。我们的门槛是,你要有自己的 benchmark;只有有自己的 benchmark,才能判断什么模型是好的。

否则我给你训练一个模型,你又没办法评判好不好,那这件事就没法确定,我也很难创造环境。有了 benchmark 以后,很多事情就好说了,因为至少你已经想清楚要往哪个方向优化。再往前,可能是刚开始尝试 agent,或者刚开始尝试使用模型;再往下,可能还在 RAG 阶段。

另一个维度可能更多和公司的收入、PMF 有关。典型的有两种:一种是创业型公司,已经实现自己的 PMF,用现在的 frontier 模型、闭源模型很好地服务自己的场景,然后开始追求怎么做得更好、更适配用户、降低成本。这类用户质量很高,往往也有自己的 benchmark,因为要经常换模型,新模型发布了就要测试。

另一种是相对垂直、传统的企业,这类企业里符合技术条件的比较少。但我们也会识别其中质量最高的部分,至少看它是不是真的在实际落地、这件事是不是真的有价值。我们不会专门为了 PR 去帮别人做一个模型,那样对我们也是一种伤害,肯定会陷入无穷无尽的 To B 扯皮。

我们整体感觉,post-training 是一个行业里最头部的公司才会做好、做透的事情。一旦行业头部公司验证了方案,整个行业可能都会跟上来。反过来,如果头部公司都没理解 post-training 的意义和价值,那大概率这个行业不需要 post-training。

曲凯

所以你觉得 post-training,或者说公司自己做一个模型,最核心的意义是什么?

马骁腾

显然两个都有。

曲凯

是成本、某个领域的表现,还是别的?

马骁腾

大家经常在说斩杀线。比较 tricky 的是,大家看固定 benchmark 的分数,也就是纵轴。但实际应该关注应用场景里的表现,纵轴是它们自己的 benchmark,横轴是各个模型的成本。后训练显然可以在这两个维度上帮大家。

第一个是,在它们已经用的模型上,比如它现在用 Gemini 5.3,我可以基于 Gemini 5.3 继续提升它在纵轴上的表现。同时,我也可以想办法把 Gemini 5.3 的表现训练到 Gemini 5.3 Flash 上,这样成本就下降了。

所以我觉得后训练大概有这两种作用:让斩杀线往左移动,或者往上移动。

曲凯

嗯。那现在的账大概怎么算?做这么一件事需要多少钱?

马骁腾

这是不是有点像做广告?

曲凯

你不用说你们的定价,就说这类事情大概的成本。

马骁腾

其实大家的定价都很一致。像我们、Fireworks、Tinker 这样的公司,基本都是按 token 定价。你有多少数据,这是一个标准算法,而且直接和算力消耗有关。

最 frontier 的模型训练一次,大概是几万元一次迭代。一个项目跑下来,我们的经验是,在 DeepSeek V3 Pro 和 Gemini 5.3 这样的模型上,可以控制在人民币几十万到 100 万左右。比较小的模型就更便宜了。

曲凯

那成本其实非常低了。

马骁腾

对模型训练来说肯定很低,但对很多公司来说,这还是一笔很大的投入。

曲凯

几十万到 100 万人民币吗?

马骁腾

对。

曲凯

还 OK。假设融到了 B 轮,至少有一两千万美元,拿出 10 万美元做这件事是很值得的。

马骁腾

我觉得非常值得。

曲凯

嗯哼。但如果这样,你们谈客户时会遇到什么问题?假设客户已经满足基本条件:有钱、有 benchmark,也愿意做这件事。

马骁腾

我觉得核心问题是数据访问权限,用户对数据还是有一些敏感性,这很自然。现在大部分用户都还好,觉得只要效果好就可以,因为他们也在高速增长。即使不用我们的模型训练服务,他们的数据其实也流到了模型厂商那里,模型厂商也拿到了他们的数据,所以这还好。

另一拨人一定要求本地部署,这也很有中国特色。我们也支持,但成本肯定比 service 高。

曲凯

首先我们看到一个大的趋势:模型训练,尤其后训练,越来越透明、标准化,成本又不高。你提到的这些公司可能又是各自领域的头部公司,愿意做这件事,那为什么不自己建一个小团队来做?

马骁腾

后面肯定有些公司会用 service,有些公司会自己建团队。但自己组建 inference team 的成本相当高。我们找的都是相对最 top 的 inference researcher,他们非常懂底层的 engineering 细节。我们经常讲 5D 一体、5P 一体,各种 parallel 都要放在一起,其实是很麻烦的事情,还要把模型训对、训得快、成本低。

所以如果你在比较大的模型上训练,用我们的方式会比较靠谱,而且我们会持续跟踪更新的模型。当然,如果你的业务只要训练一个小的千万级模型就够了,我觉得也不需要我们来训。我相信之后两种方式的公司都会有。

曲凯

嗯,明白。

马骁腾

对。

曲凯

还有什么你觉得没聊到的吗?

马骁腾

我分享一下我们做 LoRA 的一些心路历程。刚开始做 LoRA,完全是因为卡少。2025 年 3 月左右,我们开始做 DeepSeek 的 LoRA training。当时可能也就 4 台 H800。后来大概去年 9 月,我们看到 Thinking Machines 发了《LoRA Without Regret》,说 LoRA 在很多时候和全量训练的效果一样。我们很振奋,因为这和我们看到的一样,进度也差不多。

我们发现,LoRA 是一个很好、很实用的训练大模型的技术。后来我们跟着 Tinker,做了自己的服务,叫 Mint。有了可以训练很多 LoRA 的服务以后,我们就在思考能拿它来做什么。

我们在做三个维度的事情:skill up、skill down 和 skill out。Skill up,就是尽可能把模型做大,在更大的模型上训练,这样智能更强。Skill down,就是把 LoRA 做小,每个 LoRA 越小,成本越低,迭代速度越快。有了更小的 LoRA 以后,就可以 skill out,训练很多很多 LoRA。

我们在这里发现了一种很有趣的生物学相似性。人与人之间的基因差异其实很小,比如我和曲老师之间的基因差异在千分之五以下,甚至更低。看咱们俩长得还有点相似,可能在千分之二以下。但差异这么小,表现却不一样:说话声音、身高、长相都不一样。这些东西很大程度上影响了你是你、我是我。

这就好像 LoRA 的部分。不同的 LoRA 造就了模型不同的 behavior,但大部分东西还是承载在固定的 base model 里,这些参数不变,变化的是剩下的小型 LoRA adapter。

最后是 skill out。我们尝试在 4 月做了一个系统,可以支持在一个 base model 上挂载 100 万个 LoRA 做推理。我们就在想,未来会不会有一个 system,上面挂着非常多 LoRA,呈现完全不同的 behavior,最后可能变成一个 agent society,各种神奇的事情都会发生。

曲凯

嗯,明白。你最近最主要在关心什么问题?

马骁腾

好,这就是我想讲的。我最近最关注的问题还是持续学习。我们刚才谈的很多东西,还是在标准流程里,是一种标准菜单式的研究。除了这种标准菜单式的研究之外,有没有新的可能性和突破?

我觉得最重要的是,应该给模型一个储存长期记忆和 state 的地方。比如 auto research 或者 AI scientist,AI 现在看论文的速度比我快太多了,一天看 300 多篇论文,能不能产生一些 insight?我很明显能感觉到,我读了 300 多篇论文以后就悟了,再有新的论文,很快就能 get 到里面的点,也很快知道这些东西对下一篇论文可能有哪些贡献。

但我虽然有这种 sense,其实并不知道之前 300 篇论文的每一个细节。我是把这种 state 压缩到了一个地方。现在模型最大的问题,就是没有地方储存这种 state。这是我现在非常关心的研究问题。

我认为要实现持续学习,一定要有地方储存这种 state。它是一个轻量、可迭代的单元,可能类似 LoRA,但需要一些新的更新方式,能够处理更长期的记忆,让学习变得更高效。据说这也是 Ilya 在想的一些 topic。

曲凯

嗯。最后我还在想一个问题。我们聊了很多模型、Neural Lab,也聊了你们在做的事情。最近大家经常在聊 Xtra 对具身和物理世界的影响。

本来大家都觉得具身智能会不一样,因为它已经到了实体、线下世界,需要实体数据和实体环境,也会有自己的模型。

但现在大家甚至发现,Xtra 可能通过泛化或者其他方法,把这个也解决掉了。未来会不会包括你们现在做的事情,以及很多其他人在做的事情,都被一个或者少数几个大模型通过泛化解决掉,最后发现大家做的事情都是白费的?

我听说 Anthropic 内部有人评价 personal agent 这件事,觉得看不上这个东西,认为它只是表面的东西,最终只要模型智能足够强,这些东西模型都会自己解决。

马骁腾

Anthropic 不管是谁说的这句话,他们负责采购数据的人肯定会采购大量 personal agent 的数据。

曲凯

不矛盾啊。

马骁腾

这个——

曲凯

不冲突。

马骁腾

我觉得冲突。我觉得如果 Anthropic 不做 Claude Code,它现在绝对不能和 OpenAI 抗衡。

曲凯

嗯。

马骁腾

它其实就是因为领先 OpenAI 半年,做了 Claude Code 这个产品,所以积累了大量数据,导致它这段时间的 coding 比 OpenAI 好。

曲凯

OK。

马骁腾

OpenAI 过了很久才真正追平它的 coding 水平。所以,有一个产品是获取最真实数据的最好方式,这肯定没有疑问。GPT-6 肯定也买了大量数据,把它们训练进去,其中甚至包括大量人工标注和清洗,才有可能在真实世界里表现出各种泛化能力。

但我觉得很有可能会出现更大的模型,它对物理世界的理解强于一个专用的具身模型。不过,这和把 GPT-6 直接用在具身智能上是两件事,因为这里面要解决很多因果、延时,以及——

曲凯

嗯,当然。

马骁腾

对,还要解决和本体交互的问题。但如果单纯从智能本身来看,可能是这样。也许未来的范式是 GPT-6 蒸馏成一个 VLA,再用 VLA 驱动模型。

曲凯

嗯。所以你在做的过程中,会担心未来出现一个绝对智能的模型,让你现在做的所有事情都没那么有价值吗?

马骁腾

我不担心,而且我觉得我们一直在从这件事里受益。我有一个假设,这里面一共就两种情况。

第一种,真的出现一个全知全能的 AI,那我们的世界就会被整个摧毁,所有人的价值都归零,世界重新洗牌。那时候会发生什么都不知道,至少现在的工作、职业都会被粉碎掉,然后建立一个新的社会秩序。这是很残酷的事情。

第二种可能性是假设的反面:不是出现一个全知全能的模型,而是百花齐放。不同模型擅长不同的事情,有不同的 taste 和 preference,能做的事情也不同,服务于不同的行业、不同的人。如果是这样,世界会重新变得多姿多彩,会出现更有意思的事情。

我不是不相信第一种情况会发生,而是认为我应该为第二种情况奋斗。我们不应该做一个把人类社会压得特别无聊的 AI,而应该做一个让世界变得多姿多彩、让每个人的生活都有新可能性的 AI。也许短时间内会有一些人失业,但一定也会有人通过这些新技术找到更有意思、自己想做的事情。