为什么 FLUX 3 要同时用图像、视频和声音训练——Andreas Blattmann 与 Dustin Podell,Black Forest Labs
swyxAndreas BlattmannDustin Podell
- Black Forest Labs 正在把商业图像业务拓展为更广泛的视觉智能平台。公司称已融资4.5亿美元,营收也已超过去年12月公布的1亿美元;对话没有说明这一数字是否为年度经常性收入。图像生成带来了商业起步,但视频和物理世界理解从一开始就在规划之中:“我们不是在转型”,“只是在扩展”。
- 核心押注是:学习自然信号,能沉淀出可迁移到不同产品乃至机器人领域的知识。Blattmann 将 FLUX.3 描述为一个从图像、视频、音频和动作中进行多模态学习的模型,为生成、编辑、放大和动作预测提供底层支撑。他把目标称为“System 1 intelligence”;早期视频模型只用约1,000步微调就能转成3D模型,这让他相信普通视频蕴含大量可复用的世界知识。
- 在商业上,可控编辑比再提升一轮样片观感更重要。FLUX Kontext 源自一个小型关系数据集和一次初始实验,训练可能只持续了4至6小时,随后发展成更大规模的数据与蒸馏项目。Podell 想摆脱反复生成、碰运气的“老虎机”;FLUX.2 随后把工作流从1张参考图扩展到约10张。
- 数据设计和算力分配,常常解释了外界看似来自架构的提升。要改善文字生成,训练字幕必须真正描述图中可见的文字;SD3 则把训练重点放在噪声到图像轨迹中信息量更高的部分。主持人提到“能用的最简单方案”,嘉宾强调要选对数据,并把计算用在关键环节。
- 对话式图像编辑并不能证明自回归架构胜出。Blattmann 认为自回归模型训练数据利用效率更高,而扩散模型在采样上有优势,例如可将50步蒸馏为4步。对话、推理和迭代编辑都不是某一种架构的专属能力;Blattmann 表示,“这场争论还没有定论”。
- BFL 的机器人路线,是用小型可部署模型减少特定任务所需的数据。这款7B动作模型源自 FLUX.3,能同时预测视频和机器人动作,据称运行速度约为10 FPS。Blattmann 以一个工业应用为例,称约4小时数据就够用,所需数据量比一个开源对照模型“少8倍”;下一步目标是在不微调的情况下从演示中学习。
- 对2027年的判断,在制造业更有把握,在家庭场景则更具推测性。Blattmann 预计模型将逐步做到看1次演示就学会动作,并称2027年将是“机器人之年”,届时生产部署会逐渐落地。他也提出2027年稍晚可能出现实用家用机器人,但同时强调这“完全是预测”,且“我没有参照基准”;实体部署约束和薄弱的真实世界评估仍未解决。
1. 开放权重吸引了研究者,也吸引了用户
Blattmann 回忆,项目始于海德堡、后来迁至慕尼黑的 CompVis 团队,成员深受物理学影响。扩散把物理过程与生成建模联系起来,带有一种“哲学上的美感”。大学里的潜空间扩散研究后来成为 Stable Diffusion 的基础;BFL 之后落户弗赖堡,则与创始团队来自德国黑森林附近有关。
Podell 的经历始于约10年的软件开发,之后开始尝试开源生成模型。Midjourney V1 让他意识到这条路意义重大;Stable Diffusion 则让技术变得触手可及,以至于他在模型发布当天辞去了洛杉矶软件工作室的工作。他觉得做出这项技术的人一定是“神秘巫师”,很想弄清背后的机器如何运转。
他成为研究者,并非经过正式转型,而是在实践中逐步积累。Podell 先以工程师身份加入 Stability,向包括音频团队研究者 Scott Hawley 在内的人学习,阅读论文、动手复现实验,并利用闲置集群。他的方法是“把它拆开,直到弄明白它怎么工作”,同时也从 EleutherAI 等 Discord 社群获益。
Swyx 说,正是这次发布让他辞职并创办 Latent Space:“我对 AI 的所有认知都错了,因为我能在自己的笔记本电脑上运行它。”Blattmann 回忆起鲜明的地域反差:这次发布明显改变了湾区许多人的职业轨迹,而德国周边的大多数人几乎没注意到。
2. 图像收入支撑更广阔的视觉智能愿景
BFL 称累计融资4.5亿美元。去年12月公布的最近一项营收数据为1亿美元,Blattmann 表示公司此后已超过这一数字。主持人指出,更广泛的研究计划建立在已有相当规模的商业业务之上;嘉宾则强调,拓展到其他模态一直就是原定方向。
Blattmann 区分了直觉性的物理能力和明确推理:接住球或抓起瓶子,并不需要先写出支配它们的方程。他借用 Kahneman 的说法,把 BFL 的研究定位为“System 1 intelligence”,而语言模型或许对应 System 2。他预计,最终两者会结合起来,而不会一直是彼此分离的智能类型。
Blattmann 将 FLUX.3 描述为一个从图像、视频、音频和动作中进行多模态学习的模型。生成可信的媒体内容,本身就需要一定物理理解:人物的手臂必须运动得合乎情理。模型学习的是物理规律在可观察世界中的结果,而不是用数学公式明确描述这些规律。
3. 观察或许能先教会模型认识世界,互动则补上后续一课
BFL 的方法不要求生成模型底层必须有明确的3D模型。Blattmann 认为,2D视频包含足够信息,能够形成隐式的3D理解:要生成围绕物体运动的镜头,就必须预测物体未被看到的一面。人类也会根据过往经验推断一个人的背面,即便自己只能用一只眼睛观察。
一位主持人把反方观点说到最强:模型从未亲身生活在这个世界里,所以它或许只是近似地学会物体周围的约束,并不真正理解物体本身。Podell 回应说,人类同样是根据经过筛选的感官信号构建表征。人的视觉也会补全缺失信息;能否直接接触未经中介的世界,并不是关键区别。
不过,Blattmann 认为互动对更高阶智能很重要。婴儿最初通过观察学习,随后开始摆弄周围事物并发现关联:敲木头会发出声音。观察能提供大量知识,但亲自作用于世界,可以揭示单靠被动观看未必能发现的关系。他把闭合这条学习回路视为后续研究方向。
他回忆曾与 Lukas Beyer 有过分歧。Beyer 当时在 Meta 工作,曾任职于 Google 和 OpenAI,住在苏黎世。Beyer 认为互动并非必需,Blattmann 则认为它对更高阶智能很重要。正如 Swyx 转述 Beyer 的观点,如果大部分学习只靠观察就能完成,那么扩展当前流程或许会解锁更多智能。这场分歧仍未有定论。
4. SDXL 的精修模型挽救了一个结构不强、纹理更好的模型
Podell 把 SDXL 定位为一次改善模型使用体验的尝试。更早的版本激发了社区在美感和易用性上的大量探索;SDXL 则把更多改进直接纳入模型,包括跨宽高比和分辨率的大规模训练、高效的分桶训练,以及由大量数据工作支撑的预训练和后训练阶段。
精修模型并不是放大器:它能改善细节,但不会改变图像分辨率。这个模型最初是一个没有发布的 SDXL 候选版本,架构不同,且已经完成相当一部分后训练。它在结构上表现不佳,却更擅长皮肤、草地等高频细节。团队没有丢掉整个模型,而是把它的长处利用起来。
这种分工利用了去噪过程的不同阶段:结构更早显现,接近高噪声端;纹理等精细细节则更接近干净图像的一端。一个模型负责构图,另一个负责打磨表面细节——“不同的工作交给不同的模型”。Blattmann 说,这是团队很早就对这一差异做出的实用探索,后续研究则进行了更系统的分析。
Podell 承认,一开始他觉得额外加一个模型有点像“取巧”,因为他希望一个模型包办所有工作。如今他认可模型系统能做到的事。主持人把这个选择概括为采用能解决问题的最简单方案。主持人还提到 SDXL 的易用性:这是一个3B模型,可在8 GB内存上运行,让大型实验室以外的人也能动手试验和搭建流程。
5. 视频既凸显了数据筛选的价值,也暴露了拼接帧的局限
在 Stable Diffusion 之前,Blattmann 已经在 NVIDIA 研究视频生成。Align Your Latents 将潜空间扩散用于动态图像,利用压缩同时处理时间和空间维度。SDXL 之后,他在 Stability 推进了 Stable Video Diffusion,重点研究训练数据筛选的影响。
他的解释从模型要学习的数据分布说起:如果训练视频模糊、运动很少,模型生成的结果也会模糊、静止感强,无论算法本身多好。研究圈过去常强调基准算法,却较少讨论数据。主持人把问题概括为数量与质量的权衡;Blattmann 则说,他们具体研究的是数据筛选。
对 Blattmann 来说,论文中最令人兴奋的是迁移实验:在普通2D视频上训练后,只用约1,000步3D数据微调,就得到了一个3D模型。他把适应速度视为证据,说明视频表征里已经包含了大量空间理解。
要保证时间一致性,模型必须跨时间学习,而不能只是把独立生成的帧拼在一起,即便固定随机种子、采用复杂处理也一样。Transformer 需要时间注意力机制,才能学会一致的运动。要构建持续时间更长的虚拟世界,记忆问题还会更难:物体躲到障碍物后面又出现时,模型应认出它仍是同一个物体,这可能需要极长且非常耗费内存的上下文。
6. SD3 简化了数学形式,也重新分配了训练预算
SD3 做了几项改变:用 Transformer 取代卷积架构,并用流匹配——具体来说是 rectified flow——取代经典扩散。Blattmann 强调,团队并没有发明流匹配。他们采用它,是因为这种形式数学上更简单、可扩展,也适合推导更快的采样器。Swyx 问这是否会比完整扩散损失性能,Blattmann 回答不会。
Blattmann 解释,经典扩散使用标准正态分布作为端点,而流匹配可以连接更一般的分布。模型学习将一个分布变换为另一个分布的向量场;采样则转化为对常微分方程进行数值积分,可能只需简单的 Euler 步进。Podell 将这一简化概括为:本质上是在噪声和数据之间“画一条线”。
另一项核心贡献涉及训练算力投向哪里。在数据到噪声的轨迹上均匀采样,会把算力花在可能对最终质量贡献不大的区间。SD3 研究了哪些区间包含重要信息,随后对这些区间过采样、对较不重要的区间少采样。这把 SDXL 关于结构与纹理的洞见,延伸成沿整条轨迹如何分配算力的问题。
文字生成的改善,得到一个刻意不花哨的解释:“更好的建模和更好的数据。”如果字幕没有写出图中可见的文字,模型就学不到文字与像素之间应有的关系。基础能力更强,也减少了对复杂提示词套路的依赖。嘉宾不认同把每一次明显的能力跃升都归功于某个当红架构组件。
7. BFL 的创立初衷也包括接住 Stability 未能留住的商业价值
创始团队约有13至14人。一次法国团队外出活动把此前在 Stability 分散于不同岗位的研究者聚到一起,集中讨论学习过程、动手做实验。FLUX.1 大约在那段时间开始训练;公司成立约3个月后便带着一个商业反响连创作者也感到意外的模型正式发布。
Podell 对 Stability 的不满,不是因为缺乏模型有价值的证据。开源用户和成功企业已经在基于这些模型开展业务。真正的缺口在于公司无法“捕获模型本身的价值”。BFL 结合了对团队研究成绩的信心,以及通过更聚焦的组织解决商业效率问题的判断。
Blattmann 说,基于视频理解世界从一开始就出现在投资人路演材料中,最早在2023年也已列入讨论。图像生成是一次成功的迂回,也是商业起步的助推器。主持人还提到通过合作实现专业分工:FLUX.1 与 xAI 一同发布;他们也以 fal 后来参与 FLUX.3 Max 的后训练和蒸馏为例,说明团队如何保持专注。
8. FLUX Kontext 把空间知识中已有的编辑能力释放出来
Podell 在另一次法国团队活动上提出了这个想法。一个理解“戴着帽子的狗”的模型,本来就已经表示了物体之间的关系和位置。他的假设是,精心挑选的数据可以让这些关系支持通用编辑,而不必为每种修改或角色一致性分别设计专门流程。
起初,这项工作只是 Podell 和一位数据同事的副项目。他们搭建了一个很小、标注精细的摄影数据集,描述简单关系,而非使用现代编辑指令。训练可能只用了4至6小时,模型就表现出出乎意料的泛化能力,例如能把一个标志放到衬衫上,尽管起点只是很窄的数据集。
早期效果并不成熟:“它还不行。”关键在于,这证明模型可以在概念之间建立联系,并复用预训练得到的关系。Podell 在另一次团队活动上展示结果后,项目扩展成持续数月的公司级工作。“这基本上是个数据项目”,随后 Axel 又做了蒸馏,加快了模型运行。
他们想改变的是迭代控制的工作流。用户不必一遍遍提示词碰运气,直到生成一张幸运的图;而是可以保留同一个角色,再提出具体修改。“我想摆脱老虎机,”Podell 说。主持人把这与基础模型的普遍趋势联系起来:把此前分散的工具和脆弱的工作流程整合成一种通用能力。
9. 多张参考图扩展了上下文,但数量不是目标
Podell 对 FLUX Kontext 最主要的不满,是它只能输入1张图。用户想提供一个人的多个视角,或让多张参考图分别承担不同作用。一些人通过把多张图片拼成一张来绕过限制。FLUX.2 通过更大规模的训练和数据,解决了这一需求;当时模型最多支持10张参考图。
这项扩展同样在很大程度上是数据问题:模型需要通过示例学习如何正确关联多张参考图。Blattmann 不想把这一能力变成比谁支持的数量更多。他说,收集100张参考图是一回事;逐张审阅并决定如何把它们组合成连贯的图像或视频,则是另一个更难的创作负担。
Podell 的比较基于叙事经验,而非架构:大多数主流电影的核心角色通常只有5到6个,Swyx 马上举出 Avengers 作为例外。对人来说,跟进超过10张参考图就可能变得困难。这里谈的是人的上下文处理限制,并非断言模型不能接受更多图片。
10. 评估需要具体任务、人类判断和真正使用模型的人
ContextBench 源于 BFL 内部的编辑基准。提示词包括“把猫变得很胖”之类的要求,既来自深夜实验,也覆盖实际使用场景。Podell 希望模型用起来有趣,因为他来自这样的社群:看似无厘头的尝试往往是人们第一次接触某种有用能力。
主持人追问,怎样才能称之为评估,而不只是提示词集合:标准答案在哪里?Podell 回答,评估依赖人类在不同模型输出之间做比较,而不是常规验证集那种只有一个正确答案的测试。主持人还提出更结构化的组合生成方法;Podell 说团队现在已经在这方面做了更多工作。
Blattmann 主张把多种独立评估方式结合起来,因为每一种都有盲区。自动评估和人工判断都不能替代研究者在开发过程中亲自抽查模型。Podell 直接说出产品要求:造模型的人自己也得想用它,包括拿它做普通用户觉得有意思的事。
主持人质疑,BFL 没有像 Midjourney 那样大规模公开收集用户偏好的反馈。Blattmann 认为这类反馈有价值,但随着基础质量提高,反馈会变得更嘈杂。他举例说,让几款领先模型移除一张床,它们现在可能都能做得不错。Swyx 认为,编辑任务的评价问题更直接:模型到底有没有完成任务?
11. 自回归模型胜在数据效率,扩散模型则有另一种提速方式
主持人起初把对话式编辑与自回归图像模型联系起来。Blattmann 将界面和算法区分开来:语言能力、对话和迭代编辑也可以训练进扩散系统。限制来自开发者投入了哪些数据和研究重点,而不是这些行为与扩散架构天生不兼容。
在训练效率上,Blattmann 更看好自回归模型。自回归模型可以并行使用一个样本中的全部 token 进行训练,从而获得广泛的梯度信号。扩散模型的一个训练样本虽然对应噪声水平连续变化的区间,但每次训练只会在这条路径上采一个特定点。因此,他认为自回归模型的数据效率更高。
采样阶段则会部分扭转这种权衡。自回归生成必须逐个 token 推进,而扩散采样器可以从50步蒸馏到4步。主持人追问这是否意味着自回归显然更差;Blattmann 重申,两者的局限分别出现在训练和推理的不同环节,BFL 两种路线都探索过。
Swyx 重新审视自己此前把 Nano Banana 当成自回归架构决定性证据的看法。Blattmann 认为它是基于扩散的,但表示自己并非内部人士,也可能判断错;他猜测模型或许把自回归语言和扩散图像结合起来,并称这种架构为“Transfusion model”。即便存在这层不确定性,他们更大的结论仍然成立:不同路线都可以实现推理和编辑循环,争论尚无定论。
12. “扩散语言模型”其实包含两种实质不同的研究路线
被问到为什么扩散文本模型落后时,Blattmann 将原因归结为自回归路线起步更早、形式简单、容易扩展,且长期积累了大量研究投入。他说人类以从左到右的方式推理;Swyx 则指出,人类也可以一次读完一本书。因此,人类经验并不能直接决定模型架构。
Blattmann 区分了离散扩散语言模型和连续扩散研究,前者包括 Diffusion Gemma 和 Mercury。离散模型通过掩码和离散 token 替换运作;连续模型则在连续去噪空间中工作。他不愿仅仅因为两者都被称为扩散模型,就把它们视作同一类方法,并认为连续路线正处于活跃的研究浪潮中。
主持人问,类似 GRPO 的强化学习能否用于纯扩散文本模型。Blattmann 回答说 BFL 正在做这项工作,并称他们已将其用于 FLUX.3,取得了“巨大提升”。对话没有提供单独的纯文本基准或达到同等水平的结果。
13. FLUX.3 action 在预测可见结果的同时预测机器人动作
这款动作模型先在图像、视频和音频上进行广泛预训练,再加入机器人状态预测。Blattmann 描述的状态表征包括平移和旋转,共有6个自由度。模型根据指令和此前观察,同时预测这些状态与视频,并生成完成任务所需的下一段动作。
BFL 的主张是,通用视觉知识让模型学习额外动作维度时,比只从机器人数据开始更容易。Blattmann 说,这项能力可以用于真实机器人、仿真、游戏,也可能用于计算机操作。他更愿意使用含义较宽的“视觉智能模型”,而不是容易被过度泛化的“世界模型”;对于同时预测结果和动作的系统,他也接受“world action model”这一说法。
部署版本是7B参数,因为制造业应用要求模型小、速度快,并能在设备端运行。Blattmann 说它目前约为10 FPS。预测时域的准确值他需要再确认,只估计在9到21帧之间。执行采用分段动作并重新读取相机画面;模型循环运行,不需要额外的高层规划器。
同一个 FLUX.3 模型支撑图像和视频生成、视频编辑、动作能力,以及快速4K视频放大。视频放大仍需要时间理解:如果只对各帧独立增强,就会产生闪烁,细节处尤其明显。Blattmann 认为,与其为每种应用分别开发模型,训练一个通用模型并不断拓展产品家族,能带来复利式收益。
14. 4小时任务数据是进展,1次演示仍是目标
对于一个工业应用,Blattmann 称约4小时数据就能达到合格成功率,所需数据比一个开源对照模型“少8倍”。这是特定任务的例子,不代表普遍的样本效率结果。广泛的中期训练已经让模型具备部分任务能力;高质量的机器人微调则让它达到特定部署所需的准确度。
主持人质疑,每遇到一台新机器人或一种新任务,是否都必须微调。Blattmann 认同这个问题:BFL 正专注于上下文学习,希望机器人观察1次动作后就能执行。他认为这有望成为超人类能力,并表示:“我想说,2027年我们就能攻克这个任务。”
真实世界评估仍很棘手。一位主持人质疑,在“把海绵放进碗里”的任务中,3次试验成功2次到底有多大参考价值,毕竟重启后可能就能成功3次。Blattmann 提到正在推进弥合仿真与现实差距的工作,但没有给出完整的评估方案。他更广泛的判断是,生成模型评估很痛苦——内部团队对什么算好图像都可能争论不休。
15. 2027年的部署判断,在制造业更有把握
Blattmann 说,首批由 BFL 驱动的机器人很快就会进入生产环境,但不愿透露商业细节。德国能提供工业关系、相关数据和潜在制造业合作伙伴。他所说的“2027年将是机器人之年”,结合了预期中的学习能力进步,以及首批商业应用将在真实工厂落地的判断。
制造业场景更可控,因为任务和环境相对受限。Blattmann 将其与消费级机器人作对比:理想情况下,消费者希望机器几乎什么都能做。他认为2027年制造业有“很大机会”解锁大量应用;主持人则强调,模型的进步并不能消除实体制造环境中的限制。
Blattmann 对家庭场景的预测更谨慎:到2027年稍晚,技术爱好者或许能买到有意思、可能有实用价值的家用机器人。他不确定机器人能否完成精细动作,也不认为普通消费者届时会大规模购买。他强调:“这完全是预测”,而且“我没有参照基准”。
16. 有用的工作流程仍需跨过“AI”标签这道门槛
BFL 希望在技术圈以外获得更广泛的认知,尤其是在美国。Blattmann 强调公司扎根欧洲和美国,面向全球市场。当前的营销挑战是,用户或许认识这些模型及其技术脉络,却不知道背后的公司是谁;他希望在2027年缩小这一认知差距。
Swyx 认为,生成式媒体面临一种特殊的公众阻力:即便工作流程有用,贴上“AI”标签本身也可能引来反感。他一开始判断,对话式编辑可以替代 Canva 和 Photoshop 的日常工作流程,但不太可能取代市场顶端的专业能力。能否普及,取决于用户是否能立刻理解并需要这项能力。
Blattmann 回应说,这些模型已经服务于真实工作流程、帮助人们提高效率,而不是为了生成“垃圾内容雪崩”。他也表示,目标不是让人们失去工作。Swyx 不接受这一安慰,又把话题拉回具体的市场问题:有用的功能怎样才能进入主流市场?
Podell 提到最出乎他意料的用途,是修复损坏的家庭照片:在尽可能保留原貌的同时完成修复和上色。家人的反应对他个人触动很大。病毒式传播的用途无法提前安排:“它们会自然出现”,而且“你无法规划”。研究团队能做的,是继续押注新能力,希望它们带来快乐或提升生产力。
完整逐字稿
好了,终于轮到我们的 BFL 专场了。欢迎两位——Andreas 和 Dustin。
很高兴来到这里,非常感谢。
谢谢。是啊,当然。感谢邀请。我知道我们聊了很久,一直说要做这期节目。
对。我们请过 Anjney 来几次,我就是在那里认识你的——我想是在维也纳,在某届 ICLR 上,还是……
是在屋顶活动上吗?还是哪儿?
有一年我们连续在维也纳待了两次。
对,对,对。先是 ICLR,然后是 ICML。
是啊,是啊。我也不知道他们怎么安排的。总之,当时你们正准备推出 BFL。我们一起吃了晚饭,你们那时在想离开 Stability 之后该做些什么。总之,恭喜你们。你们通常怎么介绍自己?不如先来个简洁的自我介绍。
我是 Andi,Black Forest Labs 的联合创始人。我做扩散模型开发已经有……哇,我想有 7 年了。我很久很久以前就认识 Robin 和 Patrick。我想我们是在海德堡认识的,到现在已经 7 年了。我来自德国。我们在那里开始研究用于图像的扩散建模。某种意义上,我们都有物理学背景,而把扩散这一普遍的物理现象映射到机器学习和生成建模中的这一范式,在哲学层面上对我们有一种独特的美感。这就是我们入行的原因。
1. 扩散模型的起源
后来我们开发了许多基础算法,如今的扩散模型正是由这些算法驱动的,应用包括图像生成、视频生成,以及动作预测。我想我们之后会聊到这一点。
我们会聊的。从图像生成到动作预测,这个联系对大家来说并不是一目了然。
是啊,我们可以聊聊。还有一件事我想提一下:很多人不知道这个名字的来历。Black Forest 是德国的一片森林吗?
其实是一片山脉。
啊。基本上是德国的一个地区。最后,Robin 和我最初是在读博士时认识的,后来才发现我们出生地相距大概 10 英里吧。我也记不准了,这挺有意思的,最终也促使我们回到德国。
太美了。欧洲到处都是这样的风景。你看,实验室就在正中间。
是啊,是啊,是啊。
所以你们是因为来自这里才这么命名的?
没错。我们创立了这家研究实验室。当时基本上可以自己选择在哪里做这件事。没人会说:“行,但你们必须去旧金山之类的地方。”所以我们决定回到出生地弗赖堡创立实验室。弗赖堡基本上就在黑森林山脚下,也可以说是黑森林里的一座城市。名字就是这么来的,公司也是从那里起步的。
CompVis 也在海德堡吗?
CompVis 在海德堡。没错,我们就是在那里认识的。后来我们又搬去了慕尼黑。
也就是开发潜在扩散的那个团队所在的地方——
确切地说,是在读博期间。那时我们开发了潜在扩散算法。
是啊。顺便说一句,我很喜欢你们的名字,也很喜欢你们播客的名字 Latent Space。
是啊。我其实很好奇这个名字是怎么来的。
我可以讲讲。你先说。
是啊。我们在大学开发了潜在扩散算法,基于这个研究项目,我们把算法扩展起来,最终推出了 Stable Diffusion。从那以后,我们就像坐上了火箭一样一路向前,可以这么说,过程非常有意思。我们也认识了许多优秀的人,比如 Dustin,他是我们资历最深、最重要的研究人员之一。不过这部分我们之后再细聊。
之后再好好夸夸他。我觉得潜在扩散,以及 VAE,总的来说,也是 Latent Space 这个名字背后的理念之一。甚至我们的 Logo 本身就是一个 VAE。这个想法是,你可以把事物映射到不同空间里,探索与现有事物相邻的可能性,然后再映射回来。我觉得这对创造和生成来说,是个特别酷的洞见。直到我研究 Stable Diffusion 之后,才真正理解这一点。
2. Stable Diffusion 改变了一切
Stable Diffusion 的发布改变了我的人生。我因为 Stable Diffusion 创办了 Latent Space,也因为它辞掉了工作。我当时想:“好吧,我对 AI 的所有认知都是错的,因为我竟然能在自己的笔记本电脑上运行它。”如果这件事我都想错了,那还有什么是我想错的?
它和 Terry Pratchett 还有另一层联系,不知道大家有没有读过他的作品。
他是作家,对吧?作家。他有个概念叫 L-space,也就是图书馆空间。他的《看不见的大学》里有一只红毛猩猩担任图书管理员;那所大学是巫师大学。L-space 基本上就是一座囊括所有可能书籍的图书馆。所以,如果有一座收录所有可能书籍的图书馆,理论上你可以进去找到一本适合自己的书,而那就是 Latent Space。
是啊。我一开始叫它 L-space。有位读者给我捐了一笔钱,留言写着“Latent Space”,后来名字就变成了 Latent Space。太棒了。Dustin,你是怎么走上扩散模型研究这条路的?又是怎么进入 AI 领域的?
是啊,我的背景和 Andy、Robin 以及团队其他人有些不同。我不是德国人,不过和这些人一起工作一直非常愉快。你提到 Stable Diffusion 发布时自己辞了职,这挺有意思的,因为最初的 Stable Diffusion 发布时,我还没和他们一起工作,而那也确实促使我辞掉了当时的工作。
你害得大家失业了。我其实很好奇 Stable Diffusion 发布后,有多少人因此改变了人生方向。我很想知道它带来了哪些连锁影响。我们可以推测一下。
这确实特别有意思,因为它在这里的旧金山湾区产生了巨大影响;而当年我们待在德国时,人们几乎没注意到它,因为他们离科技圈太远了。德国有一些人参与了开源社区,但大多数人当时并没有真正注意到 2022 年夏天的那次发布,这一点很有意思。后来你看看这里发生了什么。
是啊。
这对我们来说真的很有意思。
简单介绍一下我的背景:在 BFL,我是加入大团队的创始研究人员之一。我想我们之后会聊到这一切是怎么开始的。我的背景完全不属于传统的机器学习领域。我做了大约 10 年的软件开发。2020 年前后,我开始对开源 AI 很感兴趣。我看到了早期 GAN 和其他生成媒体方面的工作,一直关注,也在业余时间做实验。这让我相当兴奋。
我记得自己最初一直在关注潜在扩散的研究,也对它很感兴趣。有件事让我开始觉得:“好吧,也许这事真的有点分量。”那就是 Midjourney V1。它发布时,我记得自己想:“好吧,这确实在朝着某个方向发展,我能看出它会产生很大影响。”之后真正彻底改变一切的那个重大时刻,正如我们刚才聊到的,就是 Stable Diffusion 发布。当时我在洛杉矶一家软件工作室工作。Stable Diffusion 一发布,我当天就递交了辞呈。
当时有什么打算?
当时我设想的是,我看到了一个像魔法一样的东西。我觉得做出它的人肯定是神秘莫测的巫师,我得尽一切所能弄明白他们究竟注入了什么魔法、符文之类的东西,才让它实现这一切,并把它带到了世界上。
我也不是完全置身事外。当时我就在 Stable Diffusion 的 Discord 里,里面有我的朋友,我也一直和社区互动。
大家把它看成开源版的 Midjourney 吗?还是没人把两者联系起来?
两个 Discord 我都在。我记得当时大家讨论得很多,聊 Stable Diffusion 为什么会产生这么大的影响。那段时间,Midjourney Discord 和 Stable Diffusion Discord 里都在讨论它的影响。已经过去很久了,我记不清当时具体都怎么说了。我不想妄加评论。
Midjourney 现在发展得很好。
他们做得很棒。但对我来说,更重要的是我对底层技术非常感兴趣,而且我可以在家里运行它。我看到开发者社区的人把它带回家,在上面继续开发。我自己也一直在捣鼓它,认识了许多非常聪明、很棒的人,其中一些人现在就在 BFL,一路同行。那种在社区里互动、学习并一起构建东西的时刻,对我影响很大。
幸运的是,当时我找到了一份工作机会,得以进入 Stability。我并没有马上和这些人一起工作。我花了一段时间才逐步走到那个位置;如果愿意,我们之后可以再聊聊这段经历。
Stability 当时有很多不同的团队,对吧?有 Stable LM、Stable Music。还有——
对,还有负责音频的 Harmonai 团队。我会这样描述:如果你把一群——
当时很多事情都是在 Discord 上发生的。它就像是 Discord 的实体化呈现,是一个大熔炉,让背景迥异的人因为对这项新兴技术感兴趣而聚到了一起。这是我们团队最令人兴奋的地方之一。我们的创始团队来自非常不同的背景:一支是深耕学术研究的团队,另一支则来自开源社区,比如 Dustin,他们进入这个领域的路径截然不同。
我认为这正是我们团队如此强大的原因。很少有团队拥有这样的经历,也很少有团队成员之间有这样的共同经历。这太不可思议了。
我们可以先聊聊你的其他联合创始人。我想说,我当时也在那个圈子里,也深受 Stable Diffusion 的影响。我走错了路:我一头扎进了 ComfyUI,给 Stable Diffusion 做界面。你似乎走对了路,进入了研究领域。
你提到 Comfy 真有意思,因为我以前直接和他共事过。Comfy 加入了我认识的某个人——
我们请他上过播客。
对,我觉得他搬到这里来了。
对,他是我的邻居。你是怎么成为研究人员的?
我这个人只要对某件事感兴趣,就会钻研到痴迷的程度;不把它拆解开、弄清楚每个方面,我就放不下。我当时已经在尝试拆解这些模型,也和开源领域的很多人交流,不只是开发者,还有研究人员。还记得当时的 EleutherAI Discord 吗?我在那里认识了很多向他们学习的人,也读了很多论文,努力把所有内容都吸收进去,自己弄明白。
加入 Stability 对我来说是另一个重要节点。起初我不是以研究人员的身份加入的,而是作为工程师加入。但我把所有空闲时间都花在和研究人员相处上,只要能和他们交上朋友就行。特别感谢音频团队的 Scott Hawley 博士,他给了我很多指导。后来有一次,我设法混进了集群,拿到了一些闲置算力。
我用自己学大多数东西的方式来做这件事:折腾开源项目、动手尝试、阅读论文、试着实现不同的工作成果,看看模型是怎么训练和学习的。就是这样。没有什么秘诀,只是我对此很兴奋,也想了解它。我想把它彻底拆解,直到弄懂它是怎么运作的。
这是开源。它更好。
对。我觉得通常最好的学习方式就是动手尝试,然后——
他当时也在 Eleuther 吗?
对,有关联,但不在图像生成这边。
那时候什么东西都很容易拿来折腾,对吧?
开源模型和闭源模型之间的差距相当大。语言模型领域的人在做后训练。很多新入行的人就是从这里起步的。
看看早期的 Stable Diffusion,再看看我们今天走到了哪一步,真是不可思议。你们两位都发挥过很重要的作用:你做了 SDXL,你做了 Latent Diffusion。我们会把这段历史都聊一遍,不过对于一直没密切关注这个领域的人来说,我们现在走到哪儿了?现状如何?我知道 FLUX.3 Video 已经发布了,面向机器人领域的 FLUX.3 Action 现在是 7B。你们这个领域最近有什么进展?
我们创立 Black Forest Labs 时,最初是一家图像生成实验室,可以说是 Stable Diffusion 等项目的延续。第一年我们都专注于此,但后来我们意识到,图像生成固然不错,这项技术还能解锁更多可能。
3. 从图像到视觉智能
那时我们逐渐转向我们所说的“视觉智能”。我们想把直觉智能融入模型:比如接球时,我们能理解物理规律,却不知道如何用数学描述;又比如拿起一瓶东西时,因为童年时做过很多次,我们知道该怎么做。
我们想把这些知识以及这种智能形式转化到模型中。它和语言模型智能非常不同。这种学习来自像素,也就是说,不仅是图像,还包括视频,或许还有音频。“自然信号”可能是个更恰当的说法。我们意识到,扩散或流匹配这一算法可以做到这一点。于是我们决定把图像生成扩展到所有自然表征。这就带来了 FLUX.3:一个能够从图像、视频、音频和动作中进行多模态学习的模型。之后我们可以再聊聊它们是如何融为一体的。
用 Daniel Kahneman 的说法来说,如果你读过《思考,快与慢》,这是一种系统 1 智能,而不是系统 2 智能。语言建模可能属于系统 2,但目前我们专注于系统 1;它对于直觉性任务和现实世界交互极其重要。因此从宏观上说,它也非常适合机器人技术。这就是我们一路走来的过程,也是我们现在专注的方向。归根结底,我们要把两种系统结合起来,形成一种非常广泛的智能,就像人类所拥有的那种智能。
我想聊聊这段历史等等,不过先给听众概括一下:你们现在已经是一家靠生成式媒体赚钱的公司了,对吧?
没错。
我不知道你们公布过哪些数字。也许可以给大家回顾一下。你们融资了 3 亿美元——
你们融到的钱简直多得离谱。
对,好几——
总的来说,我觉得我们迄今已经融了 4.5 亿美元。
我的天啊。
远远超过 Stability。
你们公布过营收里程碑吗?
我们没有公布过。上次公开的数字是在 12 月,当时营收为 1 亿美元。从那以后我们已经超过这个数字了。
你们都融了 4.5 亿美元,显然营收肯定已经超过那个数字了。
对,没错。
总之,我只是想说,你们其实没必要转型。
我们没有转型,只是在扩展。这个模型是用所有数据训练的,这一直就是我们的计划。要创作艺术作品,也需要这种视觉智能。要生成我们眼前这样的影片,你得知道物理规律会如何作用。模型需要理解,这只水豚的手臂不会无缘无故掉下来,而是要遵循某种物理规律。它并不会描述规律本身,而是描述规律产生的结果。同样,人类并不理解物理学,但我们知道,如果让球落下,它就会向下掉。
世界模型有不同的概念,我们可以深入聊聊。你可以从哪里学习?这是一种“苦涩的教训”式的方法:从大量输入来源中学习;或者你也可以在结构上构建一个 3D 模型,再从中学习。
完全不需要 3D 模型。我们从自然数据中学习。我们的双眼也提供了一点三角测量信息,让我们对 3D 感知有些理解。但即使闭上一只眼,我们仍然能学到很多关于世界的东西。这些模型基本上就是在做同样的事:从自然的 2D 视频数据中学习。
这些数据蕴含着大量 3D 理解。如果你想生成一个环绕物体的镜头,就需要想象它从背面看起来是什么样子。我看着你,就能大致知道你的背是什么样子,因为我以前见过。这样一来,模型就具备了隐式的 3D 理解,尽管它们训练时用的是 2D 视频。
我想尽量把反方观点说得有道理。这是 Gary Marcus 的那套说法:“大语言模型什么也没学会。”或者说,这是这类方法那些知名批评者的观点。他们的意思是,模型只看到了输入,从来没有亲身经历过任何事情。你能想象我的背是什么样子,是因为你也是人,能想象其他人是什么样子。这个类比也许不完全恰当,因为我对你们的说法是认同的。但我觉得人们批评这种世界建模方法时,想表达的就是这一点:你可以越来越接近,但始终无法真正把握事物的某种根本属性,因为你并没有对事物本身建模。你建模的只是围绕它最可能成立的约束。
我觉得某种程度上也可以说,我们遵循的是同样的原理。我们有身体,会不断接收数据,而且显然也会定期更新。但我们接收的仍然只是经过过滤的世界信号。我们的眼睛处理信息的方式有各种古怪之处。我们大脑的一部分必须对某些内容进行脑补,因为我们的视野中央有盲点,还有其他类似的情况。
从根本上说,我认为人类接收自然数据并构建一个可以据此行动的世界模型,与这些模型从数据中学习,并没有太大区别。信号形式不同:它们被转换成像素或波形,再用另一种方式处理。但信息依然在那里,模型可以接收这些信息,并构建一个可供自己运作的世界表征。
是啊。
我之前确实和 Lukas Beyer 讨论过这个问题。我想他现在在 Meta,以前在 Google 和 OpenAI。他创建了 bits。他在苏黎世,离弗赖堡很近,时不时会过来。
我们当时在讨论人类的学习。他说我们不需要互动,而我认为,对于更高级的智能来说,互动很重要。首先是观察。这也是人类婴儿的学习方式:我们躺在那里观察事物,光靠观察就能学到很多东西。这和我们目前训练这些模型的方式完全对应。它们观察大量二维视频和音频,然后从中学习。
我认为下一步是闭合这个循环,与世界互动。这也是我们了解世界的方式。我们可以敲敲木头,注意到会发出声音。我们可以操弄世界,以便更好地理解它。我认为人类主要就是这样学习的——至少我个人是这样学会的。
他当时还说,他认为大部分学习来自观察,我觉得这很有意思。如果事实如此,那我们只需要更多地做目前正在做的事,就可能解锁惊人规模的智能。
我想知道,这其中有多少是良好先验带来的涌现。我们已经看到,给语言模型增加新的模态,并不会因为加入视觉就让性能完整翻倍。但如果先验足够好,收益会很小还是很大?这值得关注。
我觉得有很多技术内容值得展开聊聊,比如高斯泼溅,以及 World Labs 做的三维数据。视频生成输出和其他方法之间有哪些取舍?不过我觉得,聊聊历史会让听众很感兴趣。你参与过非常早期的 Stable Diffusion、SDXL,甚至更早的潜空间扩散。
还有视频扩散。
视频扩散。这里有很多热门术语:LCM、LoRA、流匹配、旧式提示词。你能把所有内容都教给我们吗?
有什么有意思的?从规模化的角度看,这些方法有多大?
我说真的……不,我其实做了一棵科技树。我想做一款像《文明》那样的游戏,只不过科技树上的内容都是 AI 论文。
哦,好吧。
你花研究点数来解锁东西。这些就是科技树:一开始是 GAN,然后出现了潜空间扩散。除此之外还有很多核心节点。
我愿意玩这款游戏。
总之,先给这款游戏打个广告:你扮演一家新实验室,要把点数花在 GPU 或研究人员身上。然后你得收集数据,还有各种可以研究的小项目。
微调。
来吧,赶紧做出来。我们看看。现在可是氛围编程的时代。我明天就想玩。
游戏平衡真的很难。我觉得这是个 AGI 级别的难题,因为一旦玩家找到取胜的方法,就会一直用那种方法赢,游戏也就没意思了。你需要设计多种获胜方式,还得有高风险的方式:大概率会输,但也有可能赢。
是啊。顺便说一句,模式崩溃是 GAN 里的经典问题。
我觉得有一点很适合讲给听众听:如果你听过很多术语,那么哪些关键进展真正影响了这个领域?你亲身经历了其中很多变化。我还想说,对于想进入这个领域的人来说,这也是学习招聘面试好问题的好方法。大多数这些东西你都应该了解。
有些地方出现了不同的路线,比如自回归图像生成与扩散、双主干或沙漏式扩散。大家应该了解哪些关键内容?我先把问题放宽一些。首先可以聊聊 SDXL。我们在 SDXL 里做了哪些事?
精修模型。
哦,不,求你了,别说精修模型。你为什么会有这种反应?
4. SDXL 精修模型
SDXL 是一项很大的工作,目标是让模型第一次真正变得好用。Stable Diffusion 1 和 2 用起来非常令人兴奋,也很有趣;但对于当时身处这个领域的人来说,在 SD1 和 SDXL 之间,我们看到开源社区做了大量工作,研究如何微调这些模型、让生成效果更有美感,并让模型适用于多种用途。
最初的 Stable Diffusion 模型只能生成正方形图片。SDXL 是首次尝试发布一款集成了许多通用改进的基础模型。当时我们进行了大规模、多宽高比训练。那时还没有打包训练。我们找到了一种高效方法,可以用分桶式训练,大规模处理各种不同分辨率的图像。
这是我们第一次实际采用多个训练阶段,把模型从预训练推进到构建后训练数据集。SDXL 投入了大量数据工作。我来讲一点精修模型的背景,以及一些最终没有纳入的内容。
最终发布的模型在根本上仍然和最初的 Stable Diffusion 模型一样。它是一个潜空间扩散模型:输入文本和带噪潜变量,利用文本上下文,在潜空间中生成图像,再由 VAE 解码。精修模型则是另一个完整的扩散模型。它的作用是处理那些整体上并不粗糙、但 SDXL 不擅长生成高频细节的图像,比如皮肤纹理和草地纹理这类精细细节。
是啊,就是放大。
它不是超分模型,因为实际上并没有改变分辨率;但从细节层面来说,它确实起到了放大的效果。
它是精修模型。
它对图像进行了精修。我觉得它有点别扭,原因是参与这项工作的整个团队都非常出色。我不想把功劳都揽到自己身上;很多优秀的人都参与了这项工作。我们做了大量工作,一边提升模型的细节质量,一边尽量保留它的通用性,但最后还是没能完全做到。
后来还有一条支线,研究其他方法。精修模型就是从这里诞生的。这里说一点鲜为人知的幕后故事:有一个 SDXL 版本从未发布。它采用了不同的架构,表现也没那么好,但训练进度已经相当深入,甚至完成了后训练阶段。精修模型就是那个版本。它是一个完整的扩散模型。
这事我真的完全忘了。
这个模型在高频细节上的表现稍好一些,但结构表现很差。我们的想法是:如果换一个模型来负责不同的任务会怎样?我们做了大量工作来提升它精修高频细节的能力,然后构建了一条流水线。两者结合起来,就成了性能更好的系统。
这其实很有意思。这是早期具有开创性的研究之一,探讨扩散轨迹的不同阶段会学到哪些属性。结构信息是在更接近噪声的一端学到的,而精细、高分辨率的高频细节则是在轨迹后段、靠近干净图像的一端学到的。
如今有不少研究都在分析这一点。沿着这条轨迹从噪声走向干净图像时,生成过程会从低频逐步推进到高频。但当时大家还不太了解这一点。非正式的认识或许已经有了一点,但这项工作是最早利用这一发现的研究之一。它提出:“我把这条轨迹拆开,设置两个专家模型:一个负责结构,另一个负责纹理。”
是啊,现在我们有了调制机制,可以根据时间步进行条件控制,把这一点纳入架构之类的设计中。但那是最早区分这两者的研究之一。而且你看,效果相当不错。
我想,我至今仍有些不甘心,是因为当时我希望这一个模型就能把所有事情都做好。
那是个逃避方案。
或许确实有点像逃避方案。如今我的看法有所不同,因为我们看到多个模型组成的系统能够协同完成令人惊叹的工作。
不过我记得,当时那种旧有的挫败感又涌了上来。
不过,这也完全可以理解,因为你总该选择能奏效的最简单方案。如果你需要判断什么时候该采用机器学习方法,这并不总是显而易见的。
机器学习方法。对,没错。
说到规模化,哪种方案最简单、又能奏效,就该选哪种;在统计学上也应该遵循一点奥卡姆剃刀原则。
Runway 当时也在做 Gen-1 和 Gen-2。Anastasios 在这档播客里说,Gen-2 是把多种流水线组合起来的方案。
哦,好吧。
就像他们——
不,能用就行。
他们只是不承认,而你的情况是公开的,所以你不得不承认。
是的。我觉得如果回到当时,今天进入这个领域的人没见过扩散模型跑 200 或 500 步的样子。正如你所说,先有一个背景,然后几分钟后,细节就一点点显现出来。这种模型也很容易动手调试。它以一个 3B 参数模型的形式发布,8 GB 内存就能运行。
你当然可以遵循“苦涩的教训”,采用通用方法;但如果你不是实验室,只是在家里做,手头只有一两块 GPU,那你就会采用流水线之类的做法。
是的。这样你就能直接看出其中的差异。
5. 将扩散模型用于视频
是的。我做视频已经有一段时间了。实际上,在 Stable Diffusion 之前,我就在 NVIDIA 做视频生成。我在那里发过一篇论文,叫《Align Your Latents》,基本上是把潜空间扩散算法映射到视频上。这是很自然的下一步。
看到画面动起来非常令人兴奋。你可以想想 Stable Diffusion 相比当时其他模型效率如此之高背后的压缩原理。视频也一样,因为视频有一个可以压缩的时间维度。所以这非常合理。
我最初是在 NVIDIA 做这项工作的;后来我们加入 Stability,在 SDXL 之后就开始做 Stable Video Diffusion。这是将潜空间扩散方法用于视频的第一个应用。值得一提的是,那项工作重点研究了数据过滤的影响。我觉得这一点在研究中一直没有得到足够重视,直到现在也是如此。
想想这些模型实际在做什么:本质上,我们是在估计一个概率分布,而这个概率分布是由数据集决定的。即使你有完美的算法、世界上最好的算法,能学会你想让它学的任何东西,但如果数据很差——比如视频或图像平均来看都很模糊,而且视频里没有多少运动——无论算法多好,模型学到的都会是这些。模型生成的结果也会很差。
数据是训练这些模型时最重要的杠杆之一。在研究领域,人们不太谈数据,因为很多研究人员都在做基准测试、调整算法。但到了前沿模型这个阶段,我们现在知道数据极其重要。我们想就这方面分享更多背景。我们研究了数据量有多大——
这里基本上有个取舍:数量和质量之间怎么平衡。最佳点在哪里?我们要不要调出一张图?
马上,马上。我们做过的最令人兴奋的实验其实不是数据那个实验。往下看一点,我们展示了,在纯 2D 视频上预训练,可以让一个显式的 3D 模型以极快的速度完成微调。翻到论文最后一段,这里展示了模型的 3D 视图。
我们的做法是拿训练好的这个视频模型,在 3D 数据上做微调——我记得大概用了 1,000 步——然后就得到了一个 3D 模型。这又回到了一个问题:要理解 3D 世界,你实际上需要什么?只用 1,000 步微调就能做到,说明这个视频模型虽然只在普通视频上训练,却已经具备了惊人的 3D 理解能力。你只需要稍微聚焦一下,就能从中得到一个 3D 模型。
这是早期实验之一,它让我们看到,只通过普通视频训练也能获得对世界的理解。从研究角度来说,这是这篇论文里最有意思的实验。论文也相当短。这里有一节介绍整个流程:图像预训练、视频预训练、视频微调,然后再用 1,000 步把它变成 3D。
太疯狂了。当时我不记得自己具体做了什么,但那时存在时间一致性问题。如果只是把扩散过程拉长,再尝试拼接帧,根本行不通。我以前参加过一次黑客松,做了个很老的项目。我忘了我们用的是哪种方法,但我们解决了时间一致性问题,还把视频延长到了 15 或 20 秒。虽然耗时很久,但这是个非常临时拼凑的方案,因为一个下午就能做出来。
关键是,你需要在时间维度上进行这种学习。如果只是把一个很快的扩散模型拼接起来,画面就会闪烁。即使固定随机种子,并在各种效果上做很多处理,你也会发现,如今所有人都在用 Transformer。在 Transformer 这套架构里,你需要在时间维度上做注意力计算,从中学习并理解什么样的运动才是一致的。
据我所知,我们聊 Grok Imagine 时也问过这个:视频这边没有什么有用的压缩,对吧?就只有一帧、一帧、一帧。
没错。
这是最简单的版本。
最先进的 MP4 编码格式采用了非常聪明的压缩方式。但显然那是有损压缩,而且你需要把各帧联系起来,提取出一致运动的特征。
我觉得没有哪个视频模型会公开它在时间注意力里往回看的范围,因为有时你需要回看更久,或者让它更具适应性。比如某个东西被遮挡后又出现,你希望它还是同一个东西。但它被遮挡了多久呢?
这主要取决于你想解决什么问题。如果你想创建一个具有长程记忆、能够生成虚拟世界的模型,就需要想办法让它回看非常、非常久远的内容。这会极其消耗内存,我觉得这是如今最令人兴奋的研究问题之一。长上下文极其重要。
切到 Black Forest Labs 之前,我不知道这部分还有没有什么要聊的。Stable 这边还有别的吗?
还有 SD3。
SD3。那是你离开之前做的最后一篇论文——
6. SD3 与流匹配
是的,SD3 是一篇相当重要的论文。我会说,它是我们在 Stability 工作的集大成之作。
没错,完全同意。这就是你的毕业论文。
如果你愿意这么说的话,可以。这篇论文主要是想弄清楚:从数据到噪声的轨迹中,模型在哪些阶段学到哪些属性,以及我们应该把大部分训练计算资源用在哪些地方,才能最大限度地提升模型性能。
显然,这也标志着我们从经典扩散转向了流匹配,采用了稍有不同的范式。我们把它称为整流流。
这也是我们第一次使用扩散 Transformer,对吧?和那个——
是的,然后我们又把它推进了一步。
变化很多,从卷积架构转向了 Transformer 架构。
把概率模型从扩散改成流匹配,在数学上简单得多,这非常好。
我觉得你应该给没听说过这些术语的人解释一下。潜空间扩散、流匹配——它们是什么?你们是怎么想到这些方法的?
嗯,流匹配不是他发明的。
没错,流匹配不是我们发明的。我们只是发现,相比之下,这个算法更通用,因为在扩散中,你所转换的两个分布里总有一个必须是标准正态分布。而流匹配没有这个要求。
你不再把将一个概率分布变成另一个概率分布的问题视为随机微分方程的解,而是把它视为常微分方程的解。这样在数学上就简单多了,也让快速采样变得更可行。模型训练完成后,我们希望尽可能减少采样步数,从而尽可能快地完成采样。
有些人会说,流匹配其实是扩散的一个特例;也有人会说,它是扩散的推广,因为无论两个分布的形状如何,你都可以在它们之间进行转换,不需要其中一个是标准正态分布。
一般来说,你可以把它看作一个学习向量场、用来在两个分布之间进行转换的模型。模型学会这个向量场之后,你就可以对它进行数值积分,这就像用前向欧拉法求解常微分方程一样简单。很多方面都类似,但它在数学上更简单,而且能够转换的概率分布类型也更广。这就是我们选择它的原因。
第三个原因是,基于流匹配推导出快速模型更容易。它要简单得多、可扩展性更强、也更容易使用,而且还有不错的性能优势。
我不太确定。扩散领域变得相当复杂了。我们能确定它没有损失吗?它是否会在可接受的范围内造成损失?
有损?你是指——
不是,我是说和完整扩散相比有没有损失。
没有。
好。那就不错了。这是严格意义上的改进。
没错,确实是改进。
说到底,就是在噪声和数据之间画一条线。
对。这相当于把 Andy 所说的、如何在这两种分布之间建立映射这个复杂问题,简化成了最简单的事情:画一条线。
因为你是在抄近路。要是分布起伏不平呢?
对,问题就在这里。这篇论文在概率建模方面最重要的部分之一,就是研究从噪声到图像的轨迹,并思考其中哪些部分真正重要,哪些不重要。
我们是分步训练的。每次都在数据到噪声的一步上训练,然后用模型在流匹配中近似这个方向。如果你对数据和噪声之间的步骤进行均匀采样,可能会花很多时间去优化那些并不重要的部分。
论文的一个核心问题是:我们应该把计算资源用在哪里?从数据到噪声的轨迹中,哪些部分承载着最重要的信息?训练时就应该把大部分计算资源花在这些地方,对这些部分过采样,对不那么重要的部分少采样。
这进一步探索了我们聊 SDXL 时提到过的一个方向,也就是精炼器。我们花时间在轨迹末端训练精炼器,让它学习高频细节。这次则是更全面地探索整个空间:为了打造最好的通用模型来学习数据,应该把时间花在哪里。
太棒了。我注意到 SD3 在图像文字方面进步很大,你们也展示了不少。曾经图像根本无法生成文字,后来慢慢能生成更多文字,现在甚至能做到“排版真漂亮”。这能归功于扩散 Transformer 吗?
我不确定能不能说这是扩散 Transformer 带来的。
我觉得关键其实是建模能力更强了——
数据更好了?
建模能力更强了,数据也更好了。我很想把这归功于某种很炫的技术,但说到底,就是模型对世界的建模能力更强了。这是数据方面的功劳。
这也和训练数据有关。你训练的每个样本都需要一条描述。如果描述没有写出图像中呈现的文字,模型就学不到它。
有时候我们会花很多时间讨论算法的细枝末节。但归根结底,更好的经验是——
没错。
——更多易获取的数据——
对。
——几乎总是最有效的。当然,你可以用聪明的方法扩展规模;如果要投入大量计算资源,就应该尽可能高效地使用,只花在真正重要的地方。这也是这篇论文的核心思想。
我觉得那段时间提示词也变得容易写多了。
我们以前还有 4K——
提示词扩展器。4K 放大、Ultra——
我们的解决方案都很庞大,里面列了一长串内容。
8K。
对,对,对。
Greg。那个 Greg 是谁来着?
Greg Rutkowski。
哦,Greg Rutkowski,对。我想知道他近况如何。希望他一切都好。
我也希望他一切都好。
补充一下背景:那时 DALL·E 3、Midjourney 和 Ideogram V1 都已经存在,但没有一个是开放的。你能看到的这种质量的作品,要么来自旧版 Stable Diffusion,要么来自封闭的平台。
后来你们迈出了重要一步,成立了 Black Forest。那段经历是怎样的?你们得离开原来的地方,从零开始创办一家实验室。
7. 创立 Black Forest Labs
那大概是我们所有人经历过的最令人兴奋的时期之一。处于隐身阶段时,团队规模很小。刚开始时我们有 13 个人。
14 个,对。
我们先去了法国,在一间木屋里度过了愉快的一周。整整一周,我们都在写代码、一起消磨时光。
我记得那次。很开心。
Dustin 想出了几个很棒的方法,让我们的模型稳定一致得多。我记得那次,真是非常愉快的一周。
那是神奇的一周。那确实是我们的创立团建。
我们就是那时开始训练 Flux.1 的。3 个月后,我们带着一个很棒的模型正式推出公司。我觉得这个模型让几乎所有人都大吃一惊,我们自己也很惊讶。
哦,是啊。从商业角度看,公司成立才 3 个月,你们发布了这个模型,它获得了很好的反响,直接解锁了许多可能性。真是太棒了。
对。
那真的很有意思。你们开始时就知道要做这些吗?你们得把所有集群和数据都准备好,一切从零开始。
确实得从零开始,但我们知道该怎么做。当然,我们已经积累了很多经验。
你们刚做完 SD3。那时对哪些地方要做得不一样,有过什么设想吗?
显然,这么长时间以来,我们积累了很多知识,甚至早在 Stability 之前就已经如此。所有这些经验最终汇聚到了一起,我们也有了一支在同一地点办公的团队。大家非常专注,而之前从未有过这种情况,因为公司的员工分散在不同的地方办公。另外,正如 Dustin 所说,他之前其实不在我们的团队里。
我们组成了一支非常棒的团队,花了很多时间讨论该如何设计这个模型的学习流程。这些讨论是在团建期间进行的,之后我们就启动了项目,最终做出了这个模型。
你们当时讨论的是 FLUX.1 应该是什么样,还是更宏观地讨论未来几年行业会走向哪里?这个愿景在其中占了多大比重?
我来接着说吧。创办公司的原因之一,是我们在 Stability 遇到了一些挫折。我们看到了自己的模型在现实世界中产生的影响,不仅是在开源领域,也体现在那些基于我们的模型创立、运营并且发展得相当成功的公司上。我们知道,市场对模型的能力有很大需求,而这些模型也有很大潜力。
遗憾的是,我觉得我们在 Stability 时也感到,自己没能充分实现这些模型的价值。我们相信团队有能力做研究、打造这些模型,并把它们带给全世界。这是我们纠正那些低效之处或错误、真正实现模型价值的机会。
这是我们认为自己能够继续前进的重要原因。我们有过往的成绩,也确实产生过影响;我们认为可以继续做下去,并以此创办一家成功的公司。我觉得进展相当——
我觉得这个判断很有道理。
对,进展相当顺利。我觉得这个判断很有道理。所以——
正如我之前说过的。
对。
当时你们看到了哪些使用场景?很多人一上来就瞄准好莱坞,说“那就是我们的目标”。Imad 以前常说:“我们要再做一次《权力的游戏》第八季。”我想不起来那家公司的名字了,但这可能甚至发生在 SDXL 之前。有一两周时间,这件事火遍了全网:任何人都可以上传自己的照片,然后它就——
对,是较早版本的 Stable Diffusion,对吧?更早的版本。它用的是旧式 DreamBooth 微调,效率极低。
但它一下子就火了。所有人都在用,也都对此兴奋不已。模型能生成那么多东西,我们从人们想用它们做的事情中看到了巨大潜力。我们也看到了模型的发展方向。当时它们还不能生成排版文字。我们知道这会很重要,后来我们靠 SD3 及之后的模型实现了这一点。使用场景并非只有一种。我们认为这是一项潜力巨大、会不断发展的通用技术;如今它的潜力正进一步拓展到物理世界。
这正是我们当时已经看到的潜力。
对,完全没错。
BFL 创立时的目标并不是成为一家图像生成实验室。FLUX 的发展势头非常好,所以我们也抓住了这个机会,因为它让我们得以迅速起步。不过,在我们向投资者推介公司、争取 C 轮融资时,我们已经明确表示想做视频。我们认为那是——
对,我记得 2023 年我们还在 Stability 时,就在播客里聊过这个。我们当时说,视频建模其实是理解世界如何运作的核心手段。就像我之前说的,人类先观察世界,再开始与它互动,并从中学到很多东西。这一直是我们的核心设想。
之后我们不得不绕道去做图像生成,而且做得非常成功。人总得考虑把时间花在哪里。遗憾的是,一天只有 24 小时。但 FLUX.3 确实代表了我们长期以来看到的发展方向,也是我们一直想做的事。所以我们非常兴奋,看到这个模型已经推出,能够生成视频、图像和音频,还能充当机器人“大脑”,用于真实的制造业工作流程。
今年在物理 AI 方面还有很多内容会陆续公布。正如 Dustin 所说,我们的目标始终是打造最通用的技术。我们看到这个目标正在实现,所以非常兴奋。
是的,我觉得你们也选对了方向,才能保持专注。如果我没记错,FLUX.1 是和 xAI 一起推出的。那是他们的图像生成模型。
没错。
合作得很好。这也是解决“要不要自己建立分发渠道”这个问题的好办法。就连最新的 FLUX.3 Max,后训练也是和 fal 合作完成的。他们做了很多推理蒸馏,很擅长这个,对吧?挺有意思的。
不过感觉你们现在正在拓展业务。机器人领域最新推出的是什么?
Flux Reaction。
是的。在聊这个之前,我还想再谈一个。
好啊,没问题。
图像编辑的上下文能力。
当然。
你们网站上还有一段非常精彩的发展历程。
是的。
很奇怪,我们现在到了公司发展的这个阶段,很多事情都自然而然地发生了,我就会想:“哦,我们还有这个。”我有点遗憾网站上没有展示 FLUX.1,因为它是最初的那个模型。
没事。
Pro 看起来不错。光是看这里的视觉效果就很棒了——也许有人会把从最初的 Stable Diffusion 到 XL,再到后续所有论文的进展剪成一段视频。
你能看到这个进展,对吧?
是的。不过有件事我想找机会聊聊:我现在已经看不出其中的进步了。你给我看最先进的图像和视频模型,中国很多实验室也在推出这类模型,实在很难评估。我知道大家很在意这个。我和 BFL 的 Summit 聊过,业内的人会很积极地做 A/B 测试,他们在评测中关注很多细节。但到了一定程度,在我看来,这些模型生成的东西都已经非常逼真了。
剩下的就是提示词技巧的问题了。
我觉得还有很多细枝末节的问题。以前手部生成有问题,现在有时文字生成还是有问题。
现在手部生成还有问题吗?
不是,我是说以前手部生成有问题。现在还有感知和布局方面的问题。我正在重新设计客厅,结果糟透了。
8. 图像编辑的价值
可控性是个非常重要的问题。我认为,我们需要大规模解决可控性问题。控制这些模型的方式有很多。也许可以借此聊聊 FLUX Kontext,因为长期以来,这一直是个痛点。人们训练了那么多 LoRA,只为了让模型生成的角色保持一致。
是啊,得特别提一下 Replicate,当时上面有那么多 LoRA。
没错。后来 Dustin 做了一个特别棒的提案。我想是在法国的 Northside,那是另一个小木屋。很多事情都是在小木屋里发生的。我觉得我们应该去小木屋。
你们应该多去几次。
后来 Dustin 提出了这个想法,他看到了其中的潜力:“我需要让模型理解上下文。我需要能用图像来提示模型进行图像编辑,而不只是用文字。”
是的。我最初——
这件事在正式推出前就引起过一波热议。我听说 FLUX Kontext 最初是你和另外一两个人做的。
很长一段时间里,这基本上是我的个人项目。后来我拉了一位数据工程师进来帮忙,然后说——
“来吧,我们来做这个东西。”就像 Andy 刚才说的,这最初是我在法国一间小木屋里提出的想法。每次公司外出团建,或者大家聚在一起时,我都喜欢做这样的分享:看看这个领域目前发展到哪一步,我觉得它会走向哪里,以及我们还没在做什么。我想找出模型可以做哪些新颖又有用的事,而这些事可能还没引起我们的关注,或者还没有得到解决。
我做了一场分享,把这个想法称为“全能模型”——这个词现在已经被用得太泛了。当时有很多关于其他编辑模型的研究。如果回想一下,早期有 Prompt-to-Prompt,之后还有——我怎么想不起那个名字了?这个提案的核心是:这些模型显然正在学习关于世界的深层关系,而这类关系会不断发挥作用。关键就在于这些关系:一个可乐罐放在桌子上,这个瓶子放在这里。你给模型提示:“我想要一张狗戴着帽子的照片”,它就得知道帽子要戴在狗头上。它得具备这种一般性的理解能力。
我当时的理论是,既然模型已经具备这些空间知识,只要我们构建合适的数据,并用正确的方式训练一个已经预训练好的模型,就应该能用很少的训练,让它具备通用的图像编辑能力,并运用这些预先学到的关系:物体何时存在、何时不存在,以及图像内部的空间关系如何运作。
后来这个项目做了三到四个月。我不记得具体时间了。当时我在旧金山办公室,和那位被我拉来的数据工程师一起构建早期测试训练数据集。我还记得第一次看到模型显然效果不错的那一刻。我们做了一个规模很小、标注质量很高的数据集,用来描述图像中的简单关系,基本就是这样。它不是那种可以用来提示现代指令式编辑模型的方法,而是字面上直接描述这些关系。
我训练模型大概用了六个小时,也可能是四个小时。训练时间很短。突然之间,我看到了明显的泛化能力。我觉得用的是一个摄影数据集,里面都是各种物品的照片,但即便如此,我也发现自己可以把一个标志放到衬衫上,还能做类似的事情。效果还不够好,但模型显然正在学习如何关注这两个概念之间的关系,并利用预训练时学到的关系。
后来我把这个项目带到了下一次公司外出活动,展示了结果。之后它就变成了公司范围内的项目,持续了几个月。我们投入了很多精力,也让更多人参与进来。项目主要集中在数据集上。最后,Axel 做了很多很棒的蒸馏工作,让模型运行得更快。随后我们把这个模型发布出来,我为它感到非常自豪。
那是第一个真正能高速进行角色一致性编辑的模型,对吧?它让很多人都能用上这项技术。对大多数人来说,生成一个东西、和它交互、再修改它,是很常见的需求。在这之前,生成图像要花不少时间,而且你得重新生成整张图。你不能直接把父亲的衣服改成蓝色,还希望得到同一个角色。
而且你还得把不喜欢的部分遮罩起来,再把空缺填上。
是的,我本质上就是想摆脱老虎机式的生成方式。那时候大家都只能反复拉老虎机。
是啊。反复写提示词、反复写提示词,很明显,迭代式编辑才是更有效的做法。
我那个不怎么样的 ComfyUI 工作流就是这样:一次生成十个不同版本,然后你挑一个。
我现在还是会一次生成一堆版本。我不断调整,日复一日地按“生成四张、生成六张”的套路来,重做某个东西。就生成十个版本,最后总有一个勉强够用。我最喜欢的说法是,你得向随机数之神祈祷,因为这事就是随机的。
在我看来,基础模型的概念大概就是这样:你知道自己为了完成各种事情会用到许多小工作流,每个工作流又用不同的工具?我们要用一个模型来取代它们。
这就是 Flux.1 Kontext 的由来。对我来说,这是一个非常明确的“顿悟时刻”。
是的。
我没试过 Prompt-to-Prompt,不过在我看来,和 Flux Kontext 最接近的是 Qwen Image。Qwen 的团队做得非常出色。他们还做了一个 Photoshop 图层模型。
是的,太厉害了。他们在那边做的东西挺酷的。
有意思的是,这么多问题最终都归结到一点:优质数据确实很多。
是的,那是针对性很强的优质数据。我不知道该怎么说它是不是一个好概念,不过是的。
有件事让我挺意外:日本曾经有一整套法律规定,如果你在日本境内用受版权保护的材料训练模型,就会受到保护。大家当时都说:“哇,日本。”挺有意思的——结果什么也没发生。
我一直很想去那个办公室看看。没能去成,我很遗憾。
说到你提的全能模型,那是个挺有意思的时期。Gemini 显然是最新的全能模型。ImageBind 是 Meta 在 2023 年推出的,我之前竟然没意识到。他们还加入了热力图和深度图的嵌入。
热力图。
还有深度图。这是个重要方向。我觉得这方面已经有了进展,肯定也出现了更新的研究。
你可以把它看成另一种颜色,对吧?就是 RGBA,或者类似的东西。
是啊,是啊。
有意思的是,它的输入和输出都很全面,所以你可以按需从文本转成热力图,也可以从 IMU 转成深度图。这方面的市场很大。
有意思的是,它没有视频输出,而视频正是我们深入理解世界所需的核心能力。我认为,这一直是我们工作的核心。
好。在我们结束数据或知识产权的话题之前,业内有没有哪类数据是大家都知道很有价值的?如果有数据供应商在听,他们该怎么把数据卖给你们?该怎么联系你们?
这很大程度上取决于你想解决哪类问题。如果我要训练机器人,显然需要大量第一人称视角的数据。这不是什么秘密,对吧?事情本来就会是这样。
第一人称视角,或者说——
这对你们来说也有帮助,对吧?在语言模型领域,很多人在做强化学习环境。有没有类似的机会,让大家带着这类东西来找你们?
我这是在帮你们找供应商。
其实有很多数据供应商来找我们。
太多了吗?
是啊。
好。什么样的好,什么样的不好?
还是要看你处于训练的哪个阶段,以及实际目标是什么。数据规模和数据质量之间需要权衡。每次训练,尤其是大规模预训练,都得找到那个最佳平衡点。具体情况可能因所用的架构而大不相同。这是预训练或扩展前实验中的核心内容之一。你需要逐级扩大规模,弄清楚实际上需要多少数据,并预测质量会达到什么水平。数据量和数据质量这两个维度之间,最佳平衡点在哪里?
还有没有其他值得提到的重大进展?Flux.1 Kontext 是个重要节点。
Flux.2、Flux Tools、Action,我们刚才都聊了一些。还有别的吗?
我觉得三种尺寸都很重要:Dev 模型和 Schnell。
快?
Schnell 在德语里是“快”的意思。
我想你们可能在博客文章里介绍过了。不过我觉得同时提供开源、闭源以及不同性能档位,是合理的。
是的,完全如此。
说到值得关注的事情,Flux Kontext 让我挺遗憾的一点是它只能编辑单张图片。显然,大家非常需要多图功能。人们想输入许多不同的图片,让它们相互关联——
这里用“参考图”更合适。
对,许多不同的参考图。我觉得现在 Grok 做得最好,不过我不清楚它目前的情况。我知道 Midjourney 在风格书上做了不少工作,用户可以不断积累参考图。
他们一直很擅长风格参考,但这次要处理的范围更广。Flux Kontext 只能接收一张图片,所以你只能基于那张图反复迭代。如果某个人的照片拍得不好,那你手里就只有这张。
但你可以有同一个人的三张不同照片。
它其实已经足够通用了。我记得当时挺好笑的:大家把一堆图片拼成一张,想用这种方式模拟多图输入。到了 Flux.2,我们终于有时间完善数据,并开展更大规模的训练来处理参考图;我记得当时最多是 10 张。这让你能用上丰富得多的上下文。
从很大程度上说,这也是个数据问题。你需要数据里包含所有这些参考图。
实际使用上有限制吗?比如说,行业标准是 10 张或 18 张参考图,就到此为止了,对吧?我不需要 100 张。
显然,你可以展示一些惊人的数字,比如一张图片或一段视频里能放进多少个角色或多少张图片。但接下来你就得靠智能体帮我找来 100 张参考图。
这很容易,对吧?交给智能体就行。但之后我还得检查。我得看 100 张图,确认这真的是我想要的。
这也是个棘手的创意问题。我该把这 100 张图放在哪里?
把它们合成起来。
先不纠结具体数字,超过 10 张参考图,人就很难理清了。如果我们在制作视频,我可以放进 50 个人。但最重要的电影里,核心角色有多少?最多五六个,除非你拍的是《复仇者联盟》。
确实。
到了某个数量,就接近人类在两分钟短片里能够处理的信息上限。这也和你们前面提到的评测有关。为上下文更长的模型构建评测,会变成一项规模大得多的工作。最后我们发布了一个名为 ContextBench 的开放评测集,它基于我们内部用于评估上下文的基准测试构建。随着参考图数量增加——
我还没看过这个。
请搜一下 ContextBench。我来打开看看。整理它花了不少功夫,不过做起来很有意思。
“把猫变得特别胖。”
我记得当时和几个同事坐在旧金山办公室的后屋里。我和 Tim Dawborn 笑个不停。
你们是不是吃了点软糖,然后就说:“哥们——”
那天深夜,我们就坐在那里,真的只是随便找些图片,输入最傻的指令。
这确实管用,对吧?
但要让它有意思,你还得再走一步,确定什么才算标准答案。
这基本上只是一个基准测试,只包含输入。
没错,但你怎么评估输出?
有意思的地方就在这里:你去问人。这是一个公开基准测试,为所有人提供一个共同的竞技场,推动彼此进步。
明白了。所以这只是评测的一半。
这就是评测。你有两个模型想比较,然后进行评判。
像 Arena 那样,是吧?所以从这个意义上说,它不是验证集,只是一个评测基准。
这基本上就是我一个人坐在房间里想出来的。我们删掉了一些内容。说真的,这里面 80% 都是这么来的。这也深受我们在意大利团建活动的影响。
为什么不做 Mad Libs 那种填词游戏呢?它能产生组合爆炸,而且比随机灵感更有结构。
我们现在确实会做更多类似的事。公开评测集里有些内容我们必须过滤掉,因为内部版本里有些东西实在太傻了。
我花很多时间观察大家实际如何使用我们的模型。我自己也很喜欢用我们的模型。我觉得测试和尝试非常重要——就是好好玩玩自己的模型。我以前混迹于 Discord 和开源社区,见过大家做各种最傻的事,但他们玩得很开心。除了覆盖实际使用场景,包括生产环境中的应用,我也希望确保这些模型用起来有趣。
好感觉评测——氛围基准。
三年前我还没意识到这一点有多重要。没错,这些是梗图,也可能只是为了用 Midjourney 而订阅,但它们最后确实会变成非常实际的工作。
因为他们先是出于好玩去用,接着就会想:“哦,这个我工作时也能用。”
没错。自动评估这些模型时,业内有很多人在做人工评测,但每种评估都有盲点。你应该尽可能结合多种相互独立的评估,才能更全面地了解模型表现如何。
这并不意味着你就不用亲自抽样测试模型了。尝试了解它的优势和弱点其实特别有意思。不断抽样和检查模型,是开发过程的核心部分。它的表现达到我的预期了吗?
从某种程度上说,这也是你们关心的,对吧?这些都是你们自己的使用场景。如果想让某项能力变得更好,就做个小型基准测试,看看表现如何。
完全同意。我觉得模型的开发者自己也想用这些模型,这一点非常重要。
这和某个麦克风品牌为了拍产品照片而使用模型,有很大区别——那是个非常小众的使用场景,他们可以针对它把性能优化到极致。
这用途很广。
有件事我确实想问:大家都知道 Midjourney 有一套循环机制——在 Discord 上,所有人都能看到别人怎么写提示词。你会得到四个选项,选一个,这就成了下一个模型的反馈。你们为什么没这么做?
我们没有公开大规模地这么做。
但这不是很有价值吗?
它有价值,但价值有限。超过某些界限后,得到的信号就很弱了。早期我们看到这种调优对 Midjourney 模型的巨大潜力,比如 V5。但当基础模型达到一定水平后,你就很难再得到那些特别好的例子,也无法清楚地看出模型因此有了改进。此外,噪声也很多。
还有很多其他方法可以做到这一点。我曾和别人讨论过:当时这么做非常有用,因为模型遵循提示词的能力还不够好。如果两个结果都做得不好,要判断哪个更符合提示词,其实很主观。偏好调优能获得很多信号,因为信号非常明确:人们更喜欢这个结果。
回到我刚才的观点:如果我拿表现最好的 5 个模型,让它们移除一张床,它们在我看来都会差不多。偏好里能体现出来的信号并不多,对吧?它们都能很好地补全画面,因为它们对这项任务理解得很透彻。所以对我来说,评估的这一面基本上就没什么意义了。看起来都不错。
我正想插一句,这其实是我转向 Kontext 后最喜欢的部分之一。终于不再只是问:“它到底有没有完成任务?”我很喜欢那些非常清楚、具体的任务。
9. 自回归还是扩散
关于文本这条脉络还有一部分,然后我们想谈谈机器人在实际应用中的情况。自回归图像生成似乎是个大趋势,Gemini 和 ChatGPT 都在这么做。你觉得它的影响有我们认为的那么大吗?这看起来像是一次重大变化,因为这样就可以通过对话来编辑了。这是从 Kontext 顺理成章迈出的下一步:不再是用图像和文本提示词来编辑,而是直接和模型对话。
我会说,这并不是自回归模型独有的功能。它取决于训练数据。扩散模型也可以具备语言能力,我们知道这条路是走得通的。从长远来看,我们相信发展方向会是这样,我们也正在努力把更多模态纳入其中,包括语言。所以这不是算法的问题,而是你把重点放在哪里的问题。我认为这两种方法都非常令人振奋,各有很多优点和不足。
我会说,自回归模型的数据效率高得多。你可以更好地利用数据来训练它们,因为扩散模型有一条从数据到噪声的轨迹。每个训练样本实际上都能产生无限多个训练样本,因为沿着数据到噪声之间的轨迹,你可以选择任意一个可能的位置进行去噪。显然,如果只用那一个样本训练,模型会过拟合。从理论上说,一个数据点可以产生无限多个训练样本。另一方面,自回归模型可以并行地在所有 token 上训练,从每个训练样本中获得最大的梯度。
这是训练方面的情况,我会说自回归模型的数据效率更高。但在采样时,自回归模型必须一个 token 接一个 token 地生成,因为它们沿着数据方向迭代。扩散模型可以把 50 步蒸馏到 4 步,大幅提速。自回归模型没法用同样的方式做到这一点,因为它们必须逐个生成 token。
听你这么说,自回归生成好像就是更差了。
在这方面,自回归生成确实有局限;而扩散模型在数据效率和训练方面也有局限。我喜欢这两种方法。我们也研究自回归模型很久了,两者都非常令人振奋。
所以在数据效率上,自回归模型更胜一筹?
是的。
好。那么说说规模。那些同时做过 ChatGPT 和 Imagen 的人还常提到另一件大事:加入循环内的 RL,让模型能够像智能体一样行动——生成内容、对其推理、编辑图像,然后继续这一工作流程。它们也能做到,而且这和扩散生成的流水线处理是两回事,对吧?整个过程都由同一个模型完成,在数据层面训练,所以可以扩展规模。扩散模型有没有办法应对这一点?
扩散模型本身没有任何固有局限,会妨碍它执行完全相同的流程、完成所有这些事情。
这真是颠覆了我的认知。我之前想错了。Nano Banana 出来的时候,我想:“我靠,自回归真的出现了。”但你是说并非如此。我说 Nano Banana 是扩散模型,这一点错了吗?
我认为它是基于扩散的。我没有内部消息,所以也可能说错,但我相当确定它有语言组件,可以执行自回归任务。我觉得我们会把它称为 Transfusion 模型。它本质上两种方式都能用。没有什么固有局限规定你必须用其中一种方式。这些都还在探索之中。
所以这还没有形成定论。我原以为 Imagen 2 出来时,大家有一波从扩散转向自回归的趋势。
现在这个领域有很多令人振奋的研究。我们已经看到一些模型在这方面表现非常出色。流匹配也在发生同样的变化,效果也在提升。我会说,这场争论还没有定论。目前两条路线都有大量研究在进行。
这很令人振奋。机器人领域也在发生类似的事。我们有 VLA 和 VAP 之争,这非常有意思。最后一件事是用于文本的扩散模型。当然,它有一些优点,比如速度。我们在文本领域能清楚地看到这一点。大家也可以试试 Diffusion Gemma。这些模型最终能达到同等水平吗?这只是投入资金和数据的问题吗?
我会说,其中很大一部分取决于数据。如果它不起作用,为什么不起作用?我简单的回答是,我们是从左到右进行推理的;我们不会通过向视觉中扩散来推理。同时,我觉得大家喜欢强调自回归模型中 token 逐步生成的特点,但它们也可以并行处理。我们也可以一次读入整本书,这些模型也能做到。
是啊,你可以把它伪装出来。我完全明白。这是个合理的问题:为什么文本扩散模型一直没能发展起来?它在慢慢变好一点点,但这是怎么回事?
我认为,这取决于哪种方法先出现,并成为语言模型的标准。正如你所说,如果它的数据效率更高,而整个领域一直在大力扩展规模,那它就占了优势。这并不意味着不存在一些特定场景,可以在某个规模下取得非常好的效果。Diffusion Gemma 就是个很好的例子:它表现相当不错,达到了要求,而且运行速度很快。如果这正是你需要的,那就很好。
在自回归语言模型这方面,我认为关键在于它简单、可扩展,而且出现得早。很明显,这是一条非常成功的发展路线。为了让它奏效,人们投入了大量时间、资金和研究。现在扩散模型这边也有很多令人振奋的研究。我会把扩散语言模型分成两类。很多人没有意识到这一点:有离散扩散语言模型,我甚至不太喜欢把它们叫作扩散模型。Diffusion Gemma 和 Mercury 模型就属于这一类。它们更像是掩码式模型,从掩码跳转到 token,但仍然是在离散空间里运行。
现在,连续扩散语言模型正迎来一波大规模研究。它们实际上是在去噪空间中运行。我不想把它们叫作流匹配模型,但它们本质上就是以这种方式运行。
所以更像是……如果我没记错的话,这种方法曾用于音频。
音频生成、连续扩散。连续扩散。我的意思是,扩散也用于……
是啊,什么领域都能用:视觉建模、音频建模。我最后还有个有意思的问题:有没有什么好方法,能在纯扩散文本模型上进行 GRPO 式的强化学习?
有,我们实际上就在做这件事。我们在 FLUX.3 上做了这项工作,效果提升非常显著。
所以 FLUX Action 是你们最近发布的产品和正在开展的工作之一。你们是怎么做的?目前的反馈和影响怎么样?
10. FLUX Action 与机器人
基本上,你先用视频、图像、音频等各种数据一起进行预训练,然后得到一个非常通用、能够理解世界的模型。接着,你可以加入少量动作预测数据。具体来说,就是在机器人的状态空间中加入预测,这个状态空间是对机械臂的参数化表示。每个关节都用平移和旋转来描述:基本上是 6 个自由度。然后你把这些信息和视频一起进行预测。
由于模型已经能够对视频进行推理,知道要在视频空间中生成什么才能完成某项任务,因此加入这个新的维度——状态空间——并对它进行预测就很简单。给定一段先前的视频,你以它为条件,再输入一条指令。模型就会生成下一段动作,以完成该任务。
这种方法效果非常好。我们可以在现实世界中使用真实机器人,也可以在模拟环境中使用。计算机操作也是把这种方法映射到数字世界,我们可以让模型玩游戏之类的,对吧。
所以,这一切都由单个 FLUX.3 模型实现。你也能看到它的能力非常强,因为我们进行了非常通用的预训练,不局限于传统的机器人数据。它使用各种类型的数据,让模型对世界有内在的理解,而这也体现在它的表现上。
作为扩散模型,它的速度也相当快,正如我们看到的这些蒸馏版本,对吧?你会把它称为世界模型,还是世界动作模型?你有喜欢用的术语吗?
这是一个世界动作模型。我不喜欢用“世界模型”这个说法,它的含义已经被用得太泛了。
我也有同感。现在这个词感觉都成了同音异义词了。
我们就叫它视觉智能模型吧,因为它能做这些基础的事情,对吧?
我觉得这些模型的区别在于,你预测的不只是视频或世界本身,还会预测动作状态,对吧?
对。一方面是世界里正在发生什么、当前是什么状态,另一方面也要预测接下来该执行什么动作。
没错。所以它有两种输出,对吧?
对。
行业标准的目标帧率是多少?因为按我的理解,你不必预测太远。
你是指实时系数吗?我想模型目前能达到每秒 10 帧。这是一个非常小的模型。
而且你预测的是未来一帧、五帧之类的,对吧?
我得查一下。我想它预测的是一小段帧,大概在 9 到 21 帧之间。然后模型会再次以前几轮生成的内容为条件;在机器人上运行时,也会以摄像头感知到的内容为条件。接着继续往后预测。所以它是按小段来预测的。严格来说,它不是沿时间维度自回归地运行,而是分段预测。
我想说的是,视频预测这一部分主要是用来预测你采取行动后会产生什么结果。所以你可能需要在模型之外再配一个某种长程规划器,来协调这些动作。
所以我们之前才会讨论语言这一部分。
对。所以它现在运行时,没有高层规划器参与之类的吗?
对。这只是一个循环运行的模型。
这里有些有意思的内容:这是我们和 Dyna Robotics 合作完成的。
对。
Dyna 有一个,Runway 也有一个。我想我们来聊聊微调。如果我想把你们的通用模型拿来,针对一款新机器人和一项新任务进行微调,而这项任务不在分布内、模型从未见过——比如我自己的家用机器人,我可以编程教它怎么使用人形机器人的手臂——这个流程是怎样的?需要多长时间?微调能力有多重要?
因为这个模型的通用性很强,预训练效果也很好,所以你需要几个小时的数据。我记得我们展示过一个例子,把它和 Pi0.5 作了比较;Pi0.5 也是开源的。用它训练所需的数据量只有对方的八分之一。那是一个工业应用。我们用了 4 小时的数据,就达到了足以胜任这项基础应用的成功率。
这是你们现在想要继续改进的方向吗?
是的。回到刚才关于上下文的想法。我们不应该依赖微调。我们现在极其谨慎、全力投入的方向,是机器人领域的上下文学习。
你应该只需向机器人演示一次某个动作,它就能学会怎么做。这才是真正的超人智能。想想我们小时候学走路,或者学会正确使用拇指抓起这个罐子,要花多长时间:几周,甚至几个月。我们的愿景是,自主机器人只需观察任何动作一次,就能学会执行。这显然会是超人的视觉智能,也是我们想要实现的目标。
现在的标准是什么?我们需要多少次演示?
至少需要大约 4 小时的微调。
四个小时,对。
即使是 4 小时,效果也相当不错。我认为 2027 年会是我们攻克这项任务的一年:单次学习。
这里的“中期训练”也挺有意思。它是不是类似从制造业拓展到医疗领域,比如给药丸装胶囊?这是在说——
这个模型接受的训练相当通用。即使在微调之前,它也可能已经能处理你交给它的许多任务。这个版本可能已经能胜任很多任务。微调实际上就是把它的表现打磨到位。
在机器人领域,你会期待它达到某个准确度水平。
没错。这就是标准的大规模常规中期训练。接下来进入微调阶段,我们加入高质量的机器人数据,让性能再提升一截。不过你也看到了,即使只经过中期训练,模型已经能在一定程度上完成这些任务了。
我觉得另一个有意思的地方是它有 70 亿参数,对吧?这主要是因为这些模型要部署在设备上吗?
没错。你希望模型尽可能小,因为如果要把它部署到制造商的设备上,它就必须在设备端运行,而且要能实时运行。
它的底层是 FLUX.3 吗?
是的。
图像和音频相关的东西也都是从这个模型衍生出来的吗?
全都是。基本上,这些都是从一个模型衍生出来的。我们有这个多模态模型,这一点非常重要,必须理解。它是在海量图像、视频和音频语料上训练的,我们从中衍生出了今年夏天发布的所有产品:FLUX.3 Video、FLUX.3 Video Edit、FLUX.3 Action、FLUX.3 Image 和 FLUX.3 Image Client。我们还从中衍生出了一个放大模型。我们有一款非常不错的 4K 视频放大模型,速度也很快。我很推荐它,效果真的很好。
这些产品全都由这一个模型驱动,也说明了训练通用性很强的模型会如何随着时间不断积累价值,因为我们可以从中衍生出所有这些应用。
视频放大模型和图像放大模型有什么区别?难道不是——
说到视频放大模型,我们刚才提到了时间一致性。如果你用一个没有时间理解能力的图像放大器,就会再次出现闪烁。尤其是在高频细节上,两张图片并排比较时不太容易看出来;但如果在两张图之间切换,你就会注意到。有个基础操作是所有经常看图片的人都会做的:在两个标签页里分别打开两张图片。
确实会注意到,对。
然后左右切换,就能看到每一处差异。如果视频放大模型没有时间维度这一部分,这些差异就会表现为时间上的闪烁。
明白了。这就是它和图像放大模型的区别。关于真实机器人评估,以及如何扩大规模,你有什么看法吗?我看到“把海绵放进碗里”这个任务出现了三次。从某种程度上说,你看看我们的 DynaPod,确实有人在一次次地测试机器人,因为必须在真实规模下测试。但拜托,“把海绵放进碗里”三次只成功两次——那就重新开始再做一次。你完全可以做到三次都成功,对吧?
这是个难题。我认为大家一直在努力的一件事,就是缩小仿真到现实之间的差距。随着时间推移,这方面会越来越好。但说实话,不管在哪里做评估,都很折磨人。
评估内容创作也是一样地折磨人。你问三个不同的投票群体,什么样的图片算好图片,就会得到三种不同的答案。大家会为此争论不休。我们内部也会为此争论。生成式建模的评估就是很难。
商业化方面已经发展到哪一步了?进展如何?
很快还会有更多这类消息。我不能透露太多,但很快就会有首批由 BFL 提供技术支持的机器人投入实际生产。
而且它是开放的,对吧?2027 年会是机器人之年。再多说说你的预测吧。到了 2027 年,接下来会是什么局面?进展会有多快?
单次学习。我们首先会看到上下文学习成为一大重点。我们会看到这些技术首次在真实制造业中实现商业应用。德国是我们的基地,这一点很有优势,因为这里有海量的工业数据,也有很多合作机会。人们对机器人也非常渴望。我们有一些很好的协同机会,想利用它们让 2027 年成为机器人之年。我对此非常兴奋。
研究进展也非常快,所以我猜机器人技术会迅速进步。
那机器人在实体制造上有种种限制这件事呢?技术和模型可以扩大规模,但这些限制很难改变。你对 2027 年有什么预测?现实来看,机器人技术会发展到什么程度?我能买到一台现成的、可以单次学习的机器人吗?
我猜到 2027 年晚些时候,人们就能在家里用上一些相当有意思的机器人。至于它能不能完成精细操作之类的任务,我不知道。这完全是预测,我没有任何基准可以参考。但我猜明年你家里可能会出现一些有意思、也许还挺实用的机器人,至少对我们这类小众的科技爱好者来说是这样;普通人家里可能还不会有。
那制造业方面呢?
我觉得 2027 年将是制造业的一年。
因为制造业的应用范围比自动驾驶或消费级机器人更受限制;而对于后两者,理想情况下,你会希望它们能做任何你想让它们做的事。
2027 年,我们很有可能看到机器人技术解锁大量应用。这基本上就是我们正在努力实现的目标。
太棒了,真令人期待。感觉这是个非常有趣的领域。你们有机器人实验室,有图像和视频模型,还在打造未来。就差一辆飞行汽车了。
你提到德国很多次,不过你们在旧金山也有个相当大的办公室。我之前不知道你们在欧洲还有这么大一块业务。
我们在旧金山的规模确实不小。公司叫 Black Forest Labs。欢迎大家来我们位于 Townsend 街 410 号的办公室。我们不是一家欧洲公司;我们的根基既在欧洲,也在美国,而且业务面向全球。
挺有意思的。我们邀请你来,是因为你正好来城里了,我们就想:“好,应该请你来聊聊。”大家能怎么帮你们?你们在招人吗?
我觉得大家只要在营销方面支持我们,多聊聊我们的模型就行。帮我们在美国打响名气。在业内,我们已经很有名了;但在更广泛的社会大众中,还没那么出名。现在有几家巨头广为人知,而这正是我们 2027 年需要改变的:真正打响我们的名气,因为我们的技术非常强。我们长期以来一直在构建大家都在使用的核心支柱。现在是时候让更广泛的受众认识我们了。
科技圈认识你们,但圈外就没那么熟悉了。跟你妈妈说说 FLUX 吧。
我是做营销的,经常帮公司做营销。你们的情况很不一样,因为生成式媒体整体上在大众中的口碑褒贬不一。通常我会建议做 TikTok 或 Instagram 营销活动,但你们可能会被骂惨,因为很多人太讨厌 AI 了。找到那些人们不会把它看作 AI 的细分场景,这很有意思。在那些场景里,它只是用技术就能做到的一件普通事情。你一说这是 AI,大众就会拿起干草叉冲过来。对此你们有什么回应、想法或解释吗?
我觉得重要的是要强调,我们负责任地对待这件事。我们的模型不会制造铺天盖地的垃圾内容。它们应用于真实的使用场景和专业工作流程,能让专业人士的工作轻松得多,大幅提高生产力。
这就是 Photoshop。
没错,就是 Photoshop。生产力能提升这么多,简直不可思议。这确实是我们在内容方面的目标。我们完全不是为了让人失业,而是为了让每个人的生活都轻松得多。
我倒不会这么说。如果我在你们团队工作,这会是我现在要解决的首要市场推广问题:怎样让人们像 Wispr Flow 那样稍微火起来?人们会说:“我知道怎么用这个。这不是 AI,只是 Wispr Flow。”Granola 也是一样。
生成式媒体还没有跨出这一步,除了 Nano Banana,还有 ChatGPT 那次生成吉卜力风格图像引发的热潮。那些时刻,人们会说:“这是个有趣的潮流,我也想参与。”
确实有些时刻效果很好。你说的那个“看看自己老了之后的样子”的功能,就曾经引发巨大热潮。人们会看自己八十多岁的样子,然后发给家人。这样的时刻出现过,但都很难预测。这种病毒式传播的时刻非常难以预料。Nano Banana 原本是他们内部使用的名字,后来大家喜欢这个名字,而且叫开了,他们就保留了下来。
我们看到一个非常受欢迎、出乎意料的大用途是修复图像。我看到很多很棒的例子:有人把老旧、褪色的家庭照片修复、上色、修整,同时又能和原图保持很高的相似度。这是我最喜欢的时刻之一:人们把修复好的照片给家人看,看到他们的反应。我很喜欢那种积极的时刻。不过,就像我说的,我们往往无法预测最终会流行什么。就连 Stable Diffusion 时代,网上流行的趋势也总是出人意料。它们就是自然而然地冒出来。
你永远猜不到。它们会自己冒出来。
你没法提前规划。一旦出现了,显然就要抓住机会。你应该一直问:“下一件大事是什么?模型还做不到的下一项能力是什么?”然后设法把它融入你的模型。
完全同意。就是要押注。有些会成功,有些则不会。但始终保持这样的想法非常重要:“嘿,我们接下来应该做什么,才能给人们带来更多快乐,或者提升他们的生产力?”
是啊。研究领域就是做这个的。你们做得非常出色,非常感谢你们分享自己的故事。我希望更多人能认识你们这个团队,因为他们已经听过不少关于模型的热议。但我觉得,这还是我第一次听到 BFL 的完整故事。
是啊。真的非常感谢你们邀请我们。
太感谢了。
这次对话太棒了。终于能聊上,真开心。
是啊,这件事筹备了一年。我买了一堆 MicroDucks,已经等不及看它们到处跑了。
哦,你有一只吗?我也想弄到一只。我感觉这些东西在售的时候我错过了机会。
你有门路。我肯定能——
外面哪位朋友能帮我弄到一只 MicroDuck,就帮我弄一只吧!
我给你弄一只 MicroDuck。
好,太好了。
我买了一堆,因为我知道这会是今年圣诞节的热门礼物。
太棒了。
不过,是啊,2027 年的机器人技术——也就一年后了。咱们拭目以待,看看这一切会走向何方。我对这种方法非常乐观,而且我觉得你们解释得很清楚。
太棒了。是啊,真精彩。太好了。谢谢。
好,谢谢你们。
好,谢谢。