Koji
欢迎收听《十字路口》，我们关注新一代 AI 技术浪潮带来的行业新变化和创业新机会。十字路口是乔布斯对苹果公司的一个比喻，形容他站在科技与人文的十字路口，伟大的产品往往诞生在这里。AI 正在给各行各业带来改变，我们寻找、访谈和凝聚 AI 时代的积极行动者，和他们一起探索和拥抱新变化、新的可能性。
我是主播科技杨元辰，联合创办了街旁、新世相和糖岛。我相信科技，尤其是 AI，会在未来十年彻底改变社会，赋能人类。欢迎大家找我聊天，碰撞想法，链接下一个可能性。
我是主播荣慧，目前在一家专注科技投资的风险投资机构工作，之前在第一财经周刊担任驻硅谷记者。
本周的《十字路口》邀请到了 Luma AI 的产品经理 Barkley。Luma AI 是全球领先的 AI 视频模型公司，他们前后融了一点六亿美金，差不多超过十亿人民币，一举一动几乎都受到全行业的瞩目，也被誉为 OpenAI 的 Sora 头号劲敌之一。一个融了快十亿人民币的公司，竟然只有一位产品经理，我们也很开心能够请到 Barkley 这唯一的一位产品经理来到十字路口。
本周同样是十字路口的二十问专栏，我们给 Barkley 准备了二十个启发式的问题，希望和 Barkley 一起来帮助大家在信息繁杂的当下，建立起对 AI 视频模型这个行业最新变化、最新进展的清晰而系统性的认知。
请 Barkley 介绍一下自己吧。
Barkley
感谢 Koji 和荣慧的邀请。我之前也听了很多期《十字路口》，很荣幸能够来这个播客聊一聊 AI 视频领域的一些进展和我的观察。
我叫 Barkley，中文名叫戴高乐，现在在 Luma 做视频模型层的 APM，主要负责数据和模型评测。此前我在美国读完本科，毕业以后在 TikTok 做产品经理，当时在 TikTok 的特效组，接触到了视频生成和图像生成领域。后来就一直在做一些结合计算机视觉技术以及 diffusion 相关技术的 AI 特效应用。
2023 年 6 月，我加入了 Luma。当时 Luma 还是一家做 3D 生成的公司，我们主要做 3D 重建和 3D 生成。大概在 2023 年底，公司开始转向做视频，我也跟着公司从原来做 3D 方向的数据和功能，转向做视频。最开始我是做评测，后来逐渐开始负责数据和 fine-tuning 方面的工作。这就是我的一个简单介绍。
1. Sora Sets The New Paradigm
第 1 个问题是，我们录制的时候，正好是 Sora 发布整整一周年。但其实回头看，好像已经过了快 5 年、8 年甚至 10 年那么久。大家想想去年的此刻，Sora 刚发布的时候，正好是中国大年初二、初三。那天半夜醒来，我一摸手机，感觉朋友圈都在刷屏，大家都非常震惊。
Sora 发布一年之后，感觉这个世界日新月异地变化，尤其是 AI 模型领域。所以想问一下 Barkley，你在一线的感受是，Sora 发布一周年之后，AI 领域有没有出现视频模型范式上的创新？
Barkley
我觉得要看怎么定义“范式创新”。在模型层和架构上，应该没有太大的变化，因为 Sora 发布的时候，其实验证的是视频模型的 DiT 架构，也就是 Diffusion Transformer。这个架构取代了原来主要依靠 U-Net 加 Diffusion 的视频模型架构，让整个视频生成以及模型质量有了巨大的飞跃。
在此之后，视频模型基本上都是沿着 DiT 这条路线发展的。但在产品和功能上，我觉得出现了很多可能算不上特别重要的范式创新，但可以说是逐步的迭代。比如对物理世界的理解、consistency，也就是一致性保持，以及人物生成和动作生成方面的研究和产品进展，都在不断迭代。
新的模型架构改进和技术更新，也会带来一些改变。所以我觉得可以说是范式创新，但可能还不完全是 paradigm shift 那样的变化。
2. Ray 2 Raises The Bar
Ronghui
第 2 个问题，大家也会很好奇：Luma AI 融了那么多钱，你们最近这几个月主要在做什么？这个方便透露到什么程度？
Barkley
过去这个月，我们刚发布了新一代的 Ray 2 模型。Ray 2 最开始发布的是文生视频，之后逐步在上周发布了图生视频。它在社区和 creator community 里的反馈都很好。
一方面，我们觉得它准确理解了很多物理世界的规律。这些物理规律在过去的一些模型上可能体现得不够明显，比如一个小球从阶梯上滚下来，Ray 2 对这种物理过程的模拟会更加精准。
另外，我们在一些垂直领域，比如动漫领域，也做了一些微调和数据处理，让模型在这些垂直领域里同样能够表现得很好，而不像过去那样，只是一个在生成真实感视频方面表现很好的 general model。
除此之外，我们还在做很多研究性工作。我们对自己的定位更像一个 research lab，还是以研究为主，所以会在实时视频生成、视频理解模型等方向上做很多前沿研究。最终的目的，是让视频模型更好地理解物理世界的规律。
虽然我们觉得现在的 Ray 2 已经做得很好了，但我们看到 Scaling Law 在视频模型上仍然有效，所以还可以把它推到下一个新的高度。
3. Video Models Need New Benchmarks
Koji
我比较好奇，你们做自己的视频模型，也会关注竞品的视频模型。每次有新模型出现时，你们用什么方式评估它到底做得怎么样？
它不像语言模型，会有很多标准 benchmark 和标准答案，比如解数学题、解编程题。在视频模型领域，怎么评估一个模型做出来的是不是好？这里的 benchmark 是什么？
Barkley
我觉得现在市面上公开的 benchmark 确实不多。对我们来说，会自己定义一些指标。我们通过用户访谈以及对 creator community 的了解，判断哪些指标是相对合理的。
其中一个指标可能是美学，也就是 aesthetics。当然，审美是因人而异的。在这种情况下，如果视频模型有 API，我们会批量跑一批视频，然后依赖一个全球的 crowdsourced network，对视频进行评测，从而判断哪个模型在美学上可能更好。
另外一些指标，是对真实物理世界规律的理解。Google 有一个 benchmark，我不记得具体名字了。它选取了一批他们认为能够代表物理世界运行规律的 prompt，然后观察不同模型在这批 prompt 上的表现。
我们有时也会定制一批 prompt，专门测试模型模拟真实事件的效果。除此之外，还会评估一致性，以及 prompt alignment，也就是模型能多好地遵循用户的 instruction。
这些标准确实非常主观，但我们会根据对 creator 的调研，以及对视频模型使用场景的理解，制定相应的评判标准。
Ronghui
那这是一个非常直接、简单的问题：你现在觉得全世界谁最强？
Barkley
客观来讲，根据我们测试过的效果，Veo 2 现在应该是最强的，也就是 Google 的这个模型。
当然，我觉得所有模型都有一定程度的 trade-off。比如很多时候，motion 和 consistency 之间会有取舍。如果模型的动作幅度很大，一致性相对来说就更难保持；如果模型的美学效果比较好，多样性可能就比较难保持。
Inference 方面也一样，模型越大、效果越好，生成时间可能就越长。对 Veo 2 来说，我们觉得从纯生成的视频 clip 来看，它可能是目前行业里大家认为效果最好的模型，但生成时间也可能会比较长。
4. The Video Model Race Expands
Koji
第 5 个问题，请 Barkley 帮大家盘点一下。刚才只是聊了 Luma AI 自己在做什么，大家应该也很想知道主要玩家都在做什么。
硅谷除了 Sora，应该还有 Pika、Runway，以及 Google DeepMind 的 Veo 2。国内则有海螺、可灵、Vidu、PixVerse，其实竞争非常热闹。可不可以给大家讲一讲，他们分别在做什么？
Barkley
我可能说得不是特别准确，如果说错了，也不要怪我，这只是我的个人理解。
首先是比较偏大厂的。我们已经把 OpenAI 视为一家大厂了。海外这边主要是 DeepMind 和 OpenAI。
DeepMind 一直在推进 Veo 模型。我觉得 DeepMind 在结合各种多模态能力方面做得比较广。比如他们最近招募了 OpenAI Sora 原来那个 product team 的成员，去做所谓的世界模型。
他们可能会在把 Veo 2 这个视频模型推向更极致的同时，也考虑怎么做多模态输入和输出。
OpenAI 在发布 Sora、推出 Sora 的真实产品以后，大家对它的评价可能比较失望，有一种预期落空的感觉。但据我了解，Sora 还在不断迭代新一代模型，也会结合 OpenAI 原本在多模态视觉理解方面的能力，往更加偏 world model、更加偏 AGI 的方向发展。
这是美国的两个大厂。Runway 可能更多 focus 在影视领域，会做很多专业剪辑，也会和影视 studio 合作，希望在影视领域做到最好的视频生成效果。
我们目前的定位可能更加偏 consumer，不一定想直接去做最高端的影视，或者和大型公司合作，而是更多寻找中小型的个人和独立视频制作者。
我们对 prosumer 的定义是，他们使用我们的产品所节省的钱，能够远超我们现在产品的 subscription price。我们认为这对他们来说是一个非常强的 retention lever，他们会愿意持续付费。
Pika 和我们的区别，可能是他们更 focus 在 consumer 端。Pika 现在做了很多 AI 特效，通过视频创作一些爆款。这些爆款更多 focus 在小白用户身上，可能之前他们把 AI 主要当成娱乐工具，用这种方式制造 trend，再进入消费者市场。
这些是我对美国玩家的理解。国内的情况我了解得少一些。我的直觉是，海螺更加偏向争取全球增长的规模，他们在全球的用户量级很大，但可能不一定那么 focus 在盈利上，还是想探索不同国家、不同地区的用户，在偏 C 端场景下会怎样使用产品。
可灵给我的感觉，是他们更 focus 在商业化指标上。他们希望在把模型做得更好的同时，保证业务有正向的收入和增长，会更 care 关键国家和地区的商业化收入，以及每一次视频推理生成的毛利。
PixVerse 的感觉可能更偏向消费端，有点像 Pika 在美国的定位，更加关注特效和 C 端消费场景。
其他的，像 Vidu，以及腾讯的混元，我了解得不多，所以不太清楚它们具体的定位和方向。凭简单的感觉，混元更像是一个开源模型，我觉得更多是为了构建自己的生态。Vidu 可能也还是偏研究和 consumer 的定位。
5. China Enters The Conversation
Ronghui
第 6 个问题，想听听你自己在一线的感受。你觉得在硅谷，大家怎么聊国内的视频模型和应用？整体态度是什么样的？DeepSeek 出现前后，会不会有一些不一样？
Barkley
我觉得可以分成两部分。一部分是从业者。我们其实一直会关注国内的视频模型公司，包括我在负责模型评测时，也会覆盖到它们，所以对国内视频公司的效果保持持续关注和了解。
我确实觉得，在视频模型这一块，很多国内公司做得很强。过去一年我们发现，这基本符合一个规律：谁最后发布模型，那个模型的效果可能就最好。因为它训练了更久、打磨得更久，看过更多数据，做了更多优化，也积累了之前模型的特点。
另一方面，美国的创作者们可能之前对国内视频模型没有太多了解。他们惯性上会更多使用美国本土的产品，比如 Runway、Luma 和 Sora。Sora 出来以后，也吸引了很多艺术家使用。
之前这些 creators 可能只是在 Twitter 上看到关于可灵、海螺的信息，只有一些比较高端的 creator 可能尝试使用过。但 DeepSeek 出圈以后，很多 Twitter 帖子会说，大家在关注 DeepSeek 的同时，也要关注中国的视频模型公司，看看它们的效果其实也很好。
于是会出现各种自发宣传可灵和海螺效果的内容。当然，这也因为可灵，尤其是在 DeepSeek 发布的这段时间里，持续推出新的模型版本，所以吸引了更多关注。
6. Research And Product Take Different Paths
Koji
第 7 个问题。刚才聊到各个公司的时候，我听下来好像有两条大的路线：一条比较偏用户端，另一条比较偏研究端。
在你看来，应该怎么理解这些不同路线的选择？选定路线之后，大家的工作重心会出现明显差异吗？
Barkley
我觉得这些差异在一开始，特别是在现在这个阶段，其实并不明显。但我觉得这很取决于创始人的愿景和想法。
我们一直坚定地想追求更大的视觉理解，也就是世界模型。我们认为这是通向 AGI 不可少的一部分，所以在研究上不会只专注于视频生成本身，也会同时做很多视觉理解模型的研究。
我们还会做一些前沿领域的尝试。有些方向成功的概率目前看起来可能不大，但如果有概率成功，就可能带来新的突破。
这需要很大的愿景支撑，也需要持续投入。Research 一个很典型的特点是，你永远不知道它能够产出什么东西。很有可能 10 个 research 里有 9 个想法都会失败，最后发现不可行。但只要有一个可行，scale up 以后就可能产生出其不意的效果。
我觉得 Sora 的范式创新就是这样的例子。但这确实需要一定的成本投入，也需要公司愿意长期做这件事。所以我们把自己定位成 research lab 的情况下，对这一块的投入始终是持续的。
DeepMind 和 OpenAI 这些大玩家，也一直在持续追求 AGI。他们认为多模态，包括视频理解和视频生成，是通向 AGI 的关键钥匙，所以也会持续研究和迭代不同的模型。
Runway 之前也提出过视频世界模型的概念，我觉得他们可能也有一部分 research 会 focus 在这个方向。但更偏应用层的公司，当然也会继续迭代模型，只是可能更加 focus 在视频生成本身，以及视频生成之后怎么应用、如何符合消费场景、未来能够创造出什么新的形态。
我觉得这两种也不算特别明显的路径选择。现在视频模型还处于非常早期，甚至还没有到语言模型 GPT-3 的阶段，所以路径选择还不是特别明晰。未来几年，这些差异可能会逐渐显现出来。
Ronghui
我想补充一个问题。你刚刚提到你们公司相对偏 research 的定位和方向，方不方便透露一下，你们怎么看 research 投入和公司商业化之间的平衡？
OpenAI 之前有很长时间被讨论的就是如何平衡这个问题，以及前期的巨额投入。你觉得做视频模型，或者视频应用，尤其是视频模型的公司，遇到的平衡问题和 OpenAI 做文字模型时是不是类似？有没有可能存在不一样的路径？
Barkley
我先回答第一个问题。在 research 投入和商业化之间的抉择上，我们现在更多站在投入 research 这一边。商业化对我们来说确实是一个相对重要的指标，但没有那么重要。
我们目前更多依靠融资资金持续进行下一代 research，同时也要保证 inference 以及 research 的成本相对可控。
在这一点上，我感觉美国的 VC 还是会给予很多长期主义的信任。他们愿意投入资金，即使到我们最新一轮融资时，也没有明确要求我们提供商业化数据。投资人更多想看的是，我们怎么在视觉领域实现 AGI，或者定义世界模型，以及我们要往哪个方向发展。
所以我们本来就是以 research lab 为定位，而硅谷的 VC 也了解这一点，双方是建立在信任基础上的。
至于视频模型的发展策略会不会和文字模型不一样，总体上我们相信 Scaling Law 是一样的。也就是说，过去两年我们在文字领域看到的发展，会在视频模型上重演。
大家会不断 scale 模型，直到模型拥有一定的基础通用能力。甚至模型可能会比现在文字模型的 GPT-4 base model 大很多，然后发展出相应的推理能力。这里更多是对真实世界的理解，以及对真实世界客观规律的推理和模拟。
我觉得这和文字模型的发展不会有太大差别，因为大家都是基于 Transformer 这条架构。Transformer 架构最大的核心，就是不断向上 scale 数据，然后期待模型涌现出新的能力。
但视频模型和语言模型相对不一样的一点是，视频数据的量级很大，但 noise 也很多。一张图片甚至一个视频里，包含的信息点不一定都是有用的。很多时候，当你把这些数据喂给模型时，模型会全部接收。
怎么让模型理解这些信息之间的关系和规律，我觉得比语言模型单纯 scale 更多数据要难。也就是说，怎么让模型真正理解这些数据，会是视频模型和语言模型在具体工程上完全不同的训练模式。
7. World Models Point Toward AGI
Koji
第 8 个问题，网上有很多人会提到，通向 AGI 的必要路径可能并不是文本，而是视觉。你怎么看这个问题？
Barkley
我觉得在硅谷，这是不同 AI research community 之间的一个 debate。大家大致分为语言模型阵营，以及所谓世界模型和视觉模型阵营。
语言模型这一边，比如 Anthropic 的 CEO Dario Amodei，会更加坚定地相信，只要继续 scale up 语言模型，语言模型就可以通过人类所有的语言资料库，理解世界的相互关系，因此不必专门训练视觉模型。Anthropic 也一直没有去做多模态的生成或理解模型。
另一方面，最早的杨立昆，以及 Meta 的首席科学家，还有李飞飞，更多相信人类学习世界规律，一开始是通过视觉，而不是通过语言来实现的。视觉上的反馈是一个非常直观的过程，所以他们会认为视觉模型是必不可少的一部分。
我之前在 OpenAI 去年的 Dev Day 上，在一个 After Hours 活动中意外看到了 Sam Altman。当时我想了解 OpenAI 对这件事的态度，就上去问了他一个问题。
那是去年的 10 月，当时 Sora 一直没有发布。我问他：“我好像一直没有看到 Sora 的结果，你们现在还 focus 在这个方向吗？你觉得视觉和视频生成是通往 AGI 的必经之路吗？”
他反过来问我：“你是怎么学习这个世界的客观规律的？你会看这个世界来学习吗？”
我说：“是的。”
他说：“同样的道理，我们不会指望一个只会读书的模型学到这个世界上所有的规律，所以我们肯定会做视觉理解。”
当时他是这样回答我的。我就感觉，OpenAI 虽然不一定会在 Sora，也就是视频生成这个方向上投入很多，但他们应该也会更多往视觉和多模态方向投入研究。
Ronghui
刚才正好聊到李飞飞。第 9 个问题，想请你给大家科普一下，李飞飞的世界模型到底是什么？
Barkley
不同的人对世界模型的定义可能不一样。我理解的世界模型，一部分来自我看过李飞飞的演讲，也包括杨立昆之前公开演讲中的信息。
我觉得世界模型在硅谷的理解大概有两层。第一层，是对这个世界的理解，也就是理解世界的物理规律。
比如我现在手里举着一个杯子，当我松手时，杯子会落下，在地上摔成什么形状。这里面包括重力的影响、地面摩擦力的影响，以及不同材质的影响。视觉模型是否能够理解世界真实发生的物理规律，这是第一层。
第二层是在理解之后，能否对未来还没有发生的事情进行模拟。比如给模型一张我手里拿着杯子的照片，然后告诉它：“请你模拟一下，现在手松开，杯子掉下来之后会发生什么。”它能不能精准理解并生成这个过程？
所以我们会觉得，对世界模型来说，理解世界的客观规律、物理规律以及各种视觉信息，并按照物理规律进行生成，是一枚硬币的正反面。
当你做到一个世界模型时，它就可以同时精准理解物理世界，并对物理世界进行精准生成和模拟。最终应用到 AGI 上，如果未来我们想象一个机器人，它要用手拿起杯子，把杯子递到你面前让你喝水，它就必须同时具备理解和模拟整个过程的能力。
Koji
你觉得世界模型这个概念，给整个领域带来了什么启发或者影响？
Barkley
它带来的启发和影响，更多是让我们意识到，不能只局限于生成视频。我们会觉得，所有多模态信息都应该成为模型的输入和输出。
最终如果要实现世界模型，实现视觉 AGI，可能需要一个 anything-to-anything 的模型。视频、图片、声音，包括人的说话声、音效，以及关于世界的 common knowledge 和 know-how，都可能成为模型需要理解的信息。
比如人类知道怎么把地上碎掉的东西捡起来，这些也是最终世界模型可能需要知道的信息。所有这些信息最终汇总到一起，模型才能做到多模态输入和多模态输出。
当我们从最终目标去想象现在需要的模型能力时，这就是研究侧需要去做的事情。
Ronghui
我能不能理解为，这其实把难度提高了很多？
Barkley
是的。无论从数据层面还是研究层面，需要做的事情都提升了一个量级。不再只是 focus 在视频输入和输出这一种单一模态上，因为它把信息的维度提高了很多。
它最终可能还需要和语言模型以某种形式结合。现在很多视觉理解模型，其实依赖基础语言模型，把视觉信息通过语言模型转化为一种可以理解的浓缩信息。
Koji
目前除了李飞飞他们，还有谁在做这个方向？
Barkley
World Labs 采取的是更加往 3D 方向的拓展，所以他们选择的可能只是其中一条路径。
Luma 之前也是一家做 3D 重建和 3D 生成的公司。World Labs 在一些方向上，和我们过去的工作有很多相似之处。但我们后来选择视频这条路径，是因为我们觉得，通过理解视频、通过海量数据的 scale up，或许不一定非要通过 3D 来理解世界的物理规律。
所以，虽然我们和 World Labs 都在努力实现世界模型，但在具体路径上可能做了不同选择。
DeepMind 的世界模型，可能更多来自视频生成领域。比如他们去年发布的 Genie 2，可以在各种游戏中进行模拟，实现 360 度不同视角的转换，看到游戏实时生成的场景。但那更多是基于视频生成的路径，而不是 3D 重建的路径。
Ronghui
你刚才提到这个，也让我想到你们之前不是放弃了 3D 这条路线吗？
Barkley
也说不上放弃。我们只是觉得，在路径选择上可能需要循序渐进。现在还不是 scale up，或者大规模做 3D 的时候。
8. Engineering Beats Algorithmic Breakthroughs
Koji
第 10 个问题。上次我们和 Barkley 聊天时，你提到一个观点：现在要继续突破，很可能一个公司的工程与管理能力带来的价值，大于算法创新带来的价值。这个可以展开讲一讲吗？
Barkley
我觉得这更多体现在数据工程和管理上。当然，我具体更多负责数据和评测，对模型测试的工程问题没有那么熟悉。
比如在数据上，我们经常会发现，如果有一套能够快速 inject 和 output 数据的方式，对模型训练速度会有极大提升。按照 Scaling Law 的理解，模型看过的数据越多，能够理解和生成的内容也可能越广。
这不是研究上出现了什么架构突破，而是如何快速让模型理解视频数据。比如所有视频可能都要经过一定压缩，但如何在压缩的同时尽可能保留信息，这更多是工程问题，而不是纯研究问题。
数据的 pipeline 也一样。公司需要管理从数据采集、标注，到最终切分成模型能够使用的片段，这整个流程应该怎样运行。
我的感觉是，整个流程像一个工业厨房。如果数据是菜，就要有一条完整流水线：一个人负责切菜，一个人负责洗菜，一个人把菜分类整理好，最后决定这些菜要切成什么样的片段、以什么比例投入锅里翻炒。
这个过程可能没有什么研究创新，但在工程和管理上提高效率，就会对模型能力产生很大提升。
Ronghui
第 11 个问题，我们还是要聊一聊算法上的突破。最近有没有看到哪些公司在做新的、有意义的尝试？
Barkley
这个问题我回答得可能不是特别专业，因为我更多是从 PM 视角来看。
比如 Sora 去年的发布，大家都知道它证明了 DiT 在大规模数据 scale up 上是可行的。在 DiT 的基础上，大家可能会对 DiT 架构本身做不同程度的修改，这些最终会体现在不同公司的模型上。
除此以外，还有一些功能点，比如视频编辑，甚至图片编辑。在这些方面，可能会在原有算法基础上演化出一些新的方法。
我的感觉是，学界的 research 会提出一些有意思的猜测，而有能力训练更大模型的公司和 startup 会去 scale up 数据，观察这些想法在更大场景下能不能得到广泛应用，最终判断它是否是有意义的尝试。
所以更多可能是把一些新颖的想法、小的创新点，通过数据 scale up，最终应用到产品里。
Koji
你刚才说到工程和管理能力的重要性，我突然想到，这个挑战在于以前这件事没有人做过，也没有参考样本。
你有没有一些个人感受特别强烈、比较有价值的 takeaway，可以分享给其他同行？或者说，就你了解的公司来说，面对一件没有参考范本的事情，公司会创造什么样的氛围，鼓励什么样的工作方式，来推动事情更有效率地进展？
Barkley
我觉得更多是在这类问题上大胆尝试。有点像一个很直白的道理：大力出奇迹。反正没有标准答案，那就先去试。
比如评测没有统一标准，第三方评测人员也没有经过相关训练，不知道一个视频的美感应该怎么评估。那我们就制定不同的样例和标准：如果视频包含这些元素，我们可能认为它更有美感；如果包含那些元素，美感可能更低。
然后我们大规模尝试不同标准，交给标注人员，观察哪些最终更符合我们自己的预期，以及 community 的预期。
之后，我们还会进行很多 cross-reference。最开始和 creator community 交流时，他们会告诉我们，评测结果出来以后，看这些 sample 的感觉是什么样。我们再根据他们的 feedback，不断调整评测标准。
我觉得很多时候就是大胆尝试、trial and error 的过程。
Ronghui
听起来，就像要造一列火车，现在连火车站都没有，要从火车站开始造。
Barkley
可以理解为先画一匹马。不管画出来是什么样，只要它能跑就可以。至于它是不是最科学的身体构造，在我们这个阶段可能并不重要。
那类比其他 peers，他们也都在做类似的事情，也需要建立类似的流程，对吗？
Barkley
我感觉大家都在摸着石头过河。总体来说，这也是新领域和创业公司的特点。
这甚至会反馈到招人标准上。我们招人的时候经常会说，这是一个从来没有解决过的问题，你要怎么做？我们的 CEO 也经常问 candidate 这样的问题。
Koji
那这个问题的优秀答案应该是什么？
Barkley
哈哈，那要看具体是什么事情，再看大家的思路。
9. Video Becomes A New Medium
Ronghui
前面聊了很多行业和技术突破，接下来聊一聊产品，轻松一点。第 12 个问题，想问一下 Barkley，你也是产品经理，应该很关注各种应用。在过去几个月里，有没有哪个视频应用让你觉得眼前一亮、印象深刻？
Barkley
我想想。我觉得不一定是某一个具体的应用或产品，但可以说一些我看到的比较 impressive 的 use case。
一个是我们去年刚发布 Luma 第一代视频模型时，突然出现的一个 trend：大家会上传两个人的照片，尝试让这两个人拥抱，看看会生成什么结果。
这个 project 最开始只是同时上传两个人的照片，后来逐渐演化成把过世亲人的照片和自己的照片一起上传。比如一个爷爷和孙女的照片，他们左右排列，然后在图生视频里输入一个 prompt：“Let them hug.”
之后就会出现一张老照片和一张现代照片，两个人完美融合、拥抱在一起的场景。我当时觉得特别感动，也觉得这是一个很人性化的应用，好像能够重新和失去的亲人建立连接。
除此之外，还有一些比较有意思的视频应用。去年年底有一个 trend 叫 Apple Dog：一只狗叼着一个苹果，苹果突然消失，之后出现各种各样有意思的变身场景。我觉得这个也挺好玩。
Koji
第 13 个问题，我们来预测一下。2025 年视频模型应该还会不断革新。你认为这些革新和突破，有可能解锁哪些新的创业机会，或者新的应用场景？
Barkley
我觉得 2025 年，视频模型可能会做到很好地保持角色，至少是人物的一致性。
如果以前想生成一个连续故事，我可能要花很多精力让模型学会保持同一个角色，或者不断抽卡，让模型稳定生成和同一个角色相关的视频场景。
根据我目前看到的 research 突破，我觉得 character consistency 的问题在 2025 年会得到极大提升。这样一来，就可以真正比较简单地拍摄有连续上下剧情的影视内容，也可以把文字小说里的场景改编成视频。
比如很多二创内容，有可能成为一种新的视频形式，在网络上传播。
另一个我比较感兴趣的方向，是实时视频生成。当然，这不一定能在 2025 年完全实现，但如果能够把视频生成延时降得很低，就有可能在观看内容的同时，实时修改视频。
比如我不喜欢《哈利·波特》的某个结局，想看到一个不一样的可能场景。那么我在观看时，可以直接和视频模型对话，说我希望看到什么样的结局，或者在某个场景里，希望看到另一种可能发生的事情。
模型能够立即做出反应，生成一个不同的结局。实时视频生成可能带来的应用场景，我更期待它成为一种新的内容消费形式。
生产者和消费者的边界可能会变得模糊，所有人都可以编辑视频，所有视频内容也都可以根据用户需求进行定制。这可能诞生一些新的应用场景，甚至是新的娱乐形态。
当然，这些都依赖 research 的进展，所以也不知道能不能在 2025 年实现。
Ronghui
有没有哪种是短期内你觉得肯定会实现、马上就会发生的？
Barkley
我觉得 character consistency 短期内应该会实现。包括我们在内，很多 AI 公司都已经在模型层取得了一些很好的效果。
Koji
说到八卦，每家公司最喜欢聊八卦的时候，应该就是大家一起吃午饭的时候。你们最近吃午饭时，和同事们都在聊什么？聊到哪些业内新闻和动态？有没有什么印象深刻的，可以拿来和大家分享？
Barkley
我们会聊其他公司的八卦。我们一直在全球招募 AI 人才，有时也会听到他们过去在其他公司的经历。
作为一家创业公司，我们会八卦大厂的管理，以及它们的 AI 研究到底是什么样的。因为我们觉得很多大厂的研究处在一个非常纠结的状态：受到不同层级管理的影响，不一定由 researcher 做最终决策，但 researcher 又需要保持一定的自主性和独立性。
所以有时大厂内部可能会出现政治斗争，我们会把这些事情当作八卦，在餐桌上聊天。
我们也会讨论，为什么在这些大厂里，很多 researcher 不一定觉得自己能做出最好的成绩。这也是一些从 Google DeepMind、Meta 过来的 researcher 给我们的反馈。
很多时候，当一个不是 researcher 的管理者需要权衡，是应该做前沿 AI research，还是保证团队持续产出，大部分管理者都会选择后者，因为后者更稳妥。
这种 incentive structure 的设计，本质上是因为 AI research 的不确定性太高。但在大厂的评价体系下，如果做不出成绩，就很可能没有晋升空间，也没有机会让团队继续存在。
所以有时这些问题会阻碍创新。我们最近午餐时经常聊这个问题，觉得挺有意思。
Ronghui
你们公司对 DeepSeek 有什么讨论吗？你作为一个中国人，可能也会成为其他非中国同事询问的对象。
Barkley
对。我记得 DeepSeek 出来之后，我们 CEO 问过一个问题：“中国的创新和经济环境到底是什么样的？”
因为他听到的信息很矛盾。一方面，中国大部分公司好像不做大模型基础研究，而是 focus 在应用层；但另一方面，又出现了 DeepSeek 这样厉害的公司。
作为在这里工作的 PM，我和国内一直有很多交流，所以会感觉 DeepSeek 出来以后，整个硅谷确实有一点 shock。一个中国公司能够在纯底层模型技术上取得这样的突破，拥有很好的效果，而且最终在应用层的增长速度也特别快，这是过去可能没有哪个中国公司在全球市场达到过的程度。
所以我们也会更加 focus on 中国人才的招募。DeepSeek 这样的公司，很多都是中国本土人才。我们会想，如何吸引这些人才加入我们，一起创造新的 AGI 可能性。
另一方面，我感受到的中国氛围，更多像是给中国 AI 领域打了一针强心剂：如果你坚持长期主义，足够相信自己的愿景，最终就有可能实现。
我觉得硅谷这边也能感受到很多这样的氛围。对我们来说，这也是一种 reaffirmation：继续追求视频领域的 AGI，继续 scale up 模型，继续做基础研究。
Koji
你刚刚说到，你们把追求 AGI 作为公司的目标。Runway 的 CEO 之前有一篇比较有名的文章，或者说一次讲话，他说不再用 AI 公司来看待自己。整篇内容强调的是，技术要找到好的应用，似乎和你们是两个不同的发展方向。
之前我们聊天时还提到过，两位 CEO 曾经在 Twitter 上交锋。
Barkley
对。Runway 的 CEO Cristóbal Valenzuela 在 Twitter 账号置顶了一段很长的话，大概意思是：Runway 不是一家 AI 公司，而是一家 media and entertainment 公司。
他还说，现在谁还把自己标榜为 AI 公司，这个时代已经结束了，应该尽快醒过来。AI 之后会变成像水电一样的基础设施，所以今天把自己叫作 AI 公司没有意义。AI 最终会成为所有人都会使用的基础能力，但公司还是要思考应用场景是什么。
他发了这段话以后，我们 CEO 在 Twitter 上转发并引用了一句，大意是：“只有误打误撞进入 AI、但不真正懂 AI 的人，才会这么说。”同时配了一段我们用 Ray 2 生成的青蛙吐舌头的视频。
但我觉得两边都没有严格意义上的对错，更像是一枚硬币的正反面，也可能是时间阶段不同。
从我们 CEO 和公司的角度来看，我们更相信 AI 在目前这个阶段还不会成为像水电一样的基础设施。AI 前沿研究会带来新的范式、新的应用场景和新的突破。我们持续观察到，任何模型的提升，都可能大幅拓宽应用场景。
所以我们仍然坚信要继续 focus 在底层模型研究上，应用场景会自然出现。但这并不是说我们不关注应用场景，也不去听用户真正想要什么。
相对来说，Runway 可能会更多关注 media and entertainment 行业，尤其是和很多电影 studio 合作。他们可能会大量听取 studio 的反馈，了解 studio 想要什么样的应用场景，再去做相应的模型提升。
这可能只是路径选择。在目前这个阶段，还不一定能看出绝对的对错，只是不同公司的策略和选择不同，所以观点也不一样。
Ronghui
我很有感触的一点是，《十字路口》经常说的一句话：“Everything in the Bay Area happens on Twitter。”所有公司的 CEO 都会直接在 Twitter 上面对面争论，而且非常有个性。这也是我在硅谷吃瓜时觉得很有意思的一点。
10. AI Rewrites The Product Manager Role
Koji
之前《十字路口》有一期很受欢迎的内容，叫 AI 时代的产品经理指南。那一期我们聊了很多问题，比如产品经理要怎么重新定义自己，如何学习新的技能，才能在 AI 产品里发挥足够大的价值。
所以从你自己的切身经历来看，这是第 16 个问题：你认为 PM 这个岗位在 AI 公司有哪些变化？你又是怎么从之前在 TikTok 做 AI 特效的产品经理，转到 Luma AI 做模型层产品经理的？中间有哪些故事和心得可以分享？
Barkley
我这两年有一个很大的心态变化。这可能也和模型层 startup 与字节这样产品驱动的大厂之间的不同有关。
我在字节时感觉产品经理很有主导权，基本上会定义特效应该怎么做，甚至会直接参与 research 讨论，向 research 提需求，说我们需要什么。Researcher 会告诉我这个东西能不能实现，然后我们按照预期时间线把特效推上线。
尽管它可能和 AI 相关，也有一定不确定性的研究周期，但整体还是比较明确的。
我在 Luma 做模型层 PM 时发现，作为 research lab，我们更多是 researcher 主导。他们确定 research 的主要方向，而我更多是在提供辅助。
最开始我会有心态上的落差：我不是那个能够 command 一切、主导一切的人。但我逐渐意识到，这可能是对 research 更健康的模式，因为 research 本身有很大的不确定性。
现在 AI 时代和互联网时代不同。过去产品经理可以定义需求、明确 feature 的目标用户和数据指标，因为这个 feature 肯定能做出来，工程师能够完成这件事。
但现在一切都处于混沌状态。Research 里 10 个想法可能有 9 个失败，最终只有 1 个成功。在这种情况下，产品经理更多是帮助 researcher 定义最开始要尝试的 10 个想法，但不会明确要求这些想法最后都必须做成 feature 并上线，因为那非常不切实际。
我负责数据和模型评测时，实际上是在连接 researcher、终端消费者以及 creator 群体。模型评测的结果最终会反馈给 researcher：模型在哪些方面存在不足，我们应该如何通过数据采集和数据标注，补齐模型在这些方面的能力。
但具体怎么做、往哪个方向做，最终还是由 researcher 拍板。因为我确实没有能力主导定义模型应该往哪个方向迭代，但我会尽可能提供来自用户的一手信息，帮助他们做出更好的决策。
Ronghui
第一个问题是，Barkley 你比较年轻。你有没有观察过更 senior、level 更高的 PM，他们的工作是什么？
第二个问题是，你刚才提到的这些工作特征，会不会因为你所在的公司 research 重要性很高，所以有一些特殊性？你有没有和其他公司的 PM 交流过，他们的工作更偏向哪个方向？
Barkley
对于第一个问题，我们公司只有我一个 PM，所以我没有太多直接感受。但我的理解是，即使是更 senior 的 PM，也需要重新适应整个系统。
毕竟 AI 落地到产品上，基本是从 ChatGPT 开始的事情。这个行业发展到现在也不过两年半，所以所有 PM 都要重新了解，如何在 AI 之上构建应用场景，或者帮助模型更好迭代、做更深入的研究。
对于第二个问题，我更多会和模型层的 PM 交流。确实感觉在 Sora、Veo 以及其他模型公司的同行，和我做的是很类似的工作，都会 focus 在 data、eval 这些对模型很核心、同时又需要用户 insight 和理解的任务上。
但模型层公司的 PM 和应用层公司的 PM，还是有很大差别。
比如应用层公司的 PM，可能更多探索模型能够怎样被使用，不管使用哪家的模型，都要找到最好的应用场景，思考如何通过 feature 和交互，让大家更简单地接受模型能力。
应用层公司会根据不同场景，寻找模型最适合的应用场景、交互和使用方式。所以我觉得，模型层 PM 和应用层 PM 还是存在很大的差异。
Koji
你们公司，或者你观察到的其他公司，在招 PM 时有哪些特别的要求？和以前相比有什么不一样？
Barkley
我只能基于我们现在招聘的 PM 岗位，以及模型层公司的要求来讲。
我们更希望 PM 有模型层、AI 数据或模型评测相关经验，这在目前还是一个比较小的群体。即使没有相关经验，我们也希望他能快速上手，去 figure out 一件之前从来没有被定义成标准的事情。
特别是在 startup 里，没有人能够 mentor 你，大家都 expect 你能够 fill 这个职位，一上来就能做事。
所以在没有客观标准时，能否快速建立一套评测标准，可能是我们招聘 PM 时和过去不同的地方。我们不太 care 过去具体做过什么，除非经验特别相关；但会特别 care 能不能快速上手完成一件事情。
Ronghui
我们之前和李乐天老师聊过，他说 PM 在现在这个时代前所未有地重要。
我自己对硅谷 PM 的很多了解，来自 Lenny's Newsletter。因为 Lenny 以前就是 PM，所以会非常专注从 PM 角度聊很多内容。
但我比较好奇，以前硅谷是不是也有很多特别强调 PM 的社区和内容？为什么我感觉硅谷反而没有国内那么强调 PM，也没有那么强调 PM 社区？
Barkley
我觉得 PM 更多是移动互联网出现之后的产物，而移动互联网在中国的发展比美国更加蓬勃。
在美国，很多公司一直比较 engineer-driven，现在逐渐变成 research-driven，相对较少出现完全 PM-driven 的公司。
比如字节、TikTok 的管理方式，在硅谷都算比较特别的公司。但 PM 的重要性，其实也很难定义，尤其现在 AI 变化这么快。
我觉得最好的 PM，应该能够快速发现事情的本质，然后找到解决问题的方法。这样的人，不管做 PM、operations、sales，还是其他 role，都可能有很好的发展。
第 18 个问题。你自己处在一个快速发展的行业里，做了哪些事情来保持学习，更好了解行业的新动态？
Barkley
我更多会和公司的 researcher 聊天。他们有时会推荐一些觉得有意思的 paper，我就去读。
另外，在这个行业里还要多试各种产品。作为模型评测人员，我会高频使用其他视频模型的产品，也会使用我们自己的产品。
除此之外，在 agent、LLM 等方向，只要看到新的产品，我也会尝试使用。比如最近我比较多地尝试用 Windsurf，写一些自己感兴趣、能够帮助工作提高效率的小程序。
我觉得要在体验产品的同时，理解它背后的模型、支撑模型的原理，以及模型的边界在哪里。这可能是对我这个模型层 PM 很有用的两种学习方式。
Koji
第 19 个问题，你有没有观察到身边的人做了哪些有效的学习？
刚才你提到，大家的角色都有一点混杂，好像被这个时代逼着什么都要学。你身边的同事或者朋友，是不是也处于类似的状态？除了经常和 researcher 聊天、读他们推荐的 paper，你有没有看到其他比较有效、有价值的方法？
Barkley
我以前有一个一起在 TikTok 做 PM 的朋友。我觉得他梳理 AI 信息的方式非常好。
他会用 tldraw，也就是一个线上画图软件，把自己体验过的产品、看过的 paper 放到一起，然后尝试寻找它们之间的关联，构建一个比较大的思维 map。
很多时候，这也是我和公司 researcher 聊天时的感受：他们做 research 的过程，其实就是在不同方法、不同模型之间寻找关联。
比如我们的 researcher 有时会看语言模型的 paper，觉得语言模型里的某种方法可能对视频模型有启发，然后尝试应用到视频模型里，观察它是否 work。
所以我很佩服我那位朋友的方式。他能够在 paper 和产品之间建立连接，在不同领域里寻找相似的不变主题，然后由此得到启发：这里能不能产生新的产品，或者新的应用场景。
我觉得这是一个很好的方式，也就是触类旁通。
Ronghui
对。我会觉得 AI 的出现，特别是 Transformer 这个架构，让我有一种感觉：世界上所有东西其实都存在关联，只是人类用大脑排列组合、处理这些事情，效率太低。
如果有 AI，它能够发现所有事物之间的关联，就可能涌现出更强大的智能。
第 20 个问题，Barkley，你在硅谷做产品经理。作为一个在硅谷的中国人，你觉得 AI 时代有没有带来不一样的，或者更好的——当然也可能更差的——新的职业机会？你会建议大家怎样抓住这样的机会？
Barkley
首先，对于在中国的团队，以及在美国的中国创始人团队来说，很多人都有一些独特优势。比如对中美两个国家的理解，以及对两边科技市场的理解。
在 consumer 端，我觉得美国很少有特别理解消费者心理的产品经理。过去真正能在美国火起来的 C 端产品，可能是 Snapchat，之后就是 TikTok。而 TikTok 是源自中国团队的产品。
所以，无论是对消费端的理解，还是对 AI 硬件的理解，中国创业者和相关领域的人才都有很多独特优势。
很多国内出海产品也在美国取得了成功，我觉得这也是因为我们理解中美两边的市场，能够把握 C 端生态。这一块未来会有很多机会，应用层可能会诞生出更多中国创始人的团队。
另一方面，中国在模型层的研究能力也很强。钻研和吃苦耐劳的品质，我觉得是中华民族的传统美德。在硅谷也能看到很多优秀 AI 公司的核心 researcher 是华人。
可能大家只是求学背景不同，有人在中国读 PhD，有人在美国读 PhD。但对中国人的机会一直都会存在，当然也会受到地缘政治的影响。
我还是相信，AI 的发展最终应该是全球更加流通的，在合作和竞争之间，大家彼此改进。我们也会从中国的模型和产品里学到很多，然后思考自己可以做出什么改进。
对，然后我最后也想插播一个小广告：我们 Luma AI 现在也在招募全球的视觉人才，加入我们一起做视觉的理解和视觉的生成，尝试通过视觉这个领域来实现视觉模型和 AGI 的 vision。所以我们也特别希望能够招募更多的中国人才，可以一开始以 remote 方式，也可以帮忙协助解决美国的工作签证，之后加入线下的湾区 office。如果感兴趣，可以来联系我，或者到我们的招聘官网投递简历。
Koji
谢谢 Barkley。如果想联系 Barkley 的朋友，可以到我们播客的评论区，我们会在发布之后请 Barkley 留一个联系方式。今天我们就先聊到这里，谢谢你。
Barkley
希望有机会再来《十字路口》。
好的，谢谢你。
Barkley
谢谢你们，拜拜。
Ronghui
拜拜。
如果你认为有朋友也会喜欢本期《十字路口》的内容，请转发微信推荐给他们。最后，欢迎你加入《十字路口》的会员群，我们鼓励大家在群里聊天互动、交朋友，寻找未来的同路人。