[BidClub_]
硅谷坐标 Silicon Valley Vector · · 17 min

硅谷坐标 x Ion Stoica教授(Databricks、Anyscale、LMArena 联合创始人)|开源vs闭源、基础设施创业的机会

曹卿云 Qingyun CaoIon Stoica

AI & SoftwareCompany BuildingTechnical
YouTube ↗
TL;DR
  • AI 基础设施初创公司的机会在于锁定新兴工作负载的核心问题并做到极致。 Ion Stoica 认为硬件、应用与效率优化日益耦合,但初创公司仍可从后训练、多模态数据、机器人,以及跨云训练与数据搬运切入:“解决这些问题,并在这些方面做到卓越。”
  • 后训练可能继续扩张,因为它能把现有模型针对特定任务显著增强。 大量具竞争力的开放模型——其中不少来自中国——提供了现成底座;经过后训练,它们在部分任务上甚至可能超过最好的专有模型。
  • 算力稀缺正在把多云可移植性和数据传输变成基础设施机会。 即使大公司也可能需要拼接多家云厂商的 GPU 与自建数据中心;训练数据达到“数万亿甚至更多”时,SkyPilot 式的跨位置调度与数据传输都很重要。
  • 闭源实验室目前最明确的竞争因素是资本,而非已经被证明的其他技术因素。 尚无公司证明自己能凭资本之外的某种因素构建这类模型;资本之外还需要收入。模型排名几个月就轮换一次:去年年底可能是 Gemini,随后又是 Claude,Ion 据此判断“还没有一个实验室完全占据主导地位”。
  • 开源模型不必全面追平 Frontier Lock 模型,只需跨过具体任务的可用阈值。 Ion 用汽车作比:如果只需要一辆车在圣克拉拉和旧金山之间以每小时 100 英里的速度安全行驶,能开到 300 英里并不重要,除非任务本身是比赛;因此更多任务会被“足够好,甚至绰绰有余”的开源模型覆盖。
  • 模型的“品味”确实影响使用体验,但更像 UX 与沟通质量,而非稳定的实验室护城河。 同一概念,有人 10—15 分钟就能讲懂,另一人讲 3 小时仍令人困惑;可如果实验室的差异真由少数高品味人才决定,模型排名便不应“每两个月左右”重排。
  • Arena 的愿景是用来自真实任务的人类偏好帮助构建更好的 AI,而不是只依赖静态榜单。 Ion 的目标是让 AI 更准确、可靠、可预测且具成本效益;静态 benchmark 仍重要,但“只要我们为人类构建系统,最终的衡量标准就是人类本身”。
Digest · the substance, structured for research

1. AI 基础设施正在成为一个整体系统问题

  • Ion Stoica 的第一层判断是,硬件与应用的创新都在加速,而昂贵的 AI workload 又迫使每一层追求极致效率。组件因此“紧密耦合,高度集成”,越来越需要作为一个庞大系统共同开发。

  • 在这种复杂性下,初创公司的机会仍在于“识别一些核心问题,解决这些问题,并在这方面取得卓越成就”,尤其要集中精力处理新兴问题和新兴工作负载。

  • 面对 AI 入侵各种系统、网络安全乃至人类风险,他主张先“冷静下来”:AI 是复杂且可能出现意外行为的工具,正如互联网和大型分布式系统。应从攻击中学习、提高安全性并引导系统,但也别忘了这些工具最终应提高生产力、改善生活。

2. 后训练、机器人和数据移动构成近期创业楔子

  • Ion 最看好的新兴工作负载之一是后训练。它能有效提升既有模型在特定任务上的能力,而开放且具竞争力的模型供给,为这类工作提供了现成基础。

  • 中国开放模型尤其扩大了这一空间:公司可以在其上做后训练,并可能在特定任务上超过最好的专有模型。

  • 多模态数据是第二个瓶颈。随着模型同时处理视频、图像、文本、声音与音频,如何更好地处理这些数据会成为更大的基础设施挑战。

  • 机器人把模型、数据与开放堆栈三个问题连在一起。行业尚早,许多公司仍在构建模型;Ion 认为,一个适合机器人应用、无需构建数万亿参数模型的开放堆栈,“非常重要,也是一个机会”。

3. 开源无需赢下总榜,只需跨过任务阈值

  • 曹卿云追问 Frontier Lock 模型与开源模型的长期差距。Ion 的回答带着明确立场,但也有现实依据:“我坚信开源精神”;只要竞争者拥有足够资本,即使资本更少,也可能造出有竞争力的模型。

  • 模型排名的快速轮换削弱了永久技术壁垒的说法。Ion 提到去年年底 Gemini 一度可能最好,几个月后又明显轮到 Claude;在编码方面,某些模型可能稍微领先,Oppus 5.5 也很好;尚无实验室长期统治。

  • 更重要的并非开源能否在所有维度追平,而是任务是否存在能力阈值。Ion 的汽车类比最直接:“如果你需要一辆车以每小时 100 英里的速度安全行驶”,能开到 300 英里并不重要,除非任务本身是比赛。

  • 曹卿云转述 Versel 的观察,并明确说自己“不记得确切的数字”:几个月前专有模型占比约 70%,近期开源模型占比也约 70%。这被用来说明模型选择格局正在变化。

4. 品味决定体验,却还不是持久护城河

  • Ion 接受“品味”对模型使用体验的重要性,但把它具体化为沟通与 UX:模型如何组织答案、何时要求澄清任务,会决定用户能否利用更多能力。“只要你为人类构建系统,就需要考虑人类的需求。”

  • 曹卿云进一步提出,各实验室的差异或许来自更有品味的人才。Ion 的回应是:若真如此,排名不应每两个月变化;目前多个实验室能力相近,资本还能吸引人才,而人才本身也在实验室之间流动。

5. 开放贡献与真实人类评估决定模型迭代速度

  • Ion 认为,开源运作良好时的结构性优势,是让创新扩散到实验室边界之外。他以 Linux 为参照,希望 AI 不只开放模型,还尽可能开放数据、软件、训练所用的全部软件与评估,让“世界各地的人都可以参与贡献”。

  • Arena 的愿景是帮助人们构建“更准确、更可靠、更可预测,当然也更具成本效益”的 AI。要回答某项任务最适合哪个模型,评估不是附属功能,而是必要的选择机制。

  • Ion 认可静态 benchmark 的价值,却不把它当最终尺度。最好的评估方法是让真实用户运行真实任务、解决自己的问题,再以显式或隐式偏好评价模型或 agent:“最终的衡量标准就是人类本身。”

Full transcript
Ion Stoica

纵观开源发展趋势,开源将越来越受欢迎,并将缩小差距。但另一方面,我认为缩小差距并非必要。对于人工智能初创公司而言,机会在于不断尝试识别一些核心问题,解决这些问题,并在这方面取得卓越成就。但后训练技术将继续发展,因为它能够有效提升现有人工智能模型的能力,尤其是在特定任务方面。

曹卿云 Qingyun Cao

Yan,很高兴有你。

Ion Stoica

谢谢,非常高兴来到这里。嗯,我觉得我今天想传达的信息有几点。

我认为,第一点是基础设施变得越来越复杂,原因有很多:硬件变得越来越复杂,应用程序也变得越来越复杂。硬件和应用层面的创新速度都显著提升,这是因为人们追求极致效率,而运行人工智能工作负载的成本非常高昂。所有环节都紧密耦合、高度集成,因此需要将所有组件作为一个庞大的系统进行开发。我认为这是首要原因。

其次,关于人工智能入侵各种系统以及网络安全的讨论很多。我认为还有一个问题:人工智能对我们整个社会,尤其是对人类,究竟有多危险?我的观点是,我们应该冷静下来,提醒自己,归根结底,人工智能是一个系统、一种工具。没错,它非常复杂,行为方式可能出乎我们的意料。

这并非我们第一次遇到复杂的系统。比如互联网和大型分布式系统,它们的行为方式也可能出乎意料。我们应该真正专注于理解人工智能,尽可能从所有这些攻击中吸取教训,并利用这些知识来提高安全性,从而引导系统实现我们想要的目标。

但我们永远不应该忘记,归根结底,这些工具的存在是为了提高我们的生产力,总体上改善我们的生活。

曹卿云 Qingyun Cao

是的。关于你的第一点,我们已经看到很多垂直整合的公司在优化人工智能堆栈的每一层。你认为人工智能基础设施初创公司有哪些发展机遇?

Ion Stoica

我觉得,基础设施创业公司的机会在于,它们总是在尝试找出一些核心问题,解决这些问题,并在这些方面做到卓越。你需要集中精力。当你专注于新兴问题时,你会有更大的机会,对吧?很多公司都在做这些事情,比如新兴问题和新兴工作负载。

我认为很明显,其中之一是后训练。在过去一年左右的时间里,我们看到很多公司都进入了这个领域,但后训练将会继续增长,因为它能非常有效地提高现有人工智能模型的能力,尤其是在特定任务上表现优异。

而且,这也得益于目前有很多开放的、极具竞争力的开源模型,其中很多来自中国。你可以用它们进行后训练,从而显著提高模型的能力,并在某些任务上超越最好的专有模型。

我认为另一个领域将是数据,特别是多模态数据。现在会有越来越多的多模态模型和应用,我认为,如何更好地处理这类数据——视频、图像、文本、声音和音频——将是一个更大的挑战。

第三个领域在某种程度上连接了前两个领域,那就是机器人。机器人领域目前还处于早期阶段,很多这样的公司仍然在构建自己的模型。所以,拥有一个开源的堆栈,或者一个在机器人应用领域运行良好的堆栈,非常重要。你不需要构建数万亿个参数的模型,这类模型更容易处理。我认为这也是一个非常重要的机会。

另一个相关的问题是数据。目前,仅仅是数据传输就面临着巨大的挑战。即使在进行训练时,由于GPU和AI芯片的稀缺性,即使你是一家大公司,也只能从不同的云提供商那里获得资源和GPU。或许你还打算自建数据中心。

所以,你需要正确地将这些资源组合在一起,使其易于使用,并能在不同的数据中心、不同的集群等环境中进行训练。这其中既包括训练方式,也包括如何提供更强的可移植性。

这有点像SkyPilot正在做的事情,以及如何在各种位置之间高效地传输数据,因为数据量非常庞大,训练数据量高达数万亿,甚至更多。

曹卿云 Qingyun Cao

我认为,这些是我们已经看到的一些发展方向。例如,AI实验室之间展开了激烈竞争,并且正在加快发布新模型的速度。您如何看待这些模型(例如 Frontier Lock 模型与开源模型)不断演变的格局?你认为它们最终会缩小差距吗?什么是防御模式?

Ion Stoica

首先,如你所知,我坚信开源精神。我做的很多东西都是开源的,所以我的观点会受到开源的影响。

回答你的问题,我认为,更重要的因素是资本。正如你所看到的,如果其他人能够匹配他们的资本,或者即使资本更少,但只要有足够的资本,他们就可以创造出有竞争力的模型。

这就是为什么直到今天,你仍然没有看到一个实验室完全占据主导地位,对吧?它或许能主导几个月,但之后一切都会趋于平衡。

大家都忘了,去年年底,也就是几个月前,可以说最好的模型是Gemini,对吧?还记得吗?所以,从 Provator模型来看,你可以看到变化有多快。

到了2月份,几个月以来,很明显是Claude。然后是Fable,再然后是Astra。现在,在编码方面相当不错的模型可能稍微领先一些,Oppus 5.5也非常好。我说的是编码能力。

历史表明,到目前为止,还没有哪家公司证明自己能够仅凭资本之外的某种因素构建出这样的模型。这一点非常重要:你需要资本,然后还需要收入,对吧?所以,这是一个规模巨大的模型,但就技术而言,即使看看中国的模型,也能说明这一点。

去年2月份的时候,情况还很糟糕。大家都在谈论这件事,它让每个人都感到惊讶。但现在,你已经有了GLM 5.3 Kim 3,可以说它们在某些任务上比Deepsea Listing更好。

这让我想到,实验室至少还没有积累起这种技术模式,或者类似的东西;至少还没有形成可见的模式。因此,开源仍然有机会。

我希望也有人会说,看看目前的趋势,开源将会越来越受欢迎,它会缩小差距。但另一方面,缩小差距并不是必须的,因为一旦每个任务都有一个阈值,模型只要足够好,就能解决那个任务,那么即使模型在这个任务上的能力比现有模型强10倍,也无关紧要。

你知道,这就像一辆车。如果你需要一辆车以每小时100英里的速度安全行驶,这就是你需要的。一辆车能以每小时300英里的速度行驶,并不重要。如果你的任务不是比赛,而是在圣克拉拉和旧金山之间开车,那么我认为,正因为如此,你会有更多模型,以及更多开源模型,对于越来越多的任务来说已经足够好,甚至绰绰有余了。

曹卿云 Qingyun Cao

1. 前沿实验室的护城河与开源模型

我认为,有些人,比如Versel这样的公司,在过去几个月里也表达了类似的观点。他们从路由器和人工智能(AI)领域观察到了这种转变。我不记得确切的数字了,但几个月前,专有模型占比70%,而现在开源模型占比也达到了70%。

史蒂夫·乔布斯对此有很多看法,最终这一切都取决于个人喜好。你认为喜好也是一种模式吗?

Ion Stoica

我绝对认为。测试是人之常情。

例如,我经常举这样的例子:假设有两个人试图向你提供相同的信息,解释同一个复杂的概念。也许你会遇到一个人,他的解释你在10到15分钟内就能理解;而另一个人对同一件事的解释,你却无法理解,即使苦苦钻研3个小时也无济于事。

想想看,人们在使用设备时关注的是用户体验,对吧?用户体验仍然非常重要。同样的设备,如果用户体验更好,使用起来就容易得多,你也可以使用它的更多功能。

从这个意义上讲,模型传达答案的方式也差不多,对吧?它们还可能要求我们澄清交给它们的任务,这非常重要,就像人与人之间的沟通一样。人与人之间的大多数问题,都是由于沟通不畅造成的。

所以对我来说,这有点像是人性的一部分。只要你为人类构建系统,就需要考虑人类的需求,了解人类的处境。在某种程度上,这也可以看作是我们所说的品味。

曹卿云 Qingyun Cao

是的。我们也可以说,这些不同人工智能实验室的优势或模式,在于它们拥有品味更高的优秀人才。但如果真是那样,就不会有那么多模型每两个月左右就改变一次排名了,对吧?

Ion Stoica

这就好比以前。谷歌时代,谷歌占据主导地位;微软时代,微软开始占据主导地位。所以你看,事情并没有那样发展。

看起来你们有好几个实验室,它们的能力——我假设是人员配置——都差不多,对吧?当然,我不认为这完全是因为人们才华横溢等等。但我认为资金的作用更大,尤其是在拥有资金的情况下,你可以吸引人才。看看人们是如何在这些实验室之间流动的,对吧?

所以我认为开源非常重要,因为开源能够确保创新扩散,让每个人都能做出贡献。而现在的问题在于,每个实验室只有内部人员才能做出贡献。

这就是为什么开源运作良好时,它的优势就在于此:世界各地的人都可以参与贡献。就像我举过的Linux的例子,Linux就是这样构建起来的,就像美国发生的那样。

2. AI 能取代品味吗

所以,我认为这就是未来发展的方向。我希望我们能拥有更多开放的AI,就像中国已经有很多开放的AI模型一样,但开放的方式远不止于此。

尽可能开放数据,开放软件,开放所有用于训练的软件,开放评估,这样每个人都可以贡献力量,每个人都会受益。

曹卿云 Qingyun Cao

随着越来越多的模型发布,越来越难以判断模型的质量,基准评估和可靠性变得更加重要。这可能就是你一直以来关注的重点。那么,你对Arena的愿景是什么?

Ion Stoica

我认为,Arena的最终目标是帮助人们构建更好的AI。更好的AI指的是更准确、更可靠、更可预测,当然也更具成本效益。

从根本上来说,要实现这一点,你需要评估。还有什么其他方法可以做到这一点?如何才能知道对于我的任务来说,哪个模型是最好的?如果没有评估,又怎么知道呢?

人们普遍认为,最好的评估方法是让真实的人运行真实的任务,尝试解决他们自己的问题,然后表达他们对模型或代理在解决任务时表现如何的隐式或显式偏好。

所以,这是真实的评估,而不是人为设定的基准。我并不是说人为设定的基准不重要。我们的静态基准测试非常重要,这一点毋庸置疑。

但我们相信,即使没有最终的衡量标准,只要我们为人类构建系统,最终的衡量标准就是人类本身。

曹卿云 Qingyun Cao

是的,我觉得今天的对话非常有帮助。非常感谢。

Ion Stoica

谢谢。