硅谷坐标 x Fireworks 联创Benny Chen：开源模型、token增速、推理优化和模型定制

把一个 vertical-specific agent 做好，跟解决黎曼猜想可能是完全两种不同的工作。但是，Frontier Lab 可能现在更在意的是能不能解决黎曼猜想。我们看到越来越多 vertical-specific agent，他们的 eval 做得越来越细，洗数据的流程也越来越细。这类工作对于开源模型的 customization 来说，确实还是很有意义的。

长期来说，蒸馏并不是一个特别可靠的路径。它可能短期内确实可以帮助大家达到一个比较好的水平。有没有哪个方向，现在的 token 消耗量没有那么多，但实际上你们看到 token 的增长非常快？

Co-work 肯定是一个大的方向。我觉得大家现在绝大部分时间都花在照顾理科生上面，这其实是一个非常反直觉的东西。反而现在我们看到很多例子，都是照顾文科生的需求会越来越大，比如各种 slide、Word，以及最近 video generation 这种东西也都起来了。

很多 engineer 还担心自己会失业，但我觉得能做 eval 的人真的少之又少。大家如果有兴趣的话，可以多转一下怎么做 eval，教你的老板到底能不能采购开源模型或闭源模型。你可能把 eval 写好，把开源切到闭源，就能把你工资的三五倍都省出来了。

今天我们想先跟你聊一下你对整个大局势的判断，再跟你聊一聊 Fireworks 的两门生意：一个是推理优化，一个是定制模型。同时，也想跟你聊一聊 Fireworks 的核心竞争力。

1. Open Source Catches Up

首先我们先看整个最大的核心问题：开源模型 versus 闭源模型。过去一年里最重要的产业变量，就是开源模型在以非常快的速度逼近闭源模型的能力，而且价格只有闭源模型的几十分之一。展望未来，你觉得开源模型和闭源模型之间的版图和格局会是什么样的？

我们团队很多人都是做开源软件出身的，绝大部分人是 PyTorch 以及使用 PyTorch 的人，当时在 Meta，后来出来创业。我们非常相信，在非常有价值的软件这一层，开源最终都会 catch up。

不管是之前的 operating system，最后开源也 catch up 了，还是各种各样的 database，最后开源也 catch up 了。所以，开源能不能 catch up 这件事情，我们还是很相信的，开源会慢慢 catch up。

不过今年的发展确实比我想象的要快。首先，闭源模型的 ARR 涨得非常快；其次，开源模型在 capability 上 catch up 得也非常快。比如我们最近看到的 K three、D S P four Flash，还有最新的 Muse，对吧？Meta 也说要开源 Spark。开源这边竞争如此激烈，而且模型的性价比这么高，确实让我非常意外。我们 team 坚信这个东西 eventually 会 catch up，只是没有想到它 catch up 得这么快。

我们知道，一部分开源模型是通过蒸馏的方式来保持自己的领先优势。你觉得这种靠蒸馏保持领先优势的开源模型是可持续的吗？闭源模型有没有什么办法去避免这件事情？

首先，闭源模型的那几个 API 肯定都会修好。之前确实有各种各样的问题，很多时候是一个大的模型出来几个结果之后，你把它重新喂给一个小模型，然后那个小模型再做一些处理，就可以把它的 thinking token 弄出来。这确实是他们之前做得不够 secure 的一个地方，等于闭源模型本身的 security 做得有 gap。

但这个东西我觉得修起来都很快，没有理由说闭源模型厂商没有办法把它做好。所以，长期来说，蒸馏并不是一个特别可靠的路径。它可能短期内确实可以帮助大家达到一个比较好的水平，不过以我的了解，比如美国这边很多厂商，像 Meta，可能蒸馏得比较少；之前 Nemotron 也可能没有蒸馏很多。

所以，开源模型的 success 是不是 contingent on 蒸馏？我觉得不一定。只要开源相关的 eval 数量足够多、足够清晰，以及数据价格慢慢降下来，我觉得不一定需要蒸馏，很多人也能用到非常好的开源模型。

我觉得开源厂商确实有很多事情可以做，让它保持竞争优势；闭源厂商也有很多手段。不过我现在越来越觉得，开源厂商不一定需要永远做到比闭源模型更有优势。

我也是买苹果手机的人。你要问我之前用安卓的时候，我觉得 Google 那些手机比苹果手机好用多了，但是还是有各种各样的小问题。可能如果价格没有那么敏感，我最后还是会买苹果。最后，利润大头也可能还是被一直领先的那个人拿走，这跟开源能做得很大，可能完全不冲突。

Run rate 最后可能大头在开源，闭源模型可能永远能够 claim 一些优势；很多价格没有那么 sensitive 的人，就会选择闭源。所以，如果你问我它长期的优势在哪里，我觉得用户心智可能更重要。

比如说我作为一个企业端去采购的时候，我们以前开玩笑讲，no one gets fired for buying IBM。IBM 是不是一直能够维持这个优势，我不知道，但确实很长一段时间大家都偏向于保守，都想要买 IBM。这个变化可能不会那么快。如果大家相信继续采购 Claude 能买到更好的模型，或者采购 OpenAI 能买到更好的模型，那么这个变化可能会稍微慢一点。这可能是他们接下来两三年的优势，但五年、十年之后会怎么样，我确实看不清了。

所以你觉得，如果靠蒸馏来保持领先的这些开源模型，长期无法靠蒸馏来保持跟闭源模型的差距缩小，这件事情 eventually 会通过闭源模型厂商加强内部 security 来避免掉。

但是像 Meta，或者 Nemotron 这样非蒸馏的模型，你觉得它们能很快 catch up 吗？还是说这个 gap 还会保持？

我觉得 Meta 的 gap 相对来说已经没那么大了。它能继续 scale up，有足够的 talent，也有足够的 GPU，所以我觉得这个 gap 不会特别大。

Nemotron，甚至 Reflection 或者 Thinking Machines，也都有各种各样的东西可以 catch up。我觉得没有理由会一直有 gap。它可能不是永远都不会有 gap，但我觉得 gap 会越来越小。

就跟我前面开玩笑讲的一样，苹果手机跟安卓手机是不是有 gap？我觉得可能会有各种各样小的 gap，但你真给我一个安卓手机，我不能用吗？我觉得也可以用。这里面没有本质差别。

大家最后还是看效果。最后效果好不好，可能远大于这个东西价格的高低。效果好与坏，确实是 frontier model 做得比较好的地方，因为它模型毕竟大，而且做得比较早、比较细。所以很多事情，open source 需要花更多精力去做。

长期来看，OpenAI 和 Anthropic 这些闭源模型、SOTA 模型，它们 ARR 的增速未来会怎么样发展？

我觉得 ARR 肯定会继续涨。现在有一个东西我不是很确定，就是它这个 ARR 的 accounting，以及跟下游的分成到底怎么处理。

比如 Anthropic 可能很多 revenue 是百分之百都算进去了，但实际上可能有一部分是分给云厂商的。那么它分成的比例可能会越来越大，ARR 可能往上涨，但 GAAP revenue 不一定会一直涨。这个我就不清楚，到底它上市之后大家会怎么分析这个故事。

所以你的意思是，未来分成比例其实会提高，SOTA 模型厂商拿到的分成会更小，话语权也会更弱？

我觉得话语权会弱一点。我们很多时候看 ARR，但可能没有看具体的分成比例之类的。它们上市之后，大家对这个事情的 visibility 可能会好一点。

还有一个问题想问你。比如 Harvey 现在也是你们非常重要的一个标杆性客户。未来到底是 Harvey 这样的垂直类应用模型会跑出来，还是 SOTA 模型的法律模型会更好？你会站哪一边？

2. Vertical Agents Need Deep Work

我们当然站 vertical-specific 这一边。我们还是很相信，要把一个 vertical 做好，其实需要很大的精力。

我们自己是 infrastructure provider，大家经常开玩笑说，要不明年大家就一起完蛋，AGI 直接把我们的 code 都 vibe 出来。但这肯定是开玩笑。把一个 vertical 做好，可能需要大量的测试，要知道用户的需求，以及这些需求具体怎么表达在产品上面。这其实是非常大的一部分工作。

我们很多 customer 也都是 vertical-specific 的 agent。比如 Harvey，它是一个特别出名的 vertical-specific legal agent。它有各种各样的 vertical，而这些 vertical 都要通过 evaluation 来表达出来，也就是用来评判这项工作的好坏。这其实是非常非常大的工作量。

比如我们最近还有几个客户。一个是 Doximity，他们在我们平台上 train 了一个 medical agent，等于是在做 ChatGPT 的竞品。Doximity 是北美最大的、医生使用的 ChatGPT 类应用，它更偏向于 Deep Research，确保医生可以看到正确的 reference。这样医生在给病人下判断的时候，就不会出现 reference 有问题的情况。

另外，在北美以外，我们最大的合作客户叫 Heidi。Heidi 是北美以外最大的 medical scribe、medical search company。他们也在平台上做了很多 fine-tuning，来达到更好的效果。每个 vertical 的 evaluation criteria 确实都不太一样。

对于我们来说，我们当然希望 a thousand flowers bloom。我们希望各个行业的 vertical SaaS agent 都能成功，因为我们相信每个 vertical 都有很多特别细的工作。你想用一个特别大的通用模型把这些事情都做好，是很困难的一件事。

像我们合作的 coding、legal、medical 等领域，每个 vertical 都有各种各样特别细致的东西，这就是这些 SaaS company 的 alpha。我们认为，一个 fintech lab 要把所有这些东西都做了，成本应该会特别特别高，ROI 可能就特别低。

今年有这么多优秀的、质量很好的开源模型，你们看到的 token 增长量怎么样？

3. Open Source Tokens Surge

我们的量增长得还是挺好的。我们最近有公开消息，因为我们融资了。我记得公开的是每天四五十万亿个 token，这个数字应该比 Gemini 和 OpenAI 公开的数字都要大。

所以你可以认为，我们平台上面运行的 open source model 的量，已经超过 Gemini 和 OpenAI 的 B2B API 的量。对于开源模型来说，我觉得这还是非常好的一件事情。

在你们的 token 消耗中，排名靠前的几个主要应用是哪一些？

确实是 coding，然后是我前面讲的 medical，可能还有 co-work。很多工作，以我们的观察，都重新被 framed 成了 coding 问题。

如果你能找到某个行业的 vertical-specific SaaS application，这个工具可能是解决这个 vertical 的某些特定问题，那么这些工具会被转换成 RL 的靶子。模型会训练成熟悉地运用这些工具，来解决这个 vertical 的问题。

原先我们确实没有想到，PowerPoint 和 Excel 其实也是 coding 问题。因为只要能把使用 PowerPoint 和使用 Excel 转换成一个 coding 问题，所有现在已有的、解决 coding 问题的工具都可以立刻用上，也可以立刻 tune 一个比较好的 vertical-specific application。

所以我们看到，绝大部分问题都被重新定义成了 coding。如果不是 coding，可能就是 Deep Research。Deep Research 和 coding 可能是两个特别大的类别，其他各种各样的小类别都会尝试找到：我到底是 Deep Research，还是 coding，还是两者兼有？然后再尝试把它们的 vertical-specific SaaS agent 和 tuned model 编排到这个分类里面。

有没有哪个方向，现在 token 消耗量可能还没有那么多，但实际上你们看到 token 的增长非常快？

Co-work 肯定是一个大的方向。我觉得大家现在绝大部分时间都花在照顾理科生上面，这其实是一个非常反直觉的事情。反而现在我们看到很多例子，都是照顾文科生的需求会越来越大，比如各种 slide、Word，以及最近 video generation 这种东西也都起来了。

其实绝大部分工作最后可能还是偏服务于人。很多 coding，或者现在 OpenAI 很喜欢把数学榜单刷得很高，但这个东西我不是很确定它的意义在哪里。

后面服务文科生的 co-work，我们会做很多。我们自己也在做，像我前面讲的 Fireworks Nexus，希望可以把各个公司的 co-work 都服务好。

一年半以前，computer-use agent 刚出来的时候，我觉得当时惊为天人。当时有一个说法叫 unholing：这个模型以后再也不需要调用各种各样乱七八糟的 API 了，它可以直接用一台电脑，然后电脑里面什么活都干了，对吧？

但现在我觉得反过来了。一年半之后，computer use 相对来说可能是一个偏小的 vertical，绝大部分 vertical 反而都从文字那边走。所以你可以看到，绝大部分成功的中国开源模型——可以这么说，Muse 确实是一个 multimodal model——但中国开源模型能够做到很高的 ARR，很多其实是纯文本模型。

这是因为绝大部分工作反而回到了纯文本。文本模型便宜，大家为了 cut cost，就把自己的工作流往文本那边靠。但随着 vision model 的价格越来越便宜，大家把 vision model 做得越来越好，我相信 compute utilization 还是很有前途的。只是怎么把这条路径优化好，现在可能还在探索。

4. The Market Moves Beyond Tokens

能否帮我们估算一下整个北美客户在开源模型上的支出？

这个有点难。你问 analyst 可能比问我更合适一点。不过我觉得，token 比例可能容易估算一些。

看现在已经公开的那些 router 榜单，可能会有一些因素影响判断，因为绝大部分公开榜单都受到 free traffic 的影响。比如某些公司会做 incentive，让大家免费使用某个模型在 OpenRouter 上的服务，这会影响最终看出来的比例。

我经常也会跟我们公司沟通。我们确实做得还可以，比如我们去年从每个 token 一百个单位的成本，做到一个单位，但其实 infra 的增长比我们快得多，对吧？他们可能已经有七十个单位了。

所以只看 token 消耗量没有那么 honest。比如 Fable 的消耗量跟 D S C Four Flash 的消耗量一样，如果只看 token 数量的话，它们是一样的。但我觉得看 revenue 是最真实的，大家的付费意愿还是在往最好的方向移动。

大家可能没有那么 price-sensitive。没有那么 price-sensitive 的话，就会永远付费给最好的那个 model。所以我们跟 customer 一起合作，做这些 specialized intelligence 的时候，绝大部分看的不一定是性价比，而是绝对的最好：这个 task 能不能超过 Opus，能不能超过 Fable。这个是我们最重要的工作。

比如我们跟 DevFirst 合作的时候，也是看最后效果能不能超过 Opus，以 frontier model 为 benchmark，以他们的 revenue 为 benchmark，我觉得这样比较 honest。光看 token 消耗量，我觉得有一点 deceptive。

未来 6 个月，整个北美客户在开源模型上的支出或者 token 消耗量，会有一些什么样的趋势？

我们坚信开源模型的消耗量会继续往上涨。我对 Fireworks 也是非常有信心。我觉得我们肯定能把这个事情做好。

与此同时，大家对最好模型的付费意愿可能也不会有太大的改变。肯定会有越来越多人想要做最好的模型，所以我们会越来越努力，跟更多人一起把 open-source customized model 的效果做得非常好，然后 drive 更多的付费意愿。

具体比例更取决于有多少人有 conviction 去 customize open-source model。很多人还是比较害怕，觉得 customize 一个 model 可能 cost 很高，成功率也没有那么高。这是很多人会担心的事情。

但如果越来越多人在 quality 上面跟 Open AI for b 竞争，那么开源模型的 traffic 会越来越大。反过来的话，可能就是闭源模型的 traffic 或者 ARR 越来越大。

你们看到的北美客户，在比较不同开源模型的时候，更喜欢哪些模型？

国内这几家我觉得都差不多。Kimi、GLM、MiniMax 和 DeepSeek 这几家都很多，基本上是轮着来的。哪个人、哪个公司上去了，它们的 traffic 可能就大一点。

前面其实我忘了讲，Qwen 也很大。所以国内可能是五家：Kimi、GLM、Qwen、MiniMax 和 DeepSeek。

这边可能是 Nemotron、Llama、Gemma。以前是 Llama，现在 Muse 可能比较多。

这个排名分不分先后？

我觉得排名很难讲。说白了，现在谁有更新、谁刚 launch，谁的 traffic 就会上去。一个新的 launch 之后，旧 model 的 traffic 可能就会下来，所以很难分。

比如今天是 2026 年 8 月的话，肯定是 Kimi 的 traffic 最大。

从你们的角度看，现在 coding 的渗透率怎么样？特别是开源模型的渗透率。

我觉得最近还是偏低。可能 Twitter 上大家经常开玩笑，说 vibe coding 用 DeepSeek V4 永远用不完之类的，但以我们的观察，Claude Code ARR 或者 Codex ARR，还是远远高过开源模型 ARR。

所以我们公司最近也在推 Fireworks Nexus，希望能够把开源模型带到更多公司里面。这个工作很多时候本质上是 go-to-market，而不是一个 technical 工作。

你怎么看 coding 市场的 total addressable market？它的 TAM 有多大，上限在哪里？我们现在还处在比较早期的阶段吗？

TAM 这个问题可能得区分 revenue 和 token 消耗量。Token 的数字肯定会一直往上涨，这一点我非常坚信。

但大家讲 TAM 的时候，可能讲的都是 revenue。以现在观察到的方向来看，比如 Llama 要降价、Sonnet 要降价，如果大家每天使用的模型都在降价，肯定会 drive 更多 consumption；但 revenue 会往哪个方向走，我现在不是很确定。

比如当年可能最值钱的公司是 General Electric，对吧？但大家都用上了电，最后最挣钱的公司也不一定是 General Electric。这个我觉得是比较难判断的一件事情。

5. Vertical Models Survive Frontier Competition

每次一个比较强大的闭源模型上线之后，你们有没有看到平台上有一些客户自己做的 fine-tuning 模型被洗出去了？有一些留下来，有一些被洗出去。你觉得这两类 customer 之间最大的区别是什么？

去年确实被洗出去的很多，今年我觉得少了很多。这也是一个非常 positive 的 signal。说实话，如果这些模型一直被洗出去，我们也不会增长得这么快。

我们现在发现，很多 vertical 前进的方向，可能跟 frontier lab 前进的方向有点不一样。把一个 vertical-specific agent 做好，跟解决黎曼猜想可能是完全两种不同的工作。

Frontier Lab 可能现在更在意的是能不能解决黎曼猜想，能不能制造出新的药。这是他们需要证明的事情。我们看到越来越多 vertical SaaS agent，他们的 eval 做得越来越细，洗数据的流程也越来越细。这类工作对于开源模型的 customization 来说，确实还是很有意义的。

所以，如果像 Harvey 或者 EvenUp 这样的公司，今天闭源模型厂商把资源全部投入到法律应用这个 vertical，有没有可能打败现在的 Harvey 和 EvenUp？

肯定是可以的。但是这样的话，就支撑不了它们一个 trillion-dollar 的估值了。这对它们来说肯定不是一个聪明的行为。

我坚信，这些 vertical SaaS agent 的 evaluation 做得很细，数据洗得很好，能够确保它们沿着自己认为正确的路径前进。

我们经常开玩笑说，这就是 jagged intelligence：它们在某一个方向上做得很好，但是比如它们 tune 出来的 model 能不能解决黎曼猜想，我觉得是绝对不可能的。

但是对于一个 AGI 公司来说，如果它做出来的 model 是一种 jagged intelligence，那么它可能只能服务某一个客户，而没有办法做到让一个模型服务很多很多人。

它需要有一个合理的分布。我不能天天纠结自己是不是在跟 EvenUp 或者 Harvey 竞争，我需要确保把盘子里面所有的 customer 都照顾好。

它不能说我只做好川菜，或者我只做好粤菜。虽然很多师傅都是只做好一道菜，只有敢把一道菜做好，才敢收很多钱，对不对？但是 AGI 公司要做的是：我得把 McDonald’s 做好，我得把所有人的口味都调好。

顶多是我进中国的时候，把中国人的口味调好；在美国的时候，把美国人的口味照顾好。但我不可能说加州的口味跟 Kentucky 的口味我都改。如果都改的话，其实我觉得它跟 In-N-Out 也没有什么本质差别。

这个例子可能走得有点远。但 In-N-Out 每天跟 McDonald’s 竞争没有问题，它只要把加州和 Nevada 的客户照顾好，把大家的口味照顾好，把这些牛肉都做好，就可以成功。

这个东西跟 LLM 可能没有那么 comparable，但确实，把所有人的口味照顾好，跟把一个 vertical 的口味照顾好，可能是两个不同的工作。

如果真的有一个 AGI 公司能够把所有人的口味都照顾得很好，我相信它肯定能挣很多很多钱，只是现在我们还没有观察到这一点。

6. Trust Shapes Enterprise Adoption

企业在考虑闭源模型还是开源模型的时候，通常会权衡哪些因素？

很大的一个点是信任。我们既做 Fireworks Nexus，也就是偏 coding plan 这种 co-work 的工作，同时也做 customized model。

很大一部分信任，是对这个 ecosystem 能不能继续 support 接下来一两年需要做的事情的信任。因为我们签合同的时候通常要签一两年，所以他们考虑的是：我跟 Fireworks 签合同之后，平台上 serve 的 model 在接下来一两年能不能 fulfill 我的 requirement。他们不会特别在意我们到底是不是一个二道贩子。

这种信任的建立是一个比较长期的过程。我们得跟更多 customer 沟通 success case，沟通我们到底哪里做得好、哪里做得不好，以及开源模型的好处和不足。我们都会非常 transparent 地讨论这件事情。

闭源模型的信任建立得更好，因为它们每天可以在 Twitter 上发：我们又 hack 了某个公司的 system，或者我们又把黎曼猜想解出来了。这个东西是它们做得更好的地方。

所以我觉得，最大的差别其实是 go-to-market capability。开源模型以及开源模型公司的 go-to-market capability，远弱于闭源模型，大家的 mind share 绝大部分还在闭源模型上面。

这些企业会考虑把模型部署在本地，还是部署在云端？

我们之前看到过很多本地部署的例子，但现在越来越多是云端部署。我觉得这也是一个信任问题：能不能把 security 做好，能不能在各种 VPC 上把这些东西做好，本质上还是信任问题。

但是云端部署最好的一个点就在于 multi-tenancy。很多企业本身不一定能够 saturate 自己想租的那么多 GPU，但如果我们能够 aggregate 足够多的 demand，saturate 这些 workload 就很容易。

如果 AI 在企业运行中的成本占比越来越大，那么 multi-tenancy 其实就是一个更好的选择。大家会希望走一个 multi-tenant setup，在 cloud 上跟别人一起 share 这个 cost，双方的 ROI 都会更好。

未来企业端 AI 从现在的 POC 到真正生产，adoption 的节奏会是什么样？关键变量是什么？

我觉得可以多看这些 data company 的 ARR 和它们的 adoption。我相信越来越多公司会采购 open-source model，但它们会需要 evaluation，需要能够说服自己这个采购是合理的。

很多人其实没有 capability 去做这些 in-house evaluation，所以需要 third party data company 进来，帮它们把 evaluation 做好。它们还可以拿着这些结果做 fine-tuning。

所以我觉得 data company 的 revenue diversification 和 run rate，是一个很有意思的指标。你会发现，如果收入继续主要来自几个大的 lab，那可能反过来说明 customer 能做的选择就越少。

你们看到企业从 POC 到生产的过程中，失败的主要原因有哪些？

就是 eval 不清晰，特别容易导致 POC 做不好。我们之前聊过好几个客户，都会大概问一下：你们内部有什么样的 eval？

虽然已经 2026 年了，但其实还是有不少人是 vibe 的，就是试一下效果好不好，觉得 OK 就结束了。即使这个系统可能已经占到公司 call center 运营成本的很大比例，他们可能还是没有特别 rigorous 的 eval。

所以我经常跟人开玩笑，很多 engineer 还担心自己会失业，但我觉得能做 eval 的人真的少之又少。大家如果有兴趣，可以多转一下怎么做 eval，教你的老板到底能不能采购开源模型或闭源模型。你可能把 eval 写好，把开源模型切到闭源模型，就能把三五倍的工资成本省出来。

这是很多公司缺少的 muscle，可能也是影响 POC 最大的一个点。

所以，eval 相关的 job 还有很多没有被 fulfill？

我觉得新兴 SaaS 公司跟旧的 SaaS 公司，差别甚至都不是特别大。这可能是个暴论。

以前的 SaaS 公司内部可能有一套 unit test，比如把一个 SQL engine 跑起来，需要满足什么样的测试。现在作为一个 vertical SaaS company，我有一堆 eval，在把 agent deliver 出去之前，它要满足什么样的 eval。

这个东西都需要积累、需要沉淀，也需要大量的时间和钱把这个分布做好。所以我甚至觉得两者差别没有特别大，只是大家的工作可能慢慢从写测试转到写 eval。大家能有多少人、多快适应这个 transition，可能才是区别。

7. Inference Optimization Still Expands

Fireworks 的两门生意，一个是推理优化，一个是定制模型。我们先看看第一门生意，推理优化。你觉得推理优化未来的空间有多大？

我觉得推理优化还有很远的路要走。这个工作有很多特别细致的东西。每次新模型上线之后，它刚上线时的效果，跟大家优化一年之后达到的极致效果，差别会非常大。

对于我们来说，怎么缩短这个时间，确保模型一上线就能做到最好，是我们花很多时间努力的地方。

另外，推理优化非常重要的一部分，是怎么把缓存做好。缓存做好这件事情，本质上不一定在 serving runtime 本身，而是在 supporting infrastructure 能不能把它做好。缓存这件事，我们也会继续花越来越多的精力去做。

推理优化本质上还是一个非常 labor-intensive 的工作，有很多事情可以做。

相比模型提供商自己的 API，你们的优化有什么优势？

很多时候，因为我们优化的模型更多，所以做的工作可能更细致一点。很多 1P API 能做的事情，是把模型本身 serve 好。

但是，很多 non-1P API 的 workload，可能是我们通过其他模型看到的。比如我们跟很多开源模型厂商聊的时候，会帮他们指出有些东西他们没有测到，或者有些 workload 他们看到得不多，而我们看到得比较多。所以其实是 distribution 不一样。

它们可能要做一个比较大、比较全的 API，但我们很多时候 serve 的是 customized model。Customized model 上面的 workload、traffic pattern 都可能不一样，因此需要做的优化工作也不完全一样。

你们做模型路由时，比如使用闭源的 SOTA 模型，加上开源模型的组合，讲到这不仅是一个省成本的事情，也是一个提高性能的事情。

我看过你们跟 Harvey 联合的研究，官网 blog 上提到，前沿模型平均每个任务只被请教 0.83 次，但质量反而超过单独使用最强模型。为什么多模型分工，连任务完成率都会更好？

工作场景会影响 harness，而 harness 会影响什么时候应该调用什么样的模型。Harvey 那个例子我记得是 Opus 作为 executor，GLM 作为 advisor。这样可以把上下文特别长的工作拆解成一些上下文稍微短一点的工作。

本质上是因为大语言模型的 context 变长之后，效果还是会降低。既然我们知道这个特性，也知道这个工作是长文本，那么就可以在 harness 上做一些改进。

Harness 改进完之后，就可以改进具体调度模型的问题。每个工作使用模型的方式都会不一样，都会有一些差别，而这些差别会决定我们怎么做优化。

这个工作有时候有点像以前大家在 CPU 上做各种 performance optimization。大家的 code 在没有优化之前，看起来可能都差不多，但为了熟悉 CPU 的特性，可能需要做各种拆解，把它拆解成 CPU 喜欢的 workload。

这就是我们需要跟 customer 一起 explore 的地方。我们把底下的模型当成一个文本 processor，先看这个 processor 的特性是什么，再根据这些特性拆解出一个 harness。根据 harness 拆解之后的效果，我们把最适合的模型放到最适合的位置上。

从优化单 token 成本的角度，你觉得硬件哪些配置还有优化空间？比如 GPU 跟 HBM 的容量比，包括 CPU 跟 DRAM 的配比、DRAM 和 NAND 的配比、HBM 带宽、scale-up 带宽。

这个问题特别 specific，我想想怎么回答。对这个问题感兴趣的人，可以看一下两三个月前 Dylan Patel 的一个白板视频。他请了一个人来讲解 GPU 构造之类的东西。

里面有一个很重要的数字。那个数字本身没有 dimension，但本质上就是 compute 跟 memory 的比例。Ratio 本身是没有 dimension 的，但每种硬件有不同的比例。

这个比例会影响模型设计。每个模型在 train 之前，都会想：我这个模型要在什么样的硬件上 serve？确定大概在哪种硬件上 serve 之后，就会修改 model architecture。

绝大部分时候，我们问硬件还能怎么改，会忽略一个事实：绝大部分模型在 train 的时候，就是为了 serve 在现有的 NVIDIA 或者 AMD 硬件上。AMD 和 NVIDIA 的比例差不多，所以你可以比较快地把一个为 NVIDIA 设计的 model 放到 AMD 上面，但放到 ASIC 上面，可能就要花很大力气，因为它的比例不一样，硬件特性也不一样。

反过来，如果有人能找到特别便宜的 hardware，能够提供类似的比例，或者比例不一样但能提供类似的 FLOPS，再去 incentivize 做模型的人 overfit 到这张卡上，那么问题就反过来了：怎么样提供足够好的 incentive，让大家 overfit 到我的硬件上？

首先，这张卡的量要大；其次，这张卡的 ecosystem 要好。所以我可能没有直接回答硬件应该怎么改、还有什么优化空间，但这个问题的核心可能在于如何建立 incentive。

黄仁勋之前讲过一个特别好的点。他开玩笑说，你现在只要有电，不买我的卡，甚至会亏得底儿掉。它的核心在于，买这张卡甚至是 cost-neutral 的，因为它很快就能把钱挣回来。其他卡可能没有这个特性，导致你 overfit 到其他卡上之后，未必能把钱挣回来。

所以这时可能要问的不是 scale-up ratio 应该是多少，也不是要不要用 HBM，而是：我能不能找到一张卡，把绝大部分上游价格合理的东西都整合到一起，然后通过各种 incentive program，以及搭建完整的软件 ecosystem，来 incentivize 大家 overfit 到我的卡上，特别是在 serving 的时候 overfit 到我的卡上？

能够做到这个 incentive 的人，我觉得不管最后这个 ratio 有多奇怪，都能成功。但做不到这个 incentive 的人，可能 ratio 跟 NVIDIA 长得一模一样，最后也不能成功。

8. Custom Models Fit Vertical SaaS

我们再讲一下定制化模型。什么样的企业需要定制，什么样的企业不需要？这条标准线是怎么决定的？

我觉得 vertical SaaS company 可能更适合定制，具体的 end consumer 我们不建议去定制。

比如前面讲的 Doximity 和 Heidi，它们会跟医院接触，知道十万个医生的需求是什么。这样它们就能把医疗做好，确保医疗能力能够 cover 各种不同的 case，它们就有能力去做 fine-tune。

Harvey 可能支持各种各样的律所。如果各种律所都能够 cover 到，它的 eval 就会比较全，也就可以 fine-tune 一个 model。

但具体到每个医院或者每个 legal practice 本身，我觉得要去做 customized model 还是特别特别难。它们可能更适合把工作流固化到一个 skill 上面，或者写一些内部工具、agent，这可能更适合一点。

在这种企业级定制 AI 的项目里，最花时间、最花钱的是哪一部分？

GPU 肯定消耗了大头，另外还有一部分是 data。训练的时候，我们也需要跟 customer 一起做，去看这些 data 有没有 reward hacking behavior，environment 是否稳定，以及怎么样去 scale up 这个 environment。这些东西我们都会跟 customer 一起看。

整个做定制化 RL，需要什么样的数据量？

可能上千个 environment 就可以了。

所以只要上千条，不用更多？

对。

为什么数据量不用那么多？

因为在 RL 的整个过程中，模型会一直探索，所以它生成的数据量会远大于这几千个 environment。

比如每一个 step roll out 128 次，那么一千条数据就可能生成 128K 条数据。这个量会随着 environment 一起增长。它可能不需要很多 environment，但也会有很大量的数据去教模型哪个是对的、哪个是错的。

一个客户的模型上线之后，未来需不需要回炉？

需要。比如有新的模型 launch 之后，我们都会帮他 replace。这个 replace 的过程可能没有那么长，只要 eval 固定下来，就不会花太长时间。

但 customer 也会想要加入一些新的 eval，有新的 workload 进来，或者想 push for harder task。那时候可能还是会需要一些 customization work。不过只要 eval 固化了，replace 就会是一件很快的事情。

回炉的节奏大概是怎么样的？

Depend on the open-source model release cycle。

9. Fireworks Builds Its Moat

下面想跟你探讨一下 Fireworks 的核心竞争力。

帮企业进行开源模型部署，需要三块能力：一块是硬件算力，比如 d-Matrix、CoreWeave 这样的公司；一块是像你们这样做软件优化的公司；第三块是像 Palantir 这样拥有客户关系的公司。

现在我们看到，一些硬件算力公司正在并购软件能力，比如 AI service 以及推理优化公司。你们如何保持自己的护城河？会不会去做重资产、购买 GPU？

关于 Fireworks 会不会自己做硬件，现在肯定没有这个想法。我们可能更偏二房东的赛道，还是想把软件这一层做好。

我们相信把 compute layer 做好是有价值的。我们跟各个公司的差别，可能在于我们真的相信 specialized intelligence，也真的在往 customized model 那边移动。我们绝大部分 traffic 都不是 vanilla base model，而是 customized model。

这可能跟其他公司不一样。比如 Nebius 或者其他 cloud company，绝大部分 traffic 可能还是 base model。Base model 这个生意的竞争还是挺激烈的，但我们坚信绝大部分 profit 在效果好的 model 上面。

效果好的 model，customer 才有能力去 charge 更多的钱，因为他们能够 deliver 这些 result；这样我们内部才能分到更多的钱。所以我们坚信 customer intelligence，也坚信把 training 做好，客户的 inference 才能有钱赚。

我们跟其他 AI service company 可能不一样的地方在于，很多 AI service company 要么只做 training，要么只做 consulting，它们的 incentive 跟 customer 没有那么 align。

我们可能只需要 customer 的 training 效果好，不一定要从 training 上挣很多钱，但我们希望它 inference 的 traffic 能够一直上来。所以我们的 incentive 跟客户是 align 的：他们通过 inference 赚钱，我们从他们挣的钱里分到一部分。

如果是 consulting company，或者 pure training infrastructure company，它们能做的事情就有限，因为它们的 incentive 跟 customer success 没有那么 align。我们是 align towards their inference traffic，而它们是 align towards their training traffic。

所以我觉得真正的竞争对手可能不在于 new cloud 和现在这些 provider，而是在于 CSP。CSP 有能力像我前面讲的那样，把整个链条都做起来，既能做 AI service 的活，又可以把 inference 做好。

所以我们更多时候看的是 CSP 的能力，以及怎么跟 CSP partner。我觉得它们才是通关的大 boss。Nebius 或者其他 new cloud 可能人力有限，想把整个链条做下来，我觉得是很困难的事情。

你们跟 CSP 又是竞争又是合作，是一种竞合关系。那你们怎么保持自己的护城河？

这个问题可能有点难回答。我们跟 Azure 合作得最紧密，在 Azure 上面是 1P，也就是说可以直接买 Azure credit，买 Microsoft Azure 的 credit，然后得到 Fireworks 的服务。

我们跟 Azure 确实合作比较紧密，也跟 AWS 和 GCP 都有合作。

所以你们的推理优化，会比这些 CSP 自己的团队做得更好，至少目前是这样？

对。但具体推理优化做得好与坏，我没有那么担心。你问我的话，CSP 把整个链条做下来，能力其实很强，因为它们也做过这些事情。

我们可能更在意的是把整个 ML cycle，也就是 developer life cycle，走完。我们希望 developer experience 比较好，这一点是 CSP 更能做到的事情；相比之下，现在已有的 new cloud 可能做得没那么全。

所以你们的核心竞争力是，可能比 CSP 做得更好的地方，在于整个 developer life cycle 做得比较好；跟 new cloud 的竞争，则是你们能做的链条更长，而它们 serve 更多的是 base model？

对。

如果我们现在都在聊 recursive superintelligence，假设 RSI 实现了 kernel 优化、推理优化，以及 training、post-training 全部自动化，那你们的核心竞争力在哪里？

AGI 是一个特别难预测的事情。要是真的有一个 AGI 能把上面所有的活都干好，我觉得确实就没什么核心竞争力了。

我觉得难点在于，就算是 AGI，最后也需要跟客户聊需求。它在一个 lab 里面，能不能把客户的需求都想出来，这是很困难的事情。

客户需求这个东西，如果没有办法通过 RSI 来获得，我觉得 RSI 的成长可能也有限。它确实可能能解决黎曼猜想，但我不确定它能不能解决客户需求。

Fireworks 从现在到未来一两年，你觉得目前最大的挑战是什么？

未来一两年还是 compute。我觉得能不能在市场上用合理的价格获得足够多的计算，是很重要的事情。现在 compute 的价格非常非常高，而我们公司最后的 revenue 肯定还是要支付 compute bill，所以如何获取足够多的 compute，肯定是一个比较困难的事情。

10. The AI Capex Reckoning

进入今年夏天以来，资本市场有一个很大的争论：开源模型的质量开始 catch up，使得闭源模型的收入端会承压，以前的趋势不一定会持续，这也会使得它们未来对 AI 的投入继续承压。

所以我们看到，硬件股票以及整个半导体行业出现了比较大的回调。对于开源模型持续 catch up，你怎么看这一轮资本市场的趋势？

我觉得 ROI 高不高，要反过来这么想。假设这几个大的 player 错过这一波，假设 ROI 很高但它们错过了，那么它们可能就再也回不到这个牌桌上了。

它们的逻辑是：就算 overspend，也不会有特别多的 downside。顶多这两年账本难看一点，最后 depreciation 需要花五年、十年去消化，但这不是 existential risk。它们接下来还有二十年、三十年去消化这些东西，这不是问题。

但反过来，如果错过这一波，它们没有办法解决这个问题，那可能就完蛋了。所以它们有时候算这个账，比如 Google、Meta 算的不是我 ROI 多少，而是万一这个东西 ROI 特别高，而我没有做投入、错过了，那我可能就完蛋。

New cloud 的话，我觉得它们可能需要更 honest 一点，比如这个东西到底需要投入多少。

以我们的观察，绝大部分场景下还是 compute-constrained。Fireworks 肯定也是 compute-constrained，我们当然希望去市场上找到更多 compute。

至少接下来一年，我能看到的还是 compute-constrained 的 setup。一年之后确实非常难预测，但它们的 capex 一旦投下去，可能要三年才能回本。所以这个问题确实是一个 open-ended question，我觉得现在回答不了。

我觉得可以看的一个点，是各个公司的债券。它们债券的评级是非常 transparent 的。某些公司如果项目出现 delay，可能会导致债券评级下降。

我觉得这时候可以测试市场的一点是：假设接下来 3 到 6 个月，有一些 player 因为债务出现问题，没办法再借更多的钱，需要做 restructuring，那么市场上到底有几个人有钱把它捞上来？

我觉得那会是一个 worst moment。在这个 worst moment 之前，测试这个东西有点难，因为现在还不确定大家手里到底有多少钱可以去捞这个人。

只要这个人能被捞上来，我觉得问题都不大，大家可以继续 build，没有问题。但万一这个人捞不上来，我觉得确实会挺困难。

开源模型追上来，导致硬件价格下跌，这个关系你怎么看？

这个关系我实在捋不清楚。但你问我的话，开源模型追上来，绝对是 favor infrastructure provider 的，因为它导致 model 这一层的议价能力变弱。

反过来，如果总的资金量不变，那肯定是 favor infrastructure provider。更接近 infrastructure 的这些人，股价应该要涨才对，而不是跌。

比如去年 DeepSeek 刚出来的时候，英伟达股价也是跌，我当时也不懂这些人是怎么想的。但你可以反过来看，open source 肯定是 favor 硬件 provider。

所以说实话，我不适合炒股，我理不清中间的逻辑。但你问我的话，我觉得这肯定是 favor infrastructure provider。

非常感谢 Benny 今天跟我们的分享，非常非常有启发。

谢谢，谢谢。