有 PMF 也会破产：AI 生意和 SaaS 完全不同｜对话 Fireworks AI CEO 乔琳
- AI 有 PMF 不代表就能规模化，快速增长也可能耗尽现金。曹卿云指出，AI infrastructure 成本很高，小公司增长过快、又融不到下一轮钱，可能“scale into bankruptcy”；大公司若把 AI feature 推给所有用户，也可能因成本高得惊人而被 CFO 拦下。
- 专用智能的经济价值在于降本和掌控供应链。曹卿云称，客户可将成本降低 5—10 倍；闭源供应商控制升级与容量，也可能既是 vendor 又是 competitor。基于开源模型并用自有数据定制，是控制供应链的一种有效方式。
- Specialized Intelligence Index 用企业私有 benchmark 衡量模型在具体领域的表现。曹卿云认为，公开 benchmark 已训练饱和，而企业独特的产品和任务需要相应的独特评测；Index 会持续反映新开源、闭源模型的质量及其对领域任务的推动。
- Amber One 通过缩短思考链降本；平台则把训练与推理共同优化。曹卿云称，思考链可缩短到原来的一半，从而将 token 用量和成本各减半；他也表示，定制模型后可做到推理 bitwise equivalent，不损失精度。
- 应用从 coding 扩展到知识工作，消费端放量仍是有条件的预期。曹卿云提到医疗、生命科学、客服、招聘、营销、销售和网络安全等应用；消费应用仍在早期，今年的试验要验证用户需求、PMF 和能否规模化，他认为明年大规模出现的希望很大。
- 未来 18 个月的挑战，是追上 superlinear demand 而不损失速度。曹卿云关注如何以低层级、跨组端到端负责的组织方式，在公司扩大后仍保持效率和 velocity。
1. 专用智能要用企业自己的任务来衡量
- 曹卿云认为 specialized intelligence 与通用智能是平行概念。全球绝大多数数据没有被 foundation model 吸收，因为它们留在应用、产品或企业内部而不对外分享；智能的 frontier 因此也在这些应用和企业内部，企业应把私有数据转化为独有智能体。
- 他把公司的独特性解释为：公司要解决独特的问题，并以独特的方式把它做好；产品的独特性则体现在独特的 evaluation 上。公开 benchmark 已训练饱和，模型用 benchmark 数据训练后得高分并不说明太多。Specialized Intelligence Index 要汇总企业私有 benchmark，并持续反映新开源、闭源模型的质量，帮助行业判断模型对各自领域的推动。
- 主持人提到 Index 和 23 号发布的模型，曹卿云说明两者发布时间接近，但没有直接联系。
2. PMF 之后还有成本与供应链两道关
- 曹卿云区分了 SaaS 和 AI：SaaS 时代，PMF 与 durable business 基本是一回事，之后可以尽快扩张；人力、存储和 CPU 是主要成本，存储和 CPU 已 commoditized。AI infrastructure 则成本很高，所以 AI 有 PMF 也不代表就能 scale；小公司若增长很快又融不到下一轮，可能“scale into bankruptcy”。
- 大公司也面临这个问题：已有大量消费者或开发者用户的公司，若把 AI feature 推给所有用户，成本可能高得惊人，CFO 可能因此不批准发布。曹卿云称，specialization 可让客户把成本降低 5—10 倍，对企业影响很大。
- 闭源模型供应商控制模型升级和可提供的流量；若客户要增长 10 倍、供应商无法支持，就会被卡住。供应商也可能推出自己的产品，与客户形成既是 vendor 又是 competitor 的关系。曹卿云认为，使用开源模型并以自有数据将其定制成自己的模型，是控制 supply chain 的有效方式。
3. 模型降本要兼顾推理质量与服务需求
- Amber One 的发布，是在开源模型降低成本的基础上让模型更聪明。曹卿云称，模型思考链可缩短到原来的一半，token 用量和成本也随之减半；主持人提出效果相同，曹卿云表示认可。
- 作为平台公司，Fireworks 还把客户的共同需求推到模型层解决：例如让 context window 更长，以支持 turn 可达数百甚至上千的 long-horizon agent；以及让模型更 concise、更快解决问题，从而同时省成本、缩短时间。他说 Amber One 是在其他开源模型基础上迭代的，并认为开源社区相互迭代才能发挥最大影响力。
- 谈到竞争格局时，曹卿云强调 training 和 inference 是 co-design、co-optimized。模型定制完成后，推理可以做到 bitwise equivalent，不损失精度。他举例说，long-horizon agent 可能经过 100 个 turn 才完成任务；每个 turn 若有 0.1% divergence，累积后可能变成 10%，使结果不可行。他称 Fireworks 可以做到没有 divergence，并在 training 时进行 inference optimization。
- 他们的端到端平台还包括 Nexus smart router：客户可组合使用闭源、现成开源或定制模型，但不必自己判断何时选哪种；router 会按客户需求自动把请求路由到合适的模型。
4. 知识工作助手扩展，消费端仍待验证
- 曹卿云说，去年只有 coding 这一类应用爆发；今年 coding 已解决得很好，知识工作助手开始扩展到多个领域，包括 physician 或 patient assistant、drug discovery、cancer treatment、减少 clinical trial shortage 的应用，以及 customer support、recruiting、marketing、sales 和 cybersecurity。他特别提到网络安全领域正有人尝试把 detection 到 defense 自动化。
- 他认为消费应用仍较早期：今年的试验要验证产品是否符合用户需求、能否解决问题，有了 PMF 后是否能 scale、成为一门生意。已有一些应用开始发展，因此他认为明年消费应用大规模出现的希望很大，但仍是预期而非定论。
5. 组织扩张要跟上超线性需求而不降速
- 面对未来 18 个月的挑战，曹卿云最关心如何 scale 公司以接住 superlinear demand，同时不丢失 velocity。对他来说，这既是增长速度问题，也是组织架构问题。
- Fireworks 层级较少，目标不能由单个组独自完成，团队需要对跨组工作端到端负责。他在从第一性原理重新思考组织设计：公司变大后，如何继续保持这种协作效率，并尽可能快地扩张而不减速。
Full transcript
现在做 AI，即使有 product-market fit，也不代表就能够 scale。整个 AI infrastructure 的成本非常高，很多小公司会 scale into bankruptcy，最后没钱了。我们现在做 Specialized Intelligence Index，目的是把每个公司的独特私有 benchmark 汇总起来，建立一个领域的 index。
1. Scaling Without Losing Velocity
我现在想得最多、考虑得最多的，就是怎么样 scale the company。我们现在看到的 demand 是 superlinear demand，怎么样 scale company，才能 catch superlinear demand？
曹琳今天非常高兴能跟你交谈。刚刚在大会上，你主要分享了哪些信息？
我主要讲了为什么我们认为，AI 今后的发展会主要侧重于我们所说的 specialized intelligence。Specialized intelligence 和通用智能是平行的概念。就全球数据而言，绝大多数数据并没有被 foundation model 吸收，因为绝大多数数据都存在于某个应用、产品或者企业内部，不会跟别人分享。
在这个基础上，我们觉得很有意思：intelligence 的 frontier 实际上在应用和企业内部。他们应该把自己的私有数据转化成独有的智能体，这是 Fireworks 一直在追求的目标。
我们看到 Fireworks 刚发布了 Specialized Intelligence Index，作为真实环境下的 benchmark；23 号你们又发布了自己的模型。这是怎样的战略考虑？
我们的产品有 3 块。在介绍产品之前，我想先解释一下：我们的战略一直是 specialized intelligence。Specialized intelligence 最注重的一点，就是独特性。每个公司存在的意义，在于它解决了一个非常独特的问题，用一种非常特别的方式把问题解决得很好。这 3 点都要并存，才构成一家公司存在的意义；否则，公司就没有存在的意义。这种解释方式很残酷，但事实就是这样。
在这个前提下，我们希望把每个公司的独特性展现出来，这才叫 specialized intelligence。每个公司的独特性其实跟产品有关，每家公司的产品都不一样。产品的独特性体现在它独特的 evaluation 上。
市面上有很多 public benchmark，但它们都已经被训练饱和了。所谓训练饱和，就是模型拿 benchmark 的数据来训练，结果当然会很好，但这没有意义。我们做 Specialized Intelligence Index，目的是汇总每个公司的独特私有 benchmark，建立一个领域的 index，给大家一个参考。
每次有新模型出来，不管是闭源的 OpenAI、Anthropic、Google，还是开源模型，我们都需要经常把模型质量反映到 Specialized Intelligence Index 上。这对整个工业界都有很大帮助，大家可以真正看到新模型的出现，对自己钻研的领域有多大的推动作用。这就是我们要建立这个 index 的原因。
我们自己推出的模型，和 Specialized Intelligence Index 发布的时间差不多，但两者没有直接联系。比如，我们的模型是从另一个角度出发的：specialization 有两个原因，其中一个就是把成本降下来。
它的运营成本。现在做 AI application 的成本非常高。AI business 和 SaaS business 是完全不同的两个概念。在 SaaS 时代，product-market fit 和 durable business 是一回事。只要 hit product-market fit，就可以尽可能快地 scale。成本主要是人力、存储和 CPU；存储和 CPU 都很便宜，已经 commoditized 了，所以这本身不是问题。
但现在做 AI，有 product-market fit 并不表示就能够 scale，因为 AI infrastructure 的成本非常高。很多小公司如果增长很快，就会 scale into bankruptcy；如果融不到下一轮钱，就会没钱了。
这个问题对大公司来说更严重。比如，十年前的小公司在某个领域赢得了 consumer 或 developer 的信任，所以流量非常大。它要是 build 一个 AI feature，再 roll out 给所有用户，付出的成本就会非常高，甚至是天价。
嗯。
很多 CFO 看了这个 proposal，就不允许他们 release。这样一来，他们不能创新，也会有很大的问题。所以，降低成本是一个非常关键的问题。我们做 specialization，就是看到成本有一个重大问题需要解决。我们的客户可以把成本降低 5 到 10 倍，这是一个 order-of-magnitude difference，对企业来说影响很大。
第二个重点是控制 supply chain。控制 supply chain 是什么意思呢？如果用的是闭源模型，那么模型什么时候升级、什么时候能提供多少流量，很大程度上都不可控。如果公司要增长 10 倍，而模型提供商没办法支持它增长 10 倍，它就会被卡住。
这就是 supply chain 的问题。闭源模型供应商也想做产品，因为做产品利润更高，所以他们和客户之间很可能会互相竞争，处于一种很奇怪的关系：既是 vendor，又是 competitor。这就带来了更大的 supply chain 问题。
使用开源模型，再通过自己的 data 把它变成自己的模型，是控制 supply chain 非常有效的方式。主要就是基于这两点。
可以再介绍一下 Amber One 这个模型吗？
Amber One 这个模型之所以要 release，是因为我们想在开源模型降低成本的基础上，同时让模型变得更聪明。模型解决问题时会思考，思考的每一步都要花成本；思考链越长，成本越高。让模型变聪明的一种方式，就是缩短思考链，让它更快找到答案。
嗯。
这样降成本的效果就非常明显。Amber One 的思考链可以缩短到原来的一半。
嗯。
这样的话，Token 用量就能减少一半，成本也就降低一半。
对，思维链变短，效果还——
是的。
对，效果是一样的。
因为我们是 platform company，要给广大的客户提供服务，所以会看到很多共同需求。比如，我们发现大家都希望模型的 context window 变得更长。
嗯。
因为越来越多的 agent 是 long-horizon agent，解决问题时的 turn 会变得非常多，几百甚至上千个。它需要很长的 context，否则就会忘记你。
第二个需求是 being concise，也就是更快地解决问题。速度快，既能省成本，也能缩短时间。还有很多其他需求，我们都会把这些共同需求推到模型层面，一起解决。
嗯。
我们是在其他开源模型的基础上迭代的。
嗯。
开源社区需要互相迭代，才能产生最大的影响力。如果开源社区不让别人迭代，那开源还有什么意义呢？
嗯。
对。
在你们的平台上，大家有没有看到一些新的趋势？我们知道个人助理现在开始变得很火，包括 Instinct、Muse 的发布。不知道你们的平台上有没有看到相同的趋势？除了 coding 这个应用场景之外，还有没有其他应用方面看到比较好的 token 趋势？
去年 coding 的趋势非常明确。去年只有一种类型的 app 爆发了，就是 coding。今年，因为 coding 已经解决得很好，在 coding 的基础上，很多 knowledge worker assistant 开始爆发。
Knowledge worker 本身是一个非常广的范围，有各种各样不同的类型。所以今年的应用非常多元化，我们看到各种各样的应用：medicine 方面的 physician assistant 或 patient assistant，用来解决医疗问题；life science 方面，比如 drug discovery、cancer treatment，以及 clinical trial shortage reduction，这可以让迭代速度非常快；还有各种 customer support agent、recruiting agent，以及 marketing 和 sales。
Cybersecurity 也是一个非常大的领域。现在有非常多的公司在投入，希望把 cybersecurity 从 detection 到 defense 都实现自动化。所以今年我看到应用层出现了非常广泛的爆发。
我们现在看到已经有一些比较有意思的 consumer 应用出来了，但我觉得还处于比较早期的阶段，很多 consumer 应用还没有完全起来。明年 consumer 应用大规模起来的希望很大。
为什么觉得时间点会是明年？
我觉得今年有很多 consumer 应用的试验，要验证产品是否符合用户需求、能不能解决他们的问题。即使能解决问题，是否有 product-market fit、能不能 scale、能不能变成一门生意，也都需要经过很多试验。
今年我们已经看到几个例子发展起来了，所以明年可能会有更多应用起来。
你们怎么看自己的竞争格局？
我们只想把自己想解决的问题解决得最好。我们不光定制模型，也定制 inference，而且 training 和 inference 是 co-design、co-optimized 的。
这样做的好处是，模型定制完成之后，我们做 inference 可以 guarantee bitwise equivalent，也就是不会损失任何精度。这一点非常重要，因为 long-horizon agentic 问题可能需要 100 个 turn 才能解决一个 task。如果每个 turn 的数值误差都不好，比如有 0.1% 的 divergence，看起来很小，但累积 100 个 turn 之后，可能就会变成 10% 的 divergence，结果完全不可行。
嗯。
我们可以做到连 0.1% 的 divergence 都没有，完全没有 divergence。所以我们对 quality 的追求贯穿 training 和 inference。同时，在 training 的时候，我们也可以做很多 inference optimization。
嗯。
所以我们是一个 end-to-end platform。在 training 和 inference platform 之上，我们还有一个叫 Nexus 的 smart router。它解决的问题是，大家需要用很多不同的模型，却不知道该怎么用。不管是 closed model、off-the-shelf open model，还是自己定制的模型，什么时候该选哪一个、用来解决什么问题，都有很多组合。
嗯。
有了这个 router，客户就不用考虑这些复杂性，我们会自动把请求路由到最合适的模型上。
嗯。
根据客户的需要来路由。所以这 3 个是我们最主要的产品。
接下来的 18 个月，你们觉得 Fireworks 现在最大的挑战是什么？
我现在想得最多、考虑得最多的，就是怎么样 scale the company。我们现在看到的 demand 是 superlinear demand，怎么 scale company 才能 catch superlinear demand？同时，在高速增长的过程中，我们不能丢失 velocity，不能变慢。
嗯。
这是我经常思考的问题。怎么样 scale，才能继续跟上市场应用的爆发，serve 这样的一个 market？这是 company scale 的问题。
嗯。
就是怎么样 scale company as fast as possible while keeping the highest velocity。这也是一个组织架构的问题：要从组织架构上重新考量。以前的组织架构我觉得是 work 的，所以我们要从第一性原理重新思考。
我们的层级很少，没有一件事、没有一个 goal 是一个组单独做完就可以的，一定要端到端负责。怎么样让大家能够端到端负责，虽然事情会跨好几个组，同时又保持效率？公司小的时候，这个问题比较容易解决；公司大了以后，也还是要非常有效率。这是我们经常要思考的问题。
好的，非常感谢今天的分享。