程曼祺 Manqi Cheng
上周六，DeepSeek 发布了开源周的收官之作，概述了 DeepSeek 的推理优化思路，并放出了 2 月 27 日前后一个 24 小时时间段内的完整实际测试。
根据 DeepSeek 的官方数据，这 24 小时里他们处理的 token 输入总量是 608B，也就是 6,080 亿，输出的 token 量是 168B，也就是 1,680 亿。做到这么大的吞吐量，他们平均只用了 226.75 个节点。每个节点是 8 张英伟达 H800，加起来就是 1,814 张卡，而这支撑了 DeepSeek 高达 2,000 万到 3,000 万的日活。
由此，DeepSeek 也根据 GPU 的市场价格和自己的 API 定价，算了一个成本利润率，就是这几天被广泛讨论和传播的 545%，换算成更常见的毛利是 84.5%。这让前段时间算过另一笔账，而且结果大相径庭的潞晨科技创始人尤洋的言论，被推到了风口浪尖。
尤洋说，通过自己的实测，他发现中小云平台现在部署 DeepSeek、售卖 API 给其他应用方，是一个巨亏的生意，月亏可达到 4 亿元人民币。亏损的核心是，尤洋自己测的吞吐量与 DeepSeek 公布的数据相差巨大。因为 GPU 的价格在一定时间内是固定的，吞吐量就决定了 API 服务的收入，它是 API 服务能否赚钱的核心。
尤洋在之前的算账视频里说，考虑到各种用户需求的波动，以及实际任务中长短序列输入与输出的参差，他测算一台 H800 服务器的实际每秒输出量仅在 300 token 左右，是 DeepSeek 数据的 46 分之一。
在被打脸的争议中，尤洋接受了《晚点聊》的访谈。我们聊的时间是 3 月 1 日。尤洋没有特别提及 DeepSeek 的具体推理优化，称自己不方便评价 DeepSeek 的技术细节。他更多聊了为什么他认为中小云平台做 MaaS 服务不赚钱，也解释了他眼中的 MaaS 商业模式。
他认为，单纯卖 API 的 MaaS，可能更适合大型云厂商，以及自己开发独家模型并能做相应深度优化的公司，比如 DeepSeek 自己。同一天，潞晨科技也宣布停止自己的 DeepSeek API 服务。
如果听友想更详细地了解，考虑到运维、折旧等成本后，DeepSeek 的实际利润率到底怎么测算，可以看 show notes 里贴的几篇相关链接，里面有非常详细的解读，并搭配了公式和图表。
游老师，你可以先简单介绍一下吧。
尤洋
我毕业于加州大学伯克利分校，获得了博士学位。很荣幸，我被伯克利提名为 ACM 博士论文奖的候选人，当时是在 80 名伯克利毕业生中选 2 名。
那之后，我又到新加坡国立大学任教。很荣幸，新加坡国立大学给了我一个校长青年教授的职位。我在新加坡国立大学建立了一个研究组，现在大概有十几个博士生，加上几个博士后，总共 20 多个人。
到 2021 年的时候，我参加了一个奖项评选，李开复老师是那个奖项的评委，就把我的背景转给了他的投资团队。后来他的投资团队联系了我，然后我就开始创业，创立了潞晨科技。这是我的基本背景。
1. 争议焦点不是 DeepSeek
程曼祺 Manqi Cheng
因为我今天上午想找您聊，是因为您最近一段时间发表了一些关于 DeepSeek 成本的测算。但这个不是指它自己的成本，而是指第三方部署 DeepSeek、把它作为 MaaS 服务提供的成本。这些观点受到了比较多的关注，或者也可以说是争议。
我想首先解释一下，您是不是觉得自己不应该跟 DeepSeek 团队去辩论？
尤洋
他们跟我没有任何关系。首先，我觉得 DeepSeek 是很好的模型。它通过 API 赚的钱，我感觉也不是 DeepSeek 团队应该考虑的事情。我觉得他们是有比较宏大的目标的，比如 AGI。
我真正抨击的是，中国有很多中小云厂商在倒卖 DeepSeek API，又宣传自己的推理技术比英伟达快 10 倍，所以我才发了这个言论。我觉得我跟 DeepSeek 团队、DeepSeek-Instruct 团队都没有任何关系。
程曼祺 Manqi Cheng
因为您的一些言论传播出去之后，一般人可能会理解成，您认为 DeepSeek 的成本很高，不像它自己宣称的那么便宜。
这个我们后面可以展开。总之，您今天愿意和我聊，其实我也有点意外。因为最近您发了这个言论之后，受到了比较多的争议，也有很多人不同意您的观点。
我觉得这期发出去之后，可能也要有一个心理准备，评论区应该还是会有很多人有不同的观点。而且像小宇宙的评论，我们自己是不会管理的。
尤洋
我觉得很好。因为我们中国现在已经进入 90 后、00 后的时代了，本身我觉得这是一个信息高度开放、大家都对前沿技术和真理比较关注的时代。
程曼祺 Manqi Cheng
那我问一个题外话，您自己为什么把知乎的评论选成精选评论？就是需要自己筛选之后才能放出来。
尤洋
我觉得因为知乎上的键盘侠太多了。我现在就一个人在跟 DeepSeek 对抗，我一个人的力量本身就很有限，我感觉这对我是不公平的。
程曼祺 Manqi Cheng
不过您刚才也说了，其实您不是在和 DeepSeek 对抗。
尤洋
我知道，但是在键盘侠眼里，我一定是在跟 DeepSeek 对抗，对吧？
程曼祺 Manqi Cheng
那我们今天可以把这件事情聊得更清楚。我觉得您也可以简单讲一讲，最近关于 DeepSeek 成本这个评论的来龙去脉。
我看到您最开始应该是在 2 月 20 日发了一个朋友圈。当时您有一个测算，说如果第三方部署 DeepSeek，也就是中小云厂商去做这件事，每月的亏损金额可能会高达 4 亿元。
最近这件事有一个变化，就是今天 DeepSeek 在 GitHub 和知乎上都发了开源周最后的 One More Thing，整体介绍了自己的推理系统优化思路。文章最后统计了最近某一天 24 小时里的服务情况，再减掉成本，算出了一个比较关键的数字：他们现在的成本利润率是 545%。
当然，文章里也写了，这只是理论上的成本利润率，因为它全部按照 R1 的价格计算。但实际上，所有调用量里有一些是 V3，而 V3 的价格比 R1 低；另外，这 24 小时里还算入了晚上的时间，而 DeepSeek 官方给出的晚上价格也比白天高峰期有一定折扣。
所以这是理论利润率，实际可能会比这个低一些。因为您之前的那个言论，知乎上有很多人让您回应这件事情，您也写了一篇回应。我本来是想跟您展开聊一聊 MaaS 服务本身，以及第三方部署 DeepSeek API、再卖给需要调用模型的开发者或应用方，这个生意到底是怎么回事。
尤洋
我还是要说，DeepSeek 肯定是一个很优秀的团队，我不太想把自己置于和 DeepSeek 对立的位置。当然，今天看到那么多人艾特我，我确实稍微有点生气，所以写了一篇文章。但是我也不打算删，大家可以看看，肯定有人赞同，也有人反对。
因为今年 1 月 2 日，DeepSeek 还没有那么火爆的时候，我就在微博上说，DeepSeek 是中国最好的模型，不论开源还是闭源。它的效果确实非常好，这是毋庸置疑的，包括它的影响力也肯定不仅限于 AI。
2. 中小云厂商难以盈利
回到今天的话题，中小云厂商为什么很难盈利？首先，我弄了几台机器，用 SGLang 或者 vLLM 这种方案把机器打满。我相信我的方案不会比中小云厂商差太多。在这种情况下，亏损率依然很高。
这不是实验室离线 benchmark 的数据。比如弄一堆离线任务，测一下机器每秒吐出多少 token，这个是不靠谱的。
程曼祺 Manqi Cheng
当时有一种评论认为，你们自己的技术不行、优化不够好，所以才会亏这么多钱。
尤洋
假定我们的技术很烂，完全用开源方案，比如 SGLang、vLLM 或者英伟达 TensorRT。因为这些公司都有开源方案，我就用它们的开源方案。
我敢打赌，99% 的中小云厂商不可能比它们明显更快。如果有人确实比它们快，最多也是一些 corner case，也就是在不公平的对比实验中设置了一些参数。
其实你也可以查，不用我公司的任何技术，我就用英伟达的、xAI 的、SGLang 的、vLLM 的方案。机器与机器之间，我就用相互独立的模式。我感觉 99% 的中小云厂商不可能比我快。
3. MaaS需要五倍冗余
程曼祺 Manqi Cheng
解释一下，尤老师刚才提到的 vLLM 和 SGLang，是一些开源的推理框架。我们之前聊 DeepSeek 和开源周的那期节目里，也提到过这些。
MaaS，也就是 Model as a Service，是一个 To B 的产品。它上层接一些聊天应用，接一些类似 ChatBI 的应用，或者接游戏里的各种应用、财务分析应用。
比如一个成熟的系统，可能要接几十种应用才能比较繁荣。但你无法控制上层这些 App 什么时候用、什么时候不用。因为你卖的东西是按 token 计费的，不考虑机器利用率。
所以，为了安全起见，你需要提供 5 倍的冗余。我感觉 5 倍是比较靠谱的，因为机器的波峰波谷变化很大，你不知道什么时候用户会来使用。
尤老师，您今天的文章里也写到了，应该提供比原本需求量多 5 倍的冗余资源，来保证服务稳定性。
我今天也和一家做 infra 的创业公司交流了这个问题。他觉得您算得太多了，可能多 1 倍就够了。但这有几个前提：一个是需要有足够多的用户；第二个是有一些跨时区的全球化服务，比如在中国白天的时候，欧洲或者美国是晚上，这样波峰波谷可以削峰填谷；第三个是晚上可以跑一些离线任务。
DeepSeek 自己也提到，虽然它并不是云平台，但因为有训练模型的需求，晚上会减少推理节点的部署，把一些资源用来做训练。您怎么看这几个原因？它们能不能缓解您刚才说的需要额外准备很多资源的问题？
尤洋
不会。我觉得即便在中国、美国都有用户，也无法预测。我的理解是，MaaS 应该不限制上层 App 调用多少。
即便每个小时的用户数都差不多，利用率也是随机的，是我不可控的。
程曼祺 Manqi Cheng
那为什么 5 倍就够了，而不是更多？为什么不是 10 倍？
尤洋
我的意思是，如果你每天要输出 1,000 亿个 token，那你应该准备具备输出 5,000 亿个 token 能力的机器。这是我的估算。
因为你有很多 App，不能限制 App。你无法预测这件事。我个人觉得，2 倍非常不靠谱。你的应用越多，上下波动的幅度其实越大。
程曼祺 Manqi Cheng
如果结合 DeepSeek 在这一周开源周里释放的很多和 infra 相关的优化方法，有没有可能把需要冗余准备的资源降低？
尤洋
我还是不想和 DeepSeek 站到对立面。我感觉 DeepSeek 做的这些事情，大厂的很多开源方案应该也有类似的内容，当然你也可以到 GitHub 上看看。
DeepSeek 肯定是一个非常优秀的团队。比如您说的 PD 分离技术，最开始也不是 DeepSeek 提出的。我觉得每一种优化都是有成本的。MLSys 或者计算机系统里有一个词叫 trade-off：你加速了 10 倍，肯定要牺牲什么东西。
未来几个月，或者一两年之后，肯定会有人宣称通过 DeepSeek API 盈利了。未来几个月，也肯定会有人做一些 LoRA、量化、剪枝、蒸馏，测出一些比较美好的实验数据。
但是，站在 2025 年 2 月初这个时间点，中小云厂商不可能靠这个赚到钱。
4. 潞晨停止售卖 API
程曼祺 Manqi Cheng
潞晨自己不也是中小云厂商吗？
尤洋
我们不卖 API 了。我觉得这种方式不好。我们也有自己的推理服务，也就是线上的 serving instance，我觉得那才是合适的。
我只需要把这一台机器优化好，给它装上各种软件，相当于这一台机器被用户承包了，用户自己也放心。他有 100 个用户，就用 1 台机器；200 个用户，就用 2 台机器；400 个用户，就用 4 台机器。
要不然就是阿里云、火山云、优刻得、首都在线或者燧原科技，都推出了一体机。一体机是最稳妥的，因为这台机器完全属于用户自己控制。我们不看好 MaaS 这种模式，暂时也不打算提供这种服务。
程曼祺 Manqi Cheng
但如果你们不做 MaaS 服务，为什么今天公众号又发了一个公告，说 DeepSeek API 服务会在一周之后暂停？
我看到你们 2 月 4 日也宣布过，当时和华为昇腾合作推出了 DeepSeek API 服务。那我是不是可以理解为，从 2 月初到现在，你们短暂尝试了一段时间 MaaS，也就是卖一个大模型 API，最后得出的结论是，这样做赚不到钱？
尤洋
我们确实暂时不打算做 MaaS。为什么？我觉得目前 MaaS 市场的定价体系，包括 GPU 算力利用率，市场化方式还不是特别成熟。
我们确实进行了测试。通过 MaaS 确实可以获得一些收入，但代价有点太高，亏损率也确实比较高。所以，做一家创业公司，现在需要增长，我们需要把钱投到最该投的地方。
关键是，我们公司去年已经有了很大量的营收。我觉得在这个阶段，不应该做很多事情。创业公司应该细分、细分、再细分，专注、专注、再专注。我们先把主营业务的营收不断提升、增长起来，我觉得这是最核心的事情。
等 MaaS 市场的定价体系，以及 GPU 利用率的成熟度更好一点，我们那时候再做 MaaS 也不迟。
5. MaaS承担闲置成本
程曼祺 Manqi Cheng
那我觉得您可以介绍一下 MaaS 和一体机的模式。MaaS 是做什么，一体机又是做什么？
尤洋
MaaS 就是，比如我把 X C 或者千问、Llama 放到我的云上，用户调用我的 API，输入一些内容，然后我返回一些 token。最后怎么算账？就是用户用了多少 token，就付多少钱。
它不考虑你有多少台机器，也不考虑你的机器忙还是不忙，最终考虑的就是用户花了多少 token。所以我曾经说过，如果真是这样，MaaS 层会把全产业链的亏损都承担下来。
比如我是 MaaS 层，我向 IaaS 层，也就是数据中心、IDC 机房或者算力中心，去拿机器。对方肯定不考虑我的机器利用率，都是按一台机器 8 万块钱卖给我。我的利用率是 0%，它也是这个价格。
然后我服务上层的 App。App 也不会管我的机器现在是 100% 占用率还是 0% 占用率。即便是 100% 占用率，它也不知道，继续调用，那我就崩了。
这也是为什么我觉得真的很有可能需要 5 倍的计算资源。当然，我的前提是不限流。你要限流，其实就限制了别人 App 的发展。我最终希望上层 App 可以随便用。
如果我的机器闲置、空置，用户不用，我也没办法，因为它是按 token 计费的。我感觉 AI 的中间层或者算力层，核心就是降低算力闲置率。不管你的产品是什么，不管是 PaaS 还是 MaaS，最终核心都是降低机器的闲置率，因为所有亏损都来自机器闲置率。
程曼祺 Manqi Cheng
我总结一下：您认为 MaaS 这个环节承担了最多的机器闲置率成本。它的上游是 IaaS，也就是直接提供 GPU 算力的大型云厂商，按时间租给你，比如租一年或者几个月。
这是上游到 MaaS 的情况。MaaS 再面对自己的下游，也就是应用开发者和各种 App。下游按 token 调用量付钱，从 GPU 按时间计费，到 token 按使用量计费，中间存在一个 gap，而这个 gap 就由 MaaS 这一层承担。
尤洋
这是第一点，它不利的地方。第二点，我觉得对中小云厂商而言，MaaS 真的没有技术壁垒。
为什么？因为 SGLang、vLLM、TensorRT 已经优化得非常好了。当然，我也不会自大地说自己的水平比阿里云或者火山云高。但他们不知道的是，我最开始的视频里就说过，如果阿里云、火山云有一个超级 App，有庞大的用户，他们来做的话，亏损率肯定没有这么高。
但对中小云厂商而言，我觉得你在软件优化上比这些世界一流开源大厂的方案更好，不太现实。
程曼祺 Manqi Cheng
其实您刚才说到这一点，也是我本来想问的问题。阿里云和火山云也可以做这一层服务，那为什么最开始会有第三方 MaaS 公司存在？包括 DeepSeek 这样的公司也可以提供官方 API，所以为什么还会有第三方存在？
尤洋
大家都在探索，都是想找一些生存的机会。
6. 潞晨转向私有模型
程曼祺 Manqi Cheng
那可以再说一下你们现在做的业务吗？如果主要业务不是 MaaS，主要要做什么？
尤洋
我们做的是 PaaS。我们公司的定位是做私有模型部署，帮助世界 500 强、世界 2,000 强，以及中小型传统企业，做出它们的私有模型、垂直模型和行业模型，现在叫 Post-Training。
您可以想想，我肯定不可能向月之暗面收费，也不可能向零一万物、百川智能或者通义大模型团队收费。他们有庞大的团队，也有很好的优化技术人员，根本不会是我们的付费群体。
我们面向的是传统行业，帮助它们做私有模型。比如通过强化学习、蒸馏、SFT，去做自己的私有模型和行业模型，这些客户是我们的主要收入来源。
同时，这些客户完成模型之后，会使用我们算力平台上已经优化好的 instance，相当于把这部分算力保留下来，服务企业内部，或者服务他们自己的 App 和客户。
我们提供的是一套算力平台，而且是自动化的。未来，用户可能只需要上传数据。比如一家公司有很多报表、很多 PDF 文件，每周把这些数据传到平台上，最终我们的系统就能自动化地用这些数据更新参数，更新完成之后自动替换模型，供企业内部使用。这其实是一个自动化平台。
程曼祺 Manqi Cheng
但 2,000 强的很多企业，应该会对私有部署自己的服务器有一些要求。他们会接受云平台这种服务方式吗？因为按照您的流程，需要上传企业数据。
尤洋
这个云平台主要面向小微客户。2,000 强企业买的都是企业版软件，把整套平台部署到企业内部。
比如我们有一个世界 500 强客户，买了 1,000 张 A100、A800 的卡。我们就把系统部署到它的千卡集群上。
程曼祺 Manqi Cheng
如果服务这种比较大的客户，要在客户自己买的 GPU 上部署模型，你们是远程操作就可以，还是也需要派人去做？
尤洋
肯定需要派人，但得控制人力成本。
我们这套东西的核心就是我们那套开源的 Colossal-AI 软件，把它做成一个高配的企业版，相当于 Colossal-AI Platform，卖给客户。
程曼祺 Manqi Cheng
所以还是有一个交付环节，只是希望尽量控制交付人数和投入。
尤洋
对。我觉得服务中国市场肯定需要交付，不交付不太现实。
程曼祺 Manqi Cheng
那你们服务海外大客户是怎么做的？我看你们其实有两个网站，一个海外的，一个国内的。
尤洋
海外主要是中小型客户。
程曼祺 Manqi Cheng
所以你们现在的策略是，海外主要用云平台，也就是那个自动化、相对不需要自己投入太多的平台，去服务中小客户；国内则用企业版去服务大客户。
尤洋
对，海外主要服务中小客户，国内主要服务大客户。
程曼祺 Manqi Cheng
这是您一开始就想好的吗？还是摸索了一段时间之后想好的？
尤洋
我们也做了一些摸索。去年这个模式就比较成熟了。
程曼祺 Manqi Cheng
因为有一段时间 MaaS 确实比较火。你们是思考过之后觉得这件事很难赚钱，所以放弃了，还是其实真的尝试过？
尤洋
DeepSeek 出来之前，我们就看过很多案例。比如最早 Fireworks.ai 做过这件事，蒋青老师的 Lepton AI 也做过。还有我在伯克利的师兄、任课老师 Ion Stoica，他做了 Anyscale。我当时还当过他的助教，他其实也做过 MaaS。
最先让我们反思的就是 Anyscale 放弃了 MaaS。我估计也是因为我前面说的那些原因。包括现在 Together AI，它的主要收入肯定也不是 MaaS，而是算力平台和 GPU 租赁服务，这些才是收入的大头。
DeepSeek 出来之后，我们看到市场热情度比较高，就很想试一下。试了一下之后，和我们之前的预想差不多，所以现在我们也打算不提供 MaaS 服务了。
程曼祺 Manqi Cheng
所以你们当时是因为 DeepSeek 这件事，又重新考虑要不要做 MaaS。尝试之后，还是回到了之前的判断：您觉得这件事很难赚钱。
尤洋
对。我觉得 MaaS 唯一能赚钱的可能是 ChatGPT 这种情况：它有独一档的模型，不会受价格战影响。
如果只是一个中小云厂商，没有模型壁垒，技术壁垒又很难拼得过顶尖大厂的开源方案，就很容易面临价格战和恶性竞争。
程曼祺 Manqi Cheng
因为它也没有模型壁垒，所以您认为有自己模型的公司自己做 MaaS，可能是合理的。
尤洋
是的。我简单说一下。昨天不知道您看到了没有，有消息说 ChatGPT-4.5 比 GPT-4 好很多倍，价格贵 500 倍。我觉得这是合理的，我可以阐述一下我的观点。
为了阐述这个观点，我先引用一些事实，当然也是我的观点。我觉得现在这轮 AGI 浪潮最大的功臣是 Google。
我可以列举几点。首先，我们现在都是神经网络和深度学习。这个方向是诺贝尔奖得主、图灵奖得主 Geoffrey Hinton 教授做了很多年。2012 年刚开始崛起的时候，也是他的团队做了 AlexNet。AlexNet 的共同作者还包括 OpenAI 的首席科学家，也就是被称为 ChatGPT 之父的人。
当时 Geoffrey Hinton 教授也说，他坚持了几十年的 AI 寒冬一直没有翻身，确实比较痛苦。那时候大家也不相信神经网络。刚开始爆发之后，他们也开始创业。最开始是 Google 收购了他们的公司，让科学家有了足够的经费和探索空间。包括吴恩达教授，也是在 Google 的资助下建立了 Google Brain。
第二，现在我们回看，所有大模型基本都是 Transformer。这个架构是 Google 提出的。BERT 也非常重要，它让人们相信 Transformer 比 LSTM、比 RNN 更好，让大家坚信了 Transformer 这条路线。BERT 也是 Google 做的。
现在 DeepSeek、ChatGPT 使用的 MoE，也是 Google 在 2021 年提出的 Switch Transformer。包括现在很热门的强化学习，也是 Google 在 2016 年做的 AlphaGo，让人们看到了强化学习的实力。DeepMind 的创始人其实也获得了诺贝尔奖。
所以我觉得，Google 首先是今天 AGI 浪潮里最大的贡献者。但我们想想，为什么它是最大的贡献者？我觉得因为 Google 是一家垄断性企业，它拿走了世界上绝大多数搜索引擎的利润。只有在有充足利润的情况下，它才愿意在一些其他非核心业务上，比如 AI 方向，投入很多钱去探索。
我觉得有两种市场：第一种是充分竞争的市场，第二种是垄断型市场。我个人觉得，长期而言我们需要垄断型市场。只有垄断型市场里的企业有利润，它才会去做非核心业务，投入足够的资源。
所以我感觉今天 OpenAI、ChatGPT 的思路是对的。它就应该去做垄断，这是给它的 reward，是对它创新的奖励。
程曼祺 Manqi Cheng
这可能又是一个比较特别的观点。您刚才讲到，Google 能获得垄断，是因为搜索引擎本来就有规模效应和网络效应。
尤洋
我的意思是，一家科技公司必须有一个足够垄断的业务，足够高的利润，它才愿意探索和它相关的其他行业。正因为 Google 在搜索引擎中有绝对的利润，它才有足够的钱去探索 AI。
程曼祺 Manqi Cheng
但现在 GPT-4.5 定得这么贵，它是 V3 的 500 倍，这件事情市场会接受吗？如果市场不接受，您其实也没有办法把它转化成利润。没有办法变成利润，就没有办法继续投入。
尤洋
这就是愿赌服输。市场接受了，就说明它的技术足够好。OpenAI 坚信自己的技术足够好，那它就值这个钱，就应该获得这么高的利润。
它的垄断来源，是它的模型实质上比别人好很多。如果一个市场大家整天打价格战，没有任何人有技术壁垒，那就没有人有能力投入研发资源，最后会陷入恶性竞争。
您看，今天在国内研发投入最高的其实也是华为。华为有足够高的利润，我感觉这不是什么坏事，这就是对它创新的奖励。
科技类公司就应该是这种垄断性企业：有足够高的利润，这首先是对创新的奖励；第二，只有垄断了，才会愿意在一些相关的前沿课题上投入。
程曼祺 Manqi Cheng
那您想表达的是，只有有顶尖模型能力的企业才应该去做 MaaS。比如 OpenAI 可以不受价格战影响，因为它有独占的模型，能够领先别人、获得溢价，再把溢价变成利润，继续发展新的东西。
尤洋
对。先不考虑政治问题。如果只考虑商业化行为，我觉得 OpenAI 做得很对：通过闭源把利润赚回来。否则这件事怎么持久？我花了几亿美元训练这个模型，这笔钱什么时候能赚回来？
纯粹从商业角度考虑，我必须多赚钱，这是对我创新的奖励。我的模型就是比别人好，我就应该多赚钱。
程曼祺 Manqi Cheng
但这是从领先模型公司自身的角度考虑。如果从整个 AI 生态的角度来看，像 DeepSeek 这样一直愿意开源自己最强模型的公司，是不是也带来了外部效应？它可以让下游应用有更多探索？
尤洋
这不是商业化行为。包括我看到一些报道说，梁文锋老师也不在乎多少日活、月活，这就说明他有宏大的理想。
我觉得 OpenAI 是在商言商。当然，我是一个普通人，我就先在商言商。
程曼祺 Manqi Cheng
如果具体来看，DeepSeek 今天发表的概览性文章，介绍了自己的推理优化方法，里面确实提到了很多可以帮助降低成本的方法。最近一周它也开源了很多工具。
如果从技术或者提效方法上看，您觉得里面有哪些亮点？
尤洋
我不过多评价 DeepSeek。这个比较敏感，我不想把自己放在和 DeepSeek 对立的位置。No comments，不评论，可能是比较好的选择。
程曼祺 Manqi Cheng
是因为如果您真的评论，可能又会和主流观点不一样？
尤洋
我觉得我容易犯错。我的结论就是，DeepSeek 非常优秀，它的团队不管是模型团队还是 AI 工程师团队，都非常优秀。
7. 吞吐量相差四十六倍
程曼祺 Manqi Cheng
那我问一些自己比较感兴趣的细节问题。您之前用 4 台 H800 的机器去测，一台机器有 8 张卡，测出来的实际效果是每台机器大概每秒输出 300 个 token。
我看今天 DeepSeek 在知乎上的文章，统计了 24 小时里的吞吐量。其中输入吞吐是每秒每节点 73.7K token，也就是 7.3 万多个 token；输出吞吐是每秒每节点 14.8K token，也就是 1.4 万多个 token。
仅看输出量，DeepSeek 的数据是您测算情况的 46 倍多。为什么会有这么大的差距？
尤洋
这种东西没法深入讨论。要不这样说吧：我用的 SGLang 或者 vLLM 太烂了，我就不评价这个。
当然，我们实验中发现，随着序列长度变化，每秒输出的 token 数也会不断变化，而且变化非常大。我可以读一组数据。
其实输入、输出的 length 变化时，输出 token 数变化非常剧烈。有的时候甚至只能出 100 多个 token，有的时候能出 1,000 多个 token。这是 2 台机器的数据。
当输入是 1,000、输出是 1,000 时，表现是最好的。但输入不变，还是 1,000，输出越来越长，比如变成 2,000、4,000、8,000，每秒输出的 token 数都会减少。
程曼祺 Manqi Cheng
你们最后的那个例子，是输入很长，有 32K，输出也很长，有 8K。那你们测下来，每秒只有 100 多个 token 的输出。
尤洋
我相信，您把博客放出来之后，肯定会有很多人说这些数据还能做到更好。但我觉得这其实不太相关。
即便它的速度比我快 2 倍，假定它的水平一骑绝尘，比 vLLM、SGLang 这些方案的水平高 2 倍，我觉得 MaaS 的关键还是机器利用率问题，这个问题控制不住。
再加上这是离线测试，在线服务是非常混乱的。真实的 MaaS，利用率应该是非常震荡的。真正起量之后，有些用户做翻译，有些用户做摘要，有些用户做多轮对话，序列长度都非常长。
输入 length、输出 length 都可能变化，或者用户拿它读一篇论文，最终性能可能会非常难看。
我还想说一点，很多企业为了省成本，可能会做模型阉割。它写的是满血版，但会再用剪枝、量化、蒸馏的手段，把满血版做一定程度的阉割。
程曼祺 Manqi Cheng
这是一个纯技术问题，我想请教一下。DeepSeek 在博客里写到，有一个项目是尽可能做负载均衡。它把 prefill load balancer，也就是输入阶段，和 decode，也就是输出阶段分开。
它提到的核心问题是，不同数据并行实例上的请求数量和长度不同，会导致一些计算问题。它也介绍了一些优化方法。
这里说的不同数据并行实例上的请求数量和长度不同，是您刚才说的那种情况吗？也就是实际使用时，每个序列的输入量和输出量都会有波动？
尤洋
我不想评价 DeepSeek 的任何技术细节，抱歉。
不过我可以说一个不针对任何人的例子。我们会有很多优化，这些优化很多是在离线机器上测出来的，有一些好的实验结果。但我觉得，它们不一定能在实际测试中都达到最理想的情况。
8. MaaS难逃价格竞争
程曼祺 Manqi Cheng
在现在这个时间点，您觉得 MaaS 服务很难赚钱。最近市场也有一些变化，包括 DeepSeek 开源了这些东西，理论上其他厂商也可以学习和使用。
您觉得再往下走，MaaS 市场会有什么变化？出现什么条件之后，这个生意才有可能成立？
尤洋
我觉得 MaaS 应该让 ChatGPT 去做，因为这是对它创新的奖励。它应该收一个很高的价格去做这件事，这是对创新的奖励。
程曼祺 Manqi Cheng
您说的是一个“应然”吗？您认为应该给它创新奖励。如果从“实然”的角度推理，可能会出现什么情况？
尤洋
如果有很好的开源模型，大家就会在那里卷价格。因为大家都没有模型壁垒，速度又差不多，那就只能开始卷价格。
程曼祺 Manqi Cheng
所以您的观点是，虽然有一些开源东西可以提升大家的效率，但开源之后每个人都能提升，大家的水平又差不多了，还是会同质化？
尤洋
对，我觉得最后会变成一个恶性竞争的市场。我还是觉得 AI 应该形成巨头垄断。只有拿到足够利润之后，企业才有能力像 Google 一样去做前瞻性研究。
当然，我不是鼓吹让 OpenAI 占据一切。中国肯定也需要这样一家公司，或者一两家这样的公司。
但 Google 是一个非常特殊的案例。除了中国市场以外，它拿走了全世界搜索引擎的利润，所以才有这么广阔的胸怀。
我感觉人没有绝对的好人、坏人，人穷志短。一个公司只有足够富、拥有足够的利润，才能做一些宏大的事情，才有可能成为百年老店。
程曼祺 Manqi Cheng
您刚才说到 MaaS 的需求非常不好预测，所以很难用比较少的机器去满足比较多的需求。
这让我想到之前的云计算。云计算最开始也是因为弹性的特点，让一些人觉得它可能不是一个可以成立的生意，但最后它还是成立了。
如果和当年的云计算相比，MaaS 和它的区别是什么？
尤洋
我觉得大多数云计算的成熟客户，还是把这一块资源包下来了。没有机器就用不了，所以必须把机器包下来。
但 MaaS 不一样。我不知道这台机器现在是满的、空置的，还是根本不能用。如果机器不够，就随时有崩溃的风险。
程曼祺 Manqi Cheng
未来商业模式也有可能变化。比如应用类客户不按 token 付费，而是按一段时间租用你的资源。
尤洋
那很好，这就不是今天这种 MaaS 商业模式了。
我的意思是，如果维持现在这种 MaaS 商业模式，它只能沦落到卷价格，而且我还要承担很高的风险。
9. 私有模型带来新机会
程曼祺 Manqi Cheng
接下来，在您看来，更广泛的 AI infra 领域还有哪些创业机会？如果 MaaS 是一个很难真正盈利、很难在商业上成功的机会，那机会是什么？
尤洋
我觉得机会是帮助更多企业做私有化大模型，提升它们做私有化大模型的效率。其实就是 AI 版的 Databricks，我引用贾爱卿老师的话，也可以叫 AI 版的 Databricks。
我们面向世界 2,000 强、中国 2,000 强客户，以及中小型企业，在中国市场、东南亚、中东、日韩做这件事。
程曼祺 Manqi Cheng
在你们已经接触的市场里，需求旺盛程度怎么样？
尤洋
我觉得还是非常火爆。这个市场其实不太需要超大模型，核心可能就是 Llama 7B 那种能力。关键是企业有很多珍贵的私有数据，基于这些数据把模型做好就可以了。
程曼祺 Manqi Cheng
您刚才说，MaaS 是一个壁垒比较低、竞争同质化、最后大家卷价格的领域。那你们现在选择的方向，如果要把它做好、获得一定溢价和利润，靠的是什么？
尤洋
靠的是我们的开源生态，思路和 Databricks 一样：先通过开源生态获得足够多的用户使用，再把这些用户转化成付费客户。
程曼祺 Manqi Cheng
对于大公司客户来说，也是靠开源生态吸引吗？还是说需要拜访客户，需要很强的商业销售能力，才能触达他们？
尤洋
我觉得两者都很重要。
首先，开源生态证明你有能力做这件事，技术能力很好。对大公司来说，这非常重要。它要选择供应商，你总得有说服力。
再一个就是销售能力。
程曼祺 Manqi Cheng
vLLM 和 SGLang 是两个比较主流的大模型推理开源生态。如果它们背后有一个公司，也可以做企业版，对吗？
尤洋
当然可以。但我们做的是 Post-Training，也就是微调。
我们那个 Colossal-AI，在全球创业公司里，我觉得 GitHub 上的指标还是最高的，至少在我们这个细分赛道里是这样。
程曼祺 Manqi Cheng
您说 GitHub 上的指标高，具体是通过什么体现？主页的关注数量，还是其他指标？
尤洋
GitHub 的 star 数、fork 数，以及 dependents 数。
程曼祺 Manqi Cheng
但我看你们网站的访问量并不高。
尤洋
我们是大宗商品交易，我的客单价平均每年是 10 万人民币。
您可以想想，我一年如果有 1,000 个客户，就是 1 亿元。To B 的网站访问量肯定不会太高，因为这是大宗商品交易。
如果 To C，一个用户每年付 20 块钱，或者 100 块钱，那需要 100 万个客户才是一亿元。
程曼祺 Manqi Cheng
您看到的机会，是做 AI 版的 Databricks，帮助客户搭建模型。但 Databricks 是创业公司里比较大的公司，资源也很丰富，去年还完成了 100 亿美元的新融资。它自己就在做这个市场，也是在帮助客户搭建 AI 大模型。
另一方面，微软、阿里这样的更大公司，或者一些很强的开源生态，也完全可以做这个业务。那 infra 层的创业公司做这件事，生存空间在哪里？
尤洋
首先，我们肯定还不是一个大规模的平台，不是 AI 版的 Databricks。我们是想模仿 Databricks 的路径，从小做到大。
为什么？我觉得 Databricks 的开发平台，前端是帮助用户做大数据处理应用，后台是用户的数据库。我们的前端是帮助用户做垂直模型、私有模型，后端是 GPU。我觉得这个类比非常明显。
我们觉得自己可以做这件事，是因为它足够细分、足够简单。创业公司不太适合做超大型、难度非常高、特别复杂的产品，那肯定做不过大厂。我们没有 100 亿美元，为什么要做那种事情？
这个产品只有 3 个点。第一个是帮助用户处理好自己的私有数据；第二个是开始微调，比如 RL、蒸馏、SFT；第三个是把自己的模型做好之后部署推理。它可以在企业内部使用，也可以部署到自己的 App 里。
这 3 点功能非常清晰。第一点可以依赖已经比较成熟的外部工具，后两点是我们的核心功能。把它们打通之后，就是一个非常细分、非常清晰、可以精准定位的产品。
第二个问题是，微软、阿里，甚至 AWS 这些大公司，都有很强的开源生态和 infrastructure 能力。我们肯定不会和它们直接竞争，我们面向的客户也非常不一样。
我们不会做一个单子几千万人民币的项目。我们的客户大概是 10 万到 100 万人民币这个量级。
程曼祺 Manqi Cheng
为什么你们的海外版产品可以在海外和 AWS、微软云竞争？
尤洋
因为我们的平台上也有很好的 GPU。我们的海外版由新加坡公司运营，有 H200，甚至有 B200。
GPU 是最稀缺的资源，尤其在我们这类平台上。然后我们再通过 Colossal-AI 的生态，把 Colossal-AI 上的用户引到我们平台上。
首先，我们通过优化或者东南亚的成本，把 GPU 价格压到最低。目前对东南亚、中东客户而言，大概比 AWS、微软云低 70% 到 80%。再通过 Colossal-AI 提供丰富的功能和易用性，进一步提升利润率。
当然我强调一下，这只针对中小型客户，大型客户可能不是这套逻辑。
所以首先是客户定位不一样。对于同样的客户，我们就用这些可以量化的优势来竞争。
程曼祺 Manqi Cheng
您刚才提到，MaaS 技术壁垒比较小，一个重要原因是一些很强的模型公司会自己做掉 MaaS 这一层。
那做 AI 版 Databricks、帮助客户搭建私有大模型，这个方向的技术壁垒主要是什么？
尤洋
MaaS 层现在确实很难体现出技术壁垒。所以我们帮助客户，特别是在中国市场，去做私有大模型和行业大模型，也可以绑定一体机来卖。
这样的壁垒是什么？我觉得第一是我们出发得比较早。目前我们已经帮助很多世界 500 强、世界 2,000 强客户做过私有化模型部署，团队积累了非常丰富的经验。
第二，我们的开源软件在这方面可以直接备用。这两点深度绑定之后，能够给用户一个最佳的私有化模型部署体验。我觉得这就是我们的壁垒和优势，当然需要一定时间和技术含量。
程曼祺 Manqi Cheng
你们接下来有什么新的拓展计划？
尤洋
按部就班地发展业务。
我们也在做自己的视频大模型。我觉得 AI infrastructure 领域，大语言模型能做的事情已经基本做完了。大语言模型大概就是这个样子，下一阶段可能的重大突破就是多模态，尤其是视频大模型。
所以我们会重点优化这些东西。效果好的话，就把它做成一个产生现金流的业务；效果不好的话，就把它当作 infrastructure，也可以开源，让更多人使用我们的 infrastructure 层。
程曼祺 Manqi Cheng
你们之所以想做这个方向，是不是也看到了视频生成模型的商业化机会？据我了解，视频生成模型现在的商业变现确实会好一些，因为有些地方已经可以把它当作工具来使用。
尤洋
对，它交付的是一个产品。生成的是一段视频，是一个产品。现在很多工作室做一分钟的视频，就要 1 万块钱。
程曼祺 Manqi Cheng
潞晨科技是 2021 年 9 月成立的，成立时距离 ChatGPT 爆火还有一年多。
尤洋
GPT-3 在 2020 年就开始火了，只不过它没有出圈。GPT-3 是 2020 年 6 月发布的。
程曼祺 Manqi Cheng
那您为什么当时没有想过直接做模型公司？相当于您比很多 2023 年才开始做这件事的人，更早成立了公司。
尤洋
因为我们做的是 AI 基础设施，天然更擅长做这件事。
程曼祺 Manqi Cheng
所以您最开始想的，就是为 GPT-3 这一类语言模型做系统层的优化，看有没有创业机会。
尤洋
其实就是帮助别人做私有化的 GPT-3。我们相信 GPT-3 是一个很聪明的孩子，它需要学习一些专业知识，才能变得更好。
程曼祺 Manqi Cheng
您本身的长项是 infra。那做视频生成，您觉得需要补充什么新的能力？因为最开始没有去做语言模型，是因为您觉得 infra 是强项。
尤洋
我们现在有几个非常高水平的博士生，他们从新加坡国立大学毕业之后加入了公司，刚好补充了算法、数据等方面的能力，比如如何设计模型结构、设计优化算法，以及如何处理数据。
我们现在进来了一批非常优秀的年轻人。
程曼祺 Manqi Cheng
最开始如果李开复老师的团队没有联系您，您会在那个时间点创业吗？
尤洋
可能也会，很有可能。
我当时在实验室的时候，就感觉伯克利很多老师都会选择创业。因为我觉得，最终能够形成生产力、做成产品，才真正形成闭环。
我感觉学术界还是有很多问题。现在最好的 AI 技术，很多都不是学术界做出来的，都是 OpenAI、Google 做出来的。
比如我们当时做一些优化算法，学术界非要做证明。但 AI 是非凸优化，non-convex，很多东西其实证明不了收敛。
程曼祺 Manqi Cheng
一方面，工业界确实做出了很多很厉害的成果；另一方面，学术界其实也有一些很好的想法，只是可能缺少算力或数据资源，没办法让结果变得非常直观。
大家评判一个东西，最直接的还是看最终效果，能不能 work。另一方面，学术界有些前瞻性的想法，可能现在还不太能直观看到优势。
关于 MaaS，以及您近期言论引发的一些风波，最后还想表达什么吗？
尤洋
我最开始只是抨击了一下中小云厂商，也没想到最后会引发这么多舆论关注。其实昨天我都不太想关注了，偶尔看了一下知乎，有人发了一个帖子，我就回应了一下。
程曼祺 Manqi Cheng
当你发表一些不太主流、甚至有人认为不太正确的观点时，心理压力大吗？
尤洋
没有，无所谓。这不就是我的看法吗？
我觉得在技术上、商业模式上，只要没有什么特别敏感的，大家就应该广泛讨论，这样才能把问题讨论清楚。
我这两天不太高兴的事情，是好像大家觉得我在和 DeepSeek 对着干。我真的不是这个意思。我是在抨击中小型云厂商卖 DeepSeek API、夸大数据，在吹嘘自己加速了多少倍。
如果您看一下我的视频，我最后说了，中小云厂商投入 100 块钱只能收回 1 块钱。也就是说，大厂去做的话，投入 1 块钱可能收回 30 到 50 块钱。我绝对说过这样的原话。
程曼祺 Manqi Cheng
在录这期节目之前，有很多人给您打电话，也是和今天的事情有关吗？还是其他事情？
尤洋
是一些朋友在问。
程曼祺 Manqi Cheng
是投资人找您了吗？
尤洋
倒没有。因为我觉得我没有和 DeepSeek 对立。我只是想抨击中小型云厂商卖 DeepSeek API、夸大数据这件事。
我估计未来几天会有很多人对我进行人身攻击，但我也不打算回应了。我觉得很多还是噪音。
程曼祺 Manqi Cheng
好，今天谢谢尤老师做客《晚点聊》。至少您比较愿意表达自己的观点，也愿意回应一些事情。大家对这件事有不同看法，都可以在评论区讨论，但确实尽量不要进行人身攻击。
尤洋
如果你认为自己讲的是事实，那就讲事实。
程曼祺 Manqi Cheng
好，谢谢您。
尤洋
好的，再见。