过去三年多,AI 算力增长了大约三百倍,但光连接的总带宽只增长了大约三十倍。这意味着今天限制 AI 集群继续做大的,越来越不是单点的算力,而是芯片之间的数据搬运效率。换句话说,真正卡住 AI 系统上限的,已经不只是算,而是连。而要打穿这堵通信墙,最关键的一类技术就是光互连。今天这期节目我们请到的嘉宾是全球光互联的龙头,硅谷AI云计算顶级巨头的核心供应商,TeraHop的副总裁于让尘博士。
啊,当算力发展三百倍,光互联才发展三十倍,其实这个差距有个十倍的一个gap,这个间隙要去填补,必须整个业内一起来努力。所以在公开的场合可能会有小作文到处去写说,啊,这家公司是选这个,那家公司选那个,我想。我想说的是,所有的互联网公司他们是很实际的,他们不会做宗教式的选择。可插拔模块、N P O、 C P O,他甚至同一个互联网公司他三项都选啊,叫做成人不做选择题。整个产业链的环节哪边的蛋糕在变大,利润是怎么样重新分配的?呃,这个这个很快变成一个万亿级别的问题。
曹卿云 Qingyun Cao
于总,欢迎您来到《硅谷坐标》。您是光互联领域的资深专家,而且一直在硅谷一线科技大厂中感受整个光互联需求的变化。您先跟我们介绍一下,在整个 AI 最广义的格局下,光互联的重要性。
1. 光互联成为算力核心
于让尘(Ryan Yu)
其实,光互联已经成为整个 AI 算力非常重要的组成部分,所以它不光是一个配件,实际上已经成为整个算力中心不可替代的连接。这个连接本身已经变成计算算力的一部分。算力的发展已经不能只靠单个芯片,在单个算力芯片不能满足需求的情况下,怎么通过光互联让它们组成一个“大脑”,这个连接和组成大脑的发展是一个循序渐进的过程。
这个过程现在还处于早期阶段。大家可以看到,从 2022 年到今年,整个算力发展了大概 300 倍。AI 光连接也发展得很快,但是从数量级上看,我们只发展了 30 倍。
光互联的重要性,整个业内都已经认识到这一点。算力发展 300 倍,光互联才发展 30 倍,这个差距有 10 倍的 gap,也就是有一个间隙需要去填补,必须整个业内一起来努力。
从人脑的演化,我们可以做一个比喻。人的大脑算力在脑灰质,脑灰质实际上分布在大脑的表层。灰质相当于人大脑的算力中心,所有的计算运算其实都在灰质上完成。
但它实际上又是高度连接的,这个高度连接是通过脑白质来实现的。你可以把它想象成两个区域:一个负责算力,一个负责连接。
刚才说到脑灰质和脑白质。从人脑的比例来讲,基本上可以说是一比一,当然也有 40% 对 60% 的说法。低等动物的大脑其实比较小,而且它的灰质更多,白质反而更少。
为什么人的大脑发展到今天会是这个情况?早期的小猫、小狗不需要那么高的智慧,它们在大脑互联方面投入的成本很低,白质和灰质的比例大概有 10% 到 20% 就够了。抓老鼠可能不需要像人一样应对那么多问题,也不需要那么大的算力。
经过过去几万年的发展,人脑已经发展到基本上白质和灰质拥有相当的体积、相当的容量。因为在资源格局有限的情况下,这实际上是对它最有利的演变方向。
我们今天可能还处在小鼠、小猫的阶段,因为现在灰质的比例还是比较大,白质相对比较小。但是随着整个算力的发展,大脑越做越大,我们会发现,算力的发展、灰质的发展实际上要低于连接的发展,也就是白质的发展。总体来看,这才是更优化的逻辑。
所以,光互联作为未来的发展方向,应该会持续增加,而且它的增长速度会大于算力的增长速度。
曹卿云 Qingyun Cao
那光互联在整个 AI 数据中心里,大概是什么样的体量?
于让尘(Ryan Yu)
从资本开支来讲,现在光互联只能占到总体资本开支的个位数,大概是几个 percent,但是增长得很快。如果跟算力进行对比,从算力和连接的投入比例来看,算力如果是 10,现在连接可能只在 10 到 20 左右。
从这个发展趋势来看,算力的一份投入,连接的投入应该增长大于 1,这才能保证整个算力不被浪费。所以光连接的发展还有非常大的增长空间。
曹卿云 Qingyun Cao
如果我们从俯瞰整个数据中心架构的角度来看,业界经常提到 scale up、scale out 和 scale across。您能不能用普通人能够理解的方式,简单讲一下这 3 个概念,以及它们之间有什么区别?
2. AI算力走向三层扩展
于让尘(Ryan Yu)
过去几年,我们的发展主要都叫 scale out。意思是,当单个人的算力不够时,怎么在算力之间做连接。如果用类比来讲,可以说一个人的大脑不够用了,那我就增加更多的人。我们实际上是在做更多大脑之间的连接。
现在大脑之间的互联规模有多大?基本上已经到万卡级别了。要做一个大的 training,比如训练万卡级别的大语言模型,一个 1 trillion parameters 的 training 可能需要万卡,基本上需要一个大数据中心。
在这个大数据中心里面,算力之间的互联需要几层网络连接,所以这个需求本身已经非常大。大脑之间的互联叫 scale out,而要把大脑本身做得更强、更大,就是把大脑自身扩展得更强,这个叫 scale up。
但 scale up 因为是大脑自身的发展,它的互联带宽非常大,远超过 scale out,基本上是 10 倍带宽的比例。以英伟达为例,NVL72 是在一个机架之内先把 72 个芯片组成一个大脑。
这个机架内部完全使用铜缆连接。因为是铜缆连接,它的带宽和距离都有限,实际上已经在制约这个大脑进一步发展的前景。下一个时代如果要把这个大脑继续做大,就必须通过光互联连接更多的算力芯片。
现在单机架是 72 颗芯片,英伟达已经开始进入 576 颗,甚至还有更激进的互联网公司在部署 1,000 颗。像谷歌的 TPU,已经能够把 9,000 个 TPU 互联起来。
当然,谷歌采用的是一种混合集成方式:机架内还使用铜缆,但机架外已经开始使用 OCS 加光互联,构建一个更大型的大脑。这是业内非常有前景的发展方向。
至于 scale across,就是一个大数据中心的物理建筑也不够用了,因为会受到地理、供电和功耗的限制。于是就需要通过多个数据中心互联,再把它们变成整个训练算力中心的一部分,这部分连接就叫 scale across。
回过头来说,scale up 是带宽最大的一个领域。从光连接的角度来看,它是一个低起点的机会,但却是 10 倍的机会。scale up、scale out 和 scale across 都在飞速发展,但 scale up 是潜力最大、发展空间最大的一个节点。
从物理距离来看,scale up 的距离相对较短,所以一定是从核心开始向外延伸。刚才说的连接现在还是从一个机架开始,未来会延展到多个机架,可能是 8 个机架、10 个机架,谷歌可能会达到几十个机架。
这个范围相对还是比较短的,比如从几米扩展到几十米,这是 scale up 最重要的部分。但是它的带宽特别宽,是 10 倍的带宽,所以在这样的组合下,方案选择实际上也有很多不同的考量。
另一个考量点是功耗问题。现在整个功耗都花在算力芯片上,但既然要做连接,就必须把一部分功耗分配到连接上。因为是 10 倍带宽的连接,对功耗或者说效率的要求又比较高,所以怎么做出合适的光互联方案,也是业内非常重要、大家都在发展的课题。
scale out 做一个很大的 building,大概需要覆盖 1 到 2 公里。因为距离变长了,所以它对光互联的要求又不一样。总体来讲,它的带宽稍微小一些,可能是 scale up 的八分之一到十分之一,但距离变长了,对光互联本身的要求也不同。
再说 scale across,就更远了。数据中心之间的互联可以从几公里到几十公里,甚至像 Meta 最近发布的一些大型数据中心,可以达到 Manhattan size,也就是像纽约市曼哈顿区那么大的数据中心园区。
所以你可以想象,这个规模是从机架,到多机架,到大楼,再到整个曼哈顿,是一个规模巨大的发展过程。不同的 solution、不同的光互联方案,都要在这个格局下演变、变通,用底层技术来支持。
曹卿云 Qingyun Cao
您刚刚讲到 scale up 这个场景。它对于带宽和延时都是最苛刻的,需要让成千上万颗 GPU 像一个整体一样运行。我们知道现在机架内的方案都是铜缆,行业里常说“光进铜退”,未来需要用光。
普通人可能会觉得,光的成本比铜高好几倍。那我们应该怎么样思考这件事,经济账到底应该怎么算?
3. 光与铜的经济账
于让尘(Ryan Yu)
有一种说法叫“use copper when you can, use optics when you must”,所以铜互联还会持续相当长时间。只是铜互联有物理局限,这个局限是不可能改变的。
整体优化来讲,在一个机架之内可以用铜,就继续用铜。但是如果你需要把这个大脑变得更强、更大,到了必须用光的时候,那就要用光。
刚才说到成本问题,其实要反过来计算,不能简单地把光互联和铜互联进行比较。终端客户构建算力时,应该看的是单位算力输出,或者单位 token 输出,用不同的互联方案能够给它带来什么收益。
最后应该计算的是收益。即使在光互联上多花一些钱,但是它让单位 token 的能耗和单位成本得到优化,那一定会让大家愿意投入、愿意买单。如果最后的结果是能够产生更多 token、产生更多算力,那么这个支出就是必要的。
曹卿云 Qingyun Cao
我可以这样理解吗?一块 GPU 是 3 万到 5 万美元的体量,而一块光模块可能是几千美元。如果我们把光互联方案做得更好,能够撬动成千上万颗 GPU,让整个集群的利用率更高,那么从经济账来看,光互联客户的 willingness to pay 其实可以更高。
于让尘(Ryan Yu)
我觉得你的理解是对的。如果你在发展算力,但是互联没有跟上,就会造成算力闲置,或者算力利用率不高。
这就像你花了 3 万美元买一块 GPU,却为了在互联上省钱,导致这 3 万美元的潜力没有发挥出来。那损失的就是算力,也是 token 的损失。
所以从这个角度讲,一定要平衡整体开销:一个是算力,一个是整体互联。你要把它们当作一个整体来优化,不要想着把钱省在互联上。你省在互联上,实际上牺牲的是算力,也牺牲了最后给客户产生 token 的效率。
4. 三条光互联技术路线
曹卿云 Qingyun Cao
目前,硅谷科技大厂在光互联方案上出现了技术路径的十字路口。可插拔方案、NPO、CPO,本质上都是在回答同一个问题:光接口到底应该离主芯片有多近?
第一类是可插拔方案。它是外挂式、可以插拔和更换的独立部件,缺点是离主芯片最远,中间电信号传输距离最大,功耗也相对较高。它的优点是灵活,坏了可以直接拔掉换新的,不会影响主芯片,供应链也最开放。
接下来是 CPO,它的思路正好相反,尽量把光和主芯片做成一个深度集成的整体。优点是电路径被压缩到最短,带宽密度最高,延迟最小,但代价同样很大:散热会更加集中,系统耦合也会更深。如果 CPO 出现故障,可能会影响整块板卡,甚至影响整个系统。
CPO 目前被认为是最适合下一代超大规模 AI 集群的形态,而 NPO 是介于可插拔和 CPO 之间的一条路线。它比可插拔方案更靠近芯片,但也没有激进到和主芯片封装在一起,可以说是在性能和维护之间寻找平衡。
如果把这 4 条不同的技术路线放在同一个坐标系里比较,您觉得现在最难平衡的是哪些指标?
于让尘(Ryan Yu)
这是几个比较难平衡的问题。它不是一个选择题,而是一个平衡问题。一个算力中心要进行优化,功耗、成本、带宽、密度等所有因素都要平衡。
这会影响后面不同应用场景、不同解决方案在构建特定算力时的优先级。刚才我还少讲了一个维度,就是可维护性,以及可靠性。对客户来讲,所有这些维度都很重要。
既然都重要,就会逼着你去选择到底哪个最重要。这时候就会集中到你的设计方案上。比如做算力卡时,到底选择哪个方案最优?或者构建交换机时,会选择什么样的方案?
曹卿云 Qingyun Cao
刚刚讲到这 3 种方案,我们也很好奇,现在硅谷几家科技大厂是怎么选择技术路线的?背后有哪些考量?
于让尘(Ryan Yu)
从互联网大厂来讲,他们的主要考量是:如果我买了英伟达的算力,或者自己建设自己的芯片。现在各大互联网公司都在建设自己的芯片,几乎毫无例外。
谷歌有 TPU,Meta 有 MTIA,AWS,也就是亚马逊,有 Trainium,微软有 Maia,甚至 OpenAI 也在做自己的 Titan,伊隆·马斯克的 xAI 也在做自己的 AI 芯片。
所有这些互联网公司,一方面在购买英伟达的垂直整合系统和垂直整合芯片,另一方面也在建设自己的算力大脑。它们实际上都是两条腿走路,甚至是多条腿走路。
在这个格局下,它们一定欢迎开放的光互联生态。第二,它们对走向硅光这个方向也高度认可。它们知道,算力的增长不能靠传统分立器件的组装来实现,一定要走半导体高度集成的方向。
至于每家公司,可能在优先级上有所不同。有些厂家比较喜欢继续沿用 pluggable,也就是可插拔模块,他们可能会更喜欢 12.8T XPO。其他互联网公司可能更希望组建高密度的算力卡,再和交换机互联,那可能更喜欢 NPO,或者更喜欢 Open CPO,甚至有可能选择 pluggable CPO,通过 Open Socket 的方式,把 CPO、NPO 等方案用在算力卡上。
所以,各家的大方向应该说是大同小异。
曹卿云 Qingyun Cao
我们知道,谷歌是不是还在继续使用可插拔方案?Meta 和亚马逊选择的是 NPO,英伟达可能想往 CPO 的方向发展。为什么它们会选择不同的路线?背后是各家公司自身有哪些不同的考虑?
于让尘(Ryan Yu)
从公开消息来看,谷歌比较倾向于使用可插拔模块。这一点它在 OCP 的公开讨论中讲过:CPO 总是 two years away,而且每年都是 two years away。所以你可以想见,它们比较优先选择可插拔模块。
但是私下里,它们是不是把所有工具箱都在看?在不同的算力交换、不同的 AI 主网上,它们可能会有不同的选项。
其实并不是外界想象的那样,每个互联网公司都有所谓宗教式的信仰,说一定要选什么、不选什么。到最后大家都很现实:哪个方案能够帮助你构建最合适、最优化的算力中心,你就会选择哪个方案。
所以在公开场合,可能会有一些文章到处写,说这家公司选这个,那家公司选那个。我想说的是,所有互联网公司都很实际,它们不会做宗教式的选择。
什么叫宗教式选择?就是不管代价如何,我就要选这个方案。这其实是不合理的。更合理的情况是,各家的架构有所不同,会有不同的偏好和优先级;或者在特定架构的排列组合下,选择最优方案。
同时,即使在同一个大互联网公司的内部架构中,也会有不同的种类。外界的印象只是表面现象,更核心的情况是,这些互联网公司都会选择最适合自己算力中心硬件的方式,而且不局限于只选一种,而是会选择多种方案,在不同应用场景下采用不同的方案。
可插拔模块、NPO、CPO,甚至同一个互联网公司 3 项都会选。叫作“成年人不做选择题”。
曹卿云 Qingyun Cao
光模块或光互联的总带宽,可以粗略理解成两件事相乘:第一是每条车道有多快,也就是每通道的速率;第二是总共有多少条车道,也就是通道数量。光模块带宽的增加,一种方式是增加车道数,另一种方式是把单条车道做得更快。
您刚刚讲到,在新增的 10 倍增长市场里,早期市场上出现了很多不同的方案。您觉得未来这个市场技术演变的节奏是怎么样的?近期、中期、远期,哪些方案会先落地,未来又会往哪个方向发展?
5. 带宽进入多维增长
于让尘(Ryan Yu)
这个问题也很好。整个业内的发展本身也是多个维度的,我讲讲现在能看到的比较重要的方向。
第一个重要方向就是 scale up 和 scale across,它们会继续增长,但增长本身有自己的节奏。Scale up 是我们业内最大的增长机会,因为它本身就是一个 10 倍的增长机会。
近期,怎么帮助客户在 scale up 中构建更大的大脑,让更多成百上千个 GPU、XPU 能够组成更大的大脑,构建更大的 scale-up domain,肯定是业内最重要的发展方向之一。
从我们自己推动的产品来看,12.8T 的 XPO 已经推出,6.4T 的 NPO、CPO 也已经推出。这些产品已经给客户提供了选择。
再往后还有哪些增长点?第一个是速率仍然有一定空间继续增长。我们现在是 200G per lane、1.6T,今年会开始量产。在未来 2、3 年,200G per lane 会成为一个很大的增长维度。
我们业内已经在讨论 400G per lane,也就是每个通道达到 400G。这是一个热点,也是一个可见的发展方向。未来 2、3 年,400G 很可能一定会到来。
同时,在增长速率的同时,我们是不是也应该增加通道数?传统上从 8 lane 一下跳到 64 lane,NPO、CPO 现在是 32 lane,多通道路线也一定会继续发展,不会停留在这里。64 lane、32 lane 后面可能还会发展到 128 lane,在更高的通道数上继续发展。
到了某个节点,铜实在走不下去了。我觉得总会有这一天。现在铜缆大概能走 1.5 米到 2 米,到了 400G,可能 1 米都很勉强。400G 以后铜缆还会不会存在?这是物理限制,没办法克服。
可能 1 米最后会变成半米。那时是不是会变成全光?如果完全去掉铜,铜就退出了,这就叫“光进铜退”。
等铜最终退出的时候,光互联的形态可能也会有所不同。原因在于,为了支持铜缆,电芯片连接的通道速率有特定逻辑。如果完全拿掉铜缆连接,整个逻辑会重新构造,这可能带来不同的光解决方案。
甚至速率不一定继续往高走,而可能往低速走,让整个连接接口变得更简单。接口变简单有很大的好处,可以把整体功耗降下来,但是通道数会急剧增加。
所以业内现在也在探索一条叫 slow and wide 的路线,也就是速度慢一些,但是通道更宽。你可以想象,虽然每辆车的载量比较小,但是有很多辆小车同时往前推进,效率可能会高于一辆装载量很大、但非常笨重的车。
这在物理上是可以实现的,已经有一些尝试。当然,我现在是在展望未来,这条路也有可能继续发展。所以未来有很多维度:既可以往高速方向发展,也可以往低速但更宽的方向发展,lane 数量肯定也会继续增加。
另外,如果从 scale up、scale across 的方向来看,业内还有一个发展方向叫 coherent light,也就是相干光。它采用更高阶的调制技术,不一定马上应用到 scale up,但在 scale out、scale across 这部分,未来会越来越需要借鉴这项技术。
相干传输在特定的排列组合下,会成为一种更有效率的方式。
曹卿云 Qingyun Cao
说到光模块带宽,我们以前谈的通常是 400G、800G、1.6T、3.2T,现在 TeraHop 突然提出了 12.8T,感觉是一次很大的飞跃。对于外行人来说,为什么带宽能够一下提升这么大的台阶?
于让尘(Ryan Yu)
这个问题应该分成两个维度回答:一个是需求,一个是可行性,两个缺一不可。有需求但不可行,也没有用。
从需求方面来看,最重要的瓶颈就是这个 10 倍 gap,所以需求是明确的。另外,刚才说到 scale out 和 scale up 的发展,铜缆在单机柜内已经进入瓶颈,所以必须要有光解决方案。12.8T 实际上就是在解决这个需求。
从可行性角度来看,为什么它是可行的?这又回到硅光的逻辑。对硅光来讲,只要制程开发出来,良率和可靠性发展到一定程度,做更多通道就是一个必然的发展方向。
从可行性来讲,我们已经走到了这一步,已经有 1,000 多个 8 通道产品。接下来很自然就会发展到 16 通道、32 通道、64 通道。技术基础已经 ready,已经成熟,可以支撑 12.8T 的 solution。
所以,需求和可行性都已经到位了,这件事就必然会发生。
曹卿云 Qingyun Cao
今年 3 月初,英伟达也向 Lumentum 和 Coherent 投资了总计 40 亿美元,并签署了战略合作协议。这释放了怎样的产业信号?
6. 供应链转向开放生态
于让尘(Ryan Yu)
这只是在公开证明英伟达对光互联的重视程度。它基本上是在担心供应链能不能跟上 10 倍增长的步伐,所以用真金白银锁定供应链。
当然,这个具体案例主要是在锁定激光器供应。实际上,黄仁勋已经两次在 GTC 上讲过,光互联是整个算力构建中非常重要的组成部分。其中最重要的核心就是 CPO,因为它下一步构建时要使用 co-packaged optics。
它在做这件事时需要激光器,所以要锁定激光器供应商。从这个角度讲,这只是一个很大格局下的小插曲,但它是一个非常明确的公开证明,说明光互联在构建 AI 大脑时的重要性。
曹卿云 Qingyun Cao
可能就像芯片一样,英伟达的芯片是最好的,但客户也不希望被英伟达完全锁定,还需要推动自研芯片。所以它们一边使用英伟达的产品,一边也从供应链和战略角度考虑供应链多元化,是这样的逻辑吗?
于让尘(Ryan Yu)
这些都是相辅相成的。第一个,终端客户不愿意被一家供应商锁死,实际上已经是在 vote with wallet,也就是自己花钱,而且花大把的钱建设自己的算力芯片。
它们觉得,到了后面,构建算力本身会成为核心竞争力的一部分。它们不只是提供服务,还要进入 infra business,自己建设算力中心。所以做自己的芯片已经不是一个选项,而是必须做的事情。
这是各大互联网公司都在做的事情。从这个角度讲,它们一定需要配套的连接方案来构建算力。互联已经不是一个配件,而是一个必选项,是一起优化算力的组成部分。
整体解决方案的多样性和丰富性,以及多源协议的充分供应,对客户都很重要。我们既要照顾客户的特定需求,也要照顾方案的丰富性,这对整个 AI 生态的构建同样非常重要。
不能只是某个供应商自己选择了一个方案,然后强行推给所有客户。我觉得这条路线一定走不远。它可能在一定时间、一定条件下推得动,但要想实现大规模商用和大规模采用,就一定要具备丰富性,提供各个维度的可选项,让客户自己进行优化。只有这样,生态才能健康发展。
曹卿云 Qingyun Cao
今年 3 月,和 GDC 几乎同时举行的 OFC,是光互联行业非常重要的大会,您也是参展商之一。我们感受到一个强烈的信号:这次有很多开放标准组织出现。
您能不能解释一下,为什么在这个时候会有这么多不同的声音,去维护这样一个开放生态?
于让尘(Ryan Yu)
今年相比去年,业内推出了多项非常重大的多源协议和标准。TeraHop 也是这一轮新标准和新多源协议的主要推动者。
我们发布了最重要的 12.8T XPO MSA,还发布了一个叫 Open CPO-X MSA 的协议。这两项重大协议,从光互联带宽来讲,可以实现 4 倍到 8 倍的增长。
目前已经有 100 家公司愿意参与这些多源协议,包括互联网公司、芯片公司和模块公司,所以很快就形成了一个大家乐见其成的生态。特别是终端客户,对这些方案非常有兴趣,希望共同建设下一代 AI data center 硬件。
现在市面上比较热闹的一两家大客户、大厂商和大供应商,使用的方案都比较 proprietary,也就是比较私有、比较垂直整合。这种形态可以拥有一定市场,但对终端客户来讲并不是他们乐见的。
因为对客户来说,这会变成垂直整合打包销售,供应商的议价能力变得非常强势,对生态硬件并不健康。这也是为什么 CPO 谈了这么久却一直没有规模商用的原因之一。
第一个瓶颈是客户不太喜欢,第二个是垂直整合本身的技术瓶颈也非常具有挑战性。
另外还有 Open CPO-X 这个生态。如果对密度的要求更高,特别是算力板卡构建需要更紧凑、密度更高的光连接解决方案,传统上可能会说,那就去做 CPO。
做 CPO 本身没有问题,我们也支持做 CPO,只是要区分这是一个封闭的 CPO,还是一个开放的 CPO。比如在可插拔方面,它能够继续维持易于维护、替换和维修的特点,同时又能满足高密度、小尺寸的要求,既可以在板上,也可以在衬底上使用。
这就是 Open CPO-X SDM-MCF。这个名字有点拗口,但实际上是一个多芯光纤的多源协议。
为什么要做这件事?因为当你要构建这么大的大脑、拥有这么大的容量并把信号输出时,光纤本身会变成瓶颈,光纤密度不够高。光纤的直径大概和头发丝一样,但这么大的容量要从一个机架出来,再部署到整个数据中心,光纤本身就可能成为瓶颈。
所以,这是另外一个多源协议,让多芯光纤成为一个大家都能使用的协议。一根光纤可以跑 4 个通道。这也是在帮助终端客户构建数据中心时,提供更多选项和更多排列组合,让他们能够实现 10 倍增长。
7. OCS重构AI网络
曹卿云 Qingyun Cao
OCS,也就是 Optical Circuit Switch,中文叫光交换机。它不像传统电交换机那样,需要在中间对数据进行处理、判断和转发,而是可以直接让数据以光的形式沿着专用路径通过,建立端到端光路径。
所以,它特别适合 AI 训练这种大吞吐、相对可预测的场景。我们刚刚谈了很多光模块的带宽,也知道谷歌把这个问题的思考提升到了一个新的维度:不只是讨论单点带宽,而是在讨论整个 AI 网络如何被重新组织。
谷歌已经把 OCS 大规模应用到自己的 TPU 系统中。您怎么看 OCS 对这个产业的意义?
于让尘(Ryan Yu)
OCS 也是一个热点。它实际上可以从几个维度来看:一个是解决算力连接的问题,这个连接问题可以在整个网络不同层次上得到解决。
对于 TPU 的解决方案来讲,OCS 是它构建 scale up 的一个非常重要的组成部分。按照谷歌公开发布的信息,它可以使用 9,000 个 TPU,再加上 OCS,组建一个 super brain,也就是它最强大的大脑。
这里面有哪些优势?第一,它取代了电交换。用 OCS 取代电交换,首先可以节省功耗,同时也能降低时延。电交换本身存在时延,而光交换是透明的:数据进入 OCS 后,转换到另外一个通道,不需要进行复杂处理,直接就能切换过去。
所以它有几个很大的优势:降低时延、节省功耗,同时节省成本。
但做 OCS 也不是没有代价。必须要说明的是,OCS 目前还不能完全取代电交换。OCS 还是比较慢的,基本上是一个重新规划路径的工具。
它在什么条件下可用?它的工作流需要相对稳定、可预测。在这种条件下,OCS 才比较好用。
另外,如果某个环节出现可靠性问题,比如发生故障,也可以通过重新调度数据流的方式快速修复,这也是 OCS 的一个很大优势。
所以在现在的 AI 组件中,OCS 也是一个热点,大家都在评估如何把 OCS 应用到更多地方。各大互联网公司都在做实验,但谷歌走在最前面,也走得最远。它大概在 10 年前就已经开始做这件事,所以布局比其他互联网公司都领先。
这里面涉及很多软件和算法开发。各大互联网公司可能都需要自己开发一套算法,解决如何调度的问题。这些事情还需要一段时间发展,但如果未来特别是朝全光互联的方向演进,OCS 很可能会成为其中非常重要的组成部分。
曹卿云 Qingyun Cao
所以未来可能除了谷歌以外,其他玩家也都会选择 OCS。OCS 可能会成为未来的趋势和方向,是这样吗?
于让尘(Ryan Yu)
我觉得谷歌已经开始使用混合部件了。它并不是说电交换就没有了,电交换仍然在大规模使用。光交换和电交换是互补的,可以组成一个混合部件,只是两者的比例已经开始发生变化。
在其他互联网公司那里,OCS 的比例可能基本上是 0,或者非常低,基本上还没有应用。未来发展过程中,大家使用 OCS 的比例会增加。
当然,随着 OCS 比例增加,对供应商来说机会也会很大。因为大量 greenfield 项目现在基本上还没有任何 OCS 比例,这是一个非常不错的发展方向,也会给整个光互联产业带来更多机会。
曹卿云 Qingyun Cao
那从未来终局来看,电交换机会不会全部消失?两者的比例大概会是多少?
于让尘(Ryan Yu)
我个人相对保守,不觉得这个比例会完全消失。电交换本身非常快,可以在 nanosecond,也就是纳秒级别,重新转换数据流并进行导流。
从物理限制来讲,OCS 还有很长的路要走。我们说 never say never,如果看未来 5 年,我觉得不可能完全取代;但未来 10 年、20 年有没有可能取代?它的比例可能会越来越大,但我不觉得会完全取代。
做电交换芯片的厂家也不用担心完全没有生意,我觉得两者仍然会是长期共存的状态。
曹卿云 Qingyun Cao
您觉得 OCS 方案有什么局限性?
于让尘(Ryan Yu)
刚才说过,一个局限是它的速度比较慢,也就是转换速度比较慢。另外,做光交换必然会带来损耗。
损耗会提高对光模块和链路预算的要求。供应商在和 OCS 配合时,必须考虑光模块的链路预算。不管是 CPO、NPO 还是 XPO,都要考虑链路预算。
这和具体形态没有关系,但一定要考虑这一点。因为会增加 2 dB、3 dB 的额外损耗,所以在特定环节上,coherent light 可能会成为一个比较重要的选项。
虽然它的成本可能更高,功耗可能更高,技术也更复杂,但它带来的好处是具有本征放大的作用,所以链路预算会更高。
因此可以预见,coherent light 和 OCS 是比较好的配对。特别是随着速率提高,发展到下一代、下两代产品,这种配对会成为一个比较大的趋势。
曹卿云 Qingyun Cao
您刚才提到,谷歌的战略投资部门今年也投资了 coherent light 的初创公司 Celero。从供应链实现的角度来看,您觉得未来推进会有哪些困难?推进节奏又会发生什么变化?
8. 多路线技术加速验证
于让尘(Ryan Yu)
Coherent light 的发展会推动几个维度。首先是 DSP,也就是数字信号处理,这非常重要。
但这种数字处理不能使用常规 DSP。为了保证低功耗、低时延,必须针对 OCS 的应用场景开发专用 DSP。Coherent light 使用的 DSP,和常规长距离传输的 DSP 不一样。
所以谷歌战略投资 Celero 是有考量的,它希望供应链更加丰富,保障供应,并通过相应投资来保证供应链。这件事我们从公开信息中就能看到。
另外,整个光底层逻辑,包括 silicon photonics,也就是硅光的发展,复杂度会增加很多。因为相干检测本身需要相对复杂的调制,还要进行偏振处理,并保证接收机的平衡。
所以从多个维度来看,它对硅光的要求更高。
曹卿云 Qingyun Cao
现在已经有可插拔的 XPO 方案,以及 CPO、NPO 等方案。对于光连接解决方案供应商来说,未来会怎么布局?
于让尘(Ryan Yu)
其实不管是什么样的 form factor,什么样的载体,都可以使用。我们作为主流供应商和头部企业,不做单选题,而是把这些 solution 都提供给客户,由客户根据不同的构建方式进行选择。
曹卿云 Qingyun Cao
我们知道,TeraHop 手上也有很多现金。未来会怎么使用这笔钱?会往上下游发展吗?
于让尘(Ryan Yu)
我们作为上市公司,可能不便在公开场合讨论具体计划。我只能讲业内的发展方向。
最大的趋势是,光互联会成为整个 AI 算力构建中非常重要的一部分。传统上它可能只占 10% 到 20%,后面会发展到和算力共生。算力这个大脑在增长,但光互联所占的比重会增长得更快。
我觉得这是整个业内看到的最重要的发展方向。在这个过程中,有多个维度都存在发展机会,我们都会在这些维度上共同发展。
至于生态中的上下游共生、合作与发展,我们也不排除任何选项。我们肯定会和友商、上游供应商以及客户共同推动合作和发展。
曹卿云 Qingyun Cao
您刚才讲到,未来每通道的带宽会提升到 400G,这也是今年 OFC 的热门话题之一。现在市场上有 3 种主流技术:硅光、薄膜铌酸锂,以及 EML 技术激光器。
您怎么样评价这几种技术路线?它们各自的优势和短板是什么?
于让尘(Ryan Yu)
现在还不能说谁是主流,只能说大家都处于竞争、验证的阶段。
今年的 OFC 很热闹,可以看到不同厂家都在做早期验证和演示。硅光看起来很有希望,在硅光方向上已经有一些发布;薄膜铌酸锂也有一些演示和发布;III-V 族方案同样有发布。
所以现在这 3 条路线都在发展,整个行业非常热闹。
对我们来讲,可能更偏好可集成的方向。我们甚至在做混合集成,比如把薄膜铌酸锂嫁接到硅光上,作为一个混合集成平台。对我们来说,这是一个更有发展前途的方向。
但作为解决方案提供商,我们还是那句话:成年人不做选择题。我们会让 3 匹马都跑起来,不管是 EML、III-V 族方案,还是薄膜铌酸锂方案、硅光方案,我们都不放弃,实际上都在推进。
曹卿云 Qingyun Cao
我想跟您谈谈整个产业价值链会怎样重新改变。从可插拔方案到未来的 NPO、CPO,产业链中哪些环节的蛋糕在变大?利润又会怎样重新分配?
9. 产业链走向半导体集成
于让尘(Ryan Yu)
这个问题很快会变成一个万亿级别的问题。整个连接市场,不管是交换机还是光互联,整体市场价值已经基本上接近 1 trillion dollars,也就是万亿美元的价值。
现在大家都在开发自己的方向:有人做 CPO,有人做 NPO,有人做 pluggable。我个人认为,未来会沿着混合的方向发展。
但我觉得一个很重要的底层逻辑是,大家会朝半导体集成的方向发展,而且光和电会越来越深度集成。从方向上来讲,半导体化的光互联是一个必然趋势。
至于不同形态之间最终的价值分配会是多少,我觉得这是一个不断向前发展、大家边走边看的过程。
我们作为光解决方案供应商,并不是锁定一定要做可插拔模块,也不是一个可插拔模块供应商,而是一个光互联供应商。对我们来讲,我们乐见行业在演进过程中使用底层半导体技术,不管是光还是电,去支撑可插拔模块、NPO、CPO 和 XPO 的发展。
曹卿云 Qingyun Cao
您目前看到整个产业链最大的瓶颈在哪里?
于让尘(Ryan Yu)
我觉得最大的瓶颈是,整个产业还处于半导体集成的早期阶段。
拿激光器来讲,激光器基本上还是一个小众生产的生态。过去两年,市场需求逼着大家快速增长,但实际上这个生态还没有完全发展到位。
这又是另外一个话题:未来几年硅激光器会怎么发展?现在激光器的生产能力和半导体生态相比仍然落后。我们做 silicon 的 foundry,现在已经是 12 英寸、300 毫米晶圆;但如果去问激光器厂家它们的晶圆大小,现在还是 3 英寸,它们正在努力发展到 6 英寸。
所以它远远落后于整个半导体生态。最近也有一些新创企业开始做量子点激光器。如果能够发展到量子点激光器,未来就可以直接在硅片上制造激光器。
这会是一次跨越,可以直接从现在的 3 英寸、4 英寸跳到 12 英寸的量子点激光器,用来制造光源。到那时,瓶颈就能够大幅突破。当然,这只是我们对未来的展望。
另外一个方向就是光电集成。光和电之间,特别是在封装方面,肯定会有很大的共生发展,甚至会进行多层次的 3D、2D 集成。
现在大家都在开发这方面的集成技术,这和半导体生态已经非常接近了。比如 TSMC 做 COUPE,专门开发了一个包括硅光和电芯片在内的集成平台。
这只是 TSMC 在做,其他 Fab 也会在这个方向上努力,让光和电实现深度集成。
曹卿云 Qingyun Cao
如果把时间拉长到 5 年、10 年,您觉得未来光互联行业会怎样发展?
于让尘(Ryan Yu)
这也可以从几个维度来看。刚才从技术角度已经讲了很多。从算力支出的角度,以前大家都说,光互联如果能省钱,就应该把省下来的钱放到算力上。
我觉得这个概念本身需要纠正。大家应该把光互联看作算力的一部分,最后要取得的是算力的最佳优化和平衡。应该把它们看作一个整体,而不是把算力和互联看作两块互相争夺资源的部分。
它们应该是一个共生、共同成长、共同优化的生态。我们乐见光互联在整个 AI 算力构建的发展中占据越来越大的比重。
就像人类大脑中的脑白质和脑灰质一样,这两者之间的比例还有很大的成长空间。光互联会成为算力中不可分割、而且势均力敌的一个组成部分。