[BidClub_]
硅谷坐标 Silicon Valley Vector · · 32 分钟

模型能力终将普及,AI 的终局是能力与成本之比|对话 Google DeepMind 研究副总裁 Ed Chi

Ed H. Chi曹卿云 Qingyun Cao

股票AI与软件消费企业经营技术
小宇宙 ↗
TL;DR
  • Ed Chi 的判断是,模型能力可能逐步普及(commoditize),但并非所有能力都会如此;当能力普及后,竞争关键在 capability over cost。Google 作为 full stack 公司,涵盖模型、application、hyperscaler、token factory、chip 和能源;他称 Google 有能力以最低 cost 提供 token,这“可能会成为未来最重要的护城河”。“所有经济问题最终都是 capability over cost,这是毋庸置疑的。”
  • 模型能力差距变小后,value creation 可能往 application 和 token factory 两端走——这是他给创业者的方向判断。application 端的护城河是用户 lock-in、stickiness 和体验;hyperscaler 端则涉及成本问题:能源用量、chip design、memory 与 computation 的关系、多少跑在 on-device 上。“这些都还是 open questions,非常 exciting。”
  • 通用助理仍处极早期,他预测六个月到一年内,通用助理与 AI Mode Search 的 interface 关系会更清楚。Instinct、Muse Spark 这类产品想从问答走向代办(订机票、买东西),但受制于权限与 reliability——人们担心把信用卡交给通用助理后,它到处乱买东西;confirmation 层面的新 data 还没真正看到。他的 “Grandma Test” 是:当奶奶指着机器人骂“你怎么这么笨”,通用助理的时代才真的到了。
  • 开源模型追上闭源模型的原因之一,是他与合著者写的 Chain of Thought 论文;开源模型用 CoT 方法发掘并复制推理方式,而大厂正尝试把思维链藏起来,降低被复制的可能。他认为这件事还不能说成定论:部分能力确因蒸馏而变得更 commoditize,但 multimodality 等能力目前还看不出会 commoditize。
  • DeepMind 近期发表的小模型主要服务应用,大模型仍在开发;Google 放弃模型开发“完全不可能发生”。用户期望 Google 拥有自己的技术,有一种技术 sovereignty 的意味;大小模型的资源分配“连大厂内部都是难题”。他提到湾区 “AGI-pilled” tech bro 对 ultra-size model 的热爱——他们相信 software took over the world、做好 coding 就能 take over the world;他个人不希望应用完全依赖 ultra-size model,因为运算所需能量太高。
  • Memory 是尚未被想清楚的 bottleneck:Transformer 的 context buffer 目前大约可做到 100 万或 200 万 token,在他看来完全不够。他的核心框架是:memory 不只是存储与提取,也是 ranking 问题(说 Paris 时,想起哪些记忆是排序,而非所有相关内容一齐涌出);从认知角度看,memory 也是用来 program AGI machinery 的 program。面对主持人提到的 DRAM、NAND、HDD 可能短缺,他认为 memory 与 computation 可互相转换;有长远投资计划,就比较不会担心一时的 memory 短缺。
  • 泡沫是局部性的而非整体性的:physical intelligence 可能有不切实际的预期,很多模型的 visual reasoning capability 也“非常糟糕”。若你相信 agent 解决 software 就解决一切,他刚才讲的很多东西就不适用;若不信,“我们还有很多戏可以唱”。推理能力三四年间从小学数学(当年 accuracy 仅 33%)发展到解决 Navier–Stokes 方程;下一个更 exciting 的变现机会,他看好 consumer 崛起——consumer services 一直是 Google 的强项,也是他留在 Google 的原因。
摘要 · 为研究而整理的核心内容

1. 推理能力三四年从小学数学走到 Navier–Stokes,但目前仍集中于特定领域

  • Ed Chi 的 panel recap:过去三十年、特别是前二十年,关注点多在 recommendation 与 search;近十年靠神经网络的 next-token prediction 与 Chain of Thought 发掘机器的基本认知与推理能力。下一步的学术问题包括更复杂的 reasoning、memory,以及 RSI(recursive self-improvement)。
  • 他反复用的时间轴:三四年前写 CoT paper 时在解决小学生数学题——“买了 5 个 apple,再买 6 个 apples”,accuracy 只有 33%;今年已经在解决 Navier–Stokes equation 这类困难的物理或数学问题。他指出推理能力目前仍集中在 specific domain:“我是高尔夫爱好者,它对杆、球、equipment 的推理能力有多少?这跟数学不一样”——做应用必须先搞清模型在不同领域的推理 level。

2. 通用助理:Grandma Test 与六到十二个月的 interface 之争

  • 他对 Instinct、Muse Spark 这波热潮的定位:Google 的 AI Mode Search 从 search 发展成搜索或问答;这些产品则想从问答走向通用助理——订机票、订旅店、买东西。卡点在权限与 reliability:人们担心把信用卡交给通用助理后,它到处乱买东西;至于买对买错的 confirmation 问题,“事实上还没有真正看到新的 data”。他的预测是六个月到一年之间,通用助理与 AI Mode Search 的关系和 interface 会更清楚。
  • 护城河与用户体验的容错边界有关:用户只要遇到一次很严重的错误,就可能对产品改观。这和雇真人私人助理时的容忍度问题类似。他的 Grandma Test 是:“当有一天你的奶奶指着机器人骂它‘你怎么这么笨’,你就知道通用助理的时代真的到了。”奶奶对通用助理的期望很高;产品与科学两方面都还在探索这个 boundary。

3. 生态两边都是空白:consumer hardware 与入口形态均无结论

  • consumer 生态分成 hardware 与 software 两块。hardware 端的大问题是 on-device 与 not-on-device model 的 interaction——Apple 提过 hybrid intelligence,但 consumer hardware 未来怎么发展,在他看来仍是很大的空白。software 端如今讲的是 services,而不是 downloadable app;入口未定:经由 search、手机、智慧眼镜还是其他 device?进入通用助理时代后,不应该还要整天往机器人身上下载 app——这是十五年前就在担心的问题。
  • 主持人问现象级产品会出自 Google、Meta、Apple 还是初创公司,他认为“从哪儿来可能反而没有那么重要”;重要的是怎么普及、什么才是正确的人机 interface。新创做出来也可能被大厂收购;投资人与开发者希望有一个 healthy ecosystem。他还提到智慧音箱做了四五年后“突然好像没人在做了”,但从私人通用助理的角度看,在冰箱上放个荧幕、连着 Internet,如今比七八年前容易多了——consumer hardware 依然相当 exciting。

4. DeepMind 的小模型节奏、AGI-pilled 与 capability over cost

  • 回应人事变动与发布节奏的提问,他强调 Google 没有停下脚步,仍在发展模型;近几个月发表的多是小模型,因为通用助理、个人化等应用需要小模型。大模型也在开发中,“可以拭目以待”。大小模型的资源分配“连大厂里面都是一个难题”、见仁见智。他对湾区 “AGI-pilled” tech bro 的描述是:他们相信 software took over the world,做好 coding、做好 software 就能 take over the world,“所以才会造成对 ultra-size model 的热爱”。他个人不希望未来的应用完全依赖 ultra-size model,因为运算所需能量太高。
  • Google 不可能放弃 model development:用户期望 Google 拥有自己的技术,而不是使用别人的或 open-weights model;这也许是一种技术 sovereignty。Google 的优势是 full stack——从模型开发到 application 与 services,往下到 hyperscaler、token factory、chip 开发及能源使用和控制。他说 Google 有能力以最低 cost 提供 token,这可能成为未来最重要的护城河;如果模型 capability 普及,重要的是 cost control,“所有经济问题最终都是 capability over cost”。
  • 主持人追问 CapEx、现金流与 AI 应用收入的担忧时,他区分短期与长线视角:短期公司只会想着 quality、accuracy;以五年、十年为投资眼光的公司,还要思考未来该优化什么 metric,不只是 capability,也包括 capability over cost。Google 的做法是到有可能的地方投资、各处 double down;模型、application、chip 和整个 full stack 都在创新。

5. Memory 是没被想清楚的 bottleneck:它是 ranking,也是 program

  • 主持人提到 DRAM、NAND、HDD 可能短缺。Ed 的框架是 memory 与 computation 可以互相转换:“有一个很长远的 investment plan,就比较不会担心一时的 memory 短缺,因为可以用 computation 来代替。”研究层面的问题包括计算方法需要多少 memory 和 bandwidth,以及神经网络设计是否应该降低 memory requirement。他举 Delta Attention Model 为例:它使用 memory 的方式不同于 full attention(O(N²))与 sparse attention;此外还有个人化记忆、KV cache 等问题。
  • 两个 bottleneck:一是 Transformer 的 context buffer 目前大约能做到 100 万或 200 万 token,在他看来完全不够;二是认知层面——大家仍把 memory 当作存储与提取的 retrieval 机制,但从人类认知角度看,“memory 也是一种 program……一个用来 program AGI machinery 的 program”。研究者还没有把 memory 这件事想清楚。
  • 主持人提到人脑能主动遗忘、学习新东西并压缩旧信息,他接着指出,很多学过 computer science 的人会以为机器 memory 不需要忘记;但 memory 也是 ranking 问题:“比如说 Paris,你会想起去巴黎时有什么记忆,这事实上是一个 ranking 问题,而不是所有跟 Paris 有关的东西一下子全涌出来。”硬件领域也有人在探索 memory 与 computation 的新结合方式,未来几年可能会有新发展。

6. 价值往两端流:开源蒸馏的边界、局部泡沫与 consumer 崛起

  • 若今天创业选什么方向?他观察到模型 capability 开始有一点 commoditize 的趋势,但并非完全如此;只要最好与最差模型之间的 gap 变小,value creation 就可能往 application 和 token factory 两边走。application 端拼用户 lock-in、stickiness 与体验;hyperscaler 端则涉及能源、chip design、memory 与 computation 的关系,以及未来有多少会在 on-device 上运行。
  • 开源 vs 闭源的 gap:开源模型追上的原因之一,是用他与合著者的 CoT paper 方法发掘模型里的思维链,并复制推理方式;大厂现在有很多工作在想办法把推理链藏起来,以降低被复制的可能。他认为不能把这件事说成定论:有些能力会因蒸馏变得更 commoditize,但有些能力至今看不出会 commoditize,multimodality 也是他举的例子。
  • 泡沫问题他拒绝一刀切:不觉得整个 market 都是泡沫,但不同地方可能有不同的泡沫;physical intelligence 领域可能存在不切实际的预期,很多模型的 visual reasoning capability 也“非常糟糕”。分歧取决于信念:若你认为用 agent 解决 software 就解决了所有问题,他刚才讲的很多东西就不适用;若不是,“那我们还有很多戏可以唱”。
  • 他看好 consumer 这一块接下来的崛起,并指出 Anthropic、OpenAI 的 revenue 有很多由 enterprise subscription revenue 带动。consumer services 一直是 Google 的强项,这也是他留在 Google 的原因。
  • 收尾的 AlphaGo 类比回应“孩子还该学数学吗”:十年前 AlphaGo 与棋王对决后,很多人说人类以后不下棋了,结果后来下棋的人反而更多。数学也一样;过去有人为了 exploration、探索知识边界,现在还会有 understanding、entertainment 或乐趣等动机,未来做数学研究的人可能更多出于内心的 curiosity。同理,大语言模型出现后,有人觉得 search engine 不再那么 relevant,但 Google 反而看到 search application 在增加。他不否认 AI 会改变现有结构,也认为它会带来新的可能性。
完整逐字稿
Ed H. Chi

开源模型之所以能够追上闭源模型,其中一个原因就是我和合著者写的这篇关于 Chain of Thought 的论文。大家用 Chain of Thought 的方法来复制推理的方式。当有一天,你的奶奶指着机器人骂它:“你怎么这么笨?”你就知道,通用助理的时代真的到了。所有 AI 的东西,最终都是 capability over cost,这是毋庸置疑的。

Speaker 1

Ed,很高兴今天来参加采访。

Ed H. Chi

嗯。

Speaker 1

今天想问一问,您在 panel 上讲了哪些内容?能跟我们 recap 一下吗?

Ed H. Chi

当然可以。我今天最主要想让大家知道,过去这三十年来,特别是前二十年,我们很多时候关注的都是 recommendation 和 search。但过去十年,因为神经网络的发展,我们已经知道如何用 next-token prediction 和 Chain of Thought,发掘机器的一些基本认知和推理能力。

从思维链能够做出一些思考动作,到它的由来和背后的理念,今天我主要跟大家分享的就是这些基本认知,以及如何思考下一步更复杂的 reasoning、memory 问题,或者 RSI,也就是 recursive self-improvement 的问题。这些都是未来学术研究可以思考的方向。

Speaker 1

嗯。

Speaker 1

今天我们想跟您探讨一下 consumer AI 这个方向。最近硅谷很火的一个产品 Instinct,还有刚刚 release 的 Muse Spark,让我们觉得个人助理似乎又掀起了新一轮讨论。

Ed H. Chi

对。

Speaker 1

您怎么看个人助理这样的产品?

Ed H. Chi

从 personalization,也就是个人化的角度来看,Google 的 AI Mode Search 这个 capability,原本是在 consumer services 这边的。它大概是 LLM application 最大的一层,事实上是从 search 开始,然后发展成 AI Mode 这样的搜索或问答趋势。

Muse 或者 Instinct 这样的产品,则是想从问答发展成通用助理。也就是说,它甚至可以帮我们做一些事情,比如订机票、订旅店或者买东西。因为这涉及很多权限问题,过去 reliability 还不够高,大家很担心把信用卡交给通用助理后,它会到处乱买东西。

所以,2026 年刚开始时,像 OpenClaw 这样的探索,让大家慢慢了解这方面的 technology。现在已经有一些小厂和大厂在探索通用助理服务。我个人认为,我们还处在很初期的阶段。比如很多 confirmation 的问题——你让它帮你买机票,结果买对了还是买错了——我们事实上还没有真正看到新的 data。接下来六个月到一年之间,我预测通用助理和刚才提到的 AI Mode Search 之间的关系和 interface 会变得更清楚。

Speaker 1

您 envision 的消费级 AI 未来会是什么样子?

Ed H. Chi

从我个人的观点来看——这不代表 Google 公司的观点——我一直觉得,AI 的推理能力在不断加强。想想看,三四年前我们写 Chain-of-Thought 这篇论文时,解决的是小学生的数学问题;到了今年,我们已经在解决 Navier–Stokes 方程这样物理或数学领域里最困难的一些问题。这说明它的推理能力在三四年间已经达到了一个巅峰。

不过,目前这些推理能力还是比较集中在一些 specific domain 里。通用助理的 universal 部分,比如对产品的推理,就跟数学不一样。我个人是高尔夫爱好者,那么它对高尔夫的原理、equipment 的理解,对球杆、球这些东西,到底有多少推理能力呢?所以我们在做这方面的应用时,一定要了解整个模型在不同领域的推理能力达到了什么 level。

Speaker 1

其实我们感觉,现在的个人助理有时候很简单,就是在 text message 里面。

Ed H. Chi

对。

Speaker 1

或者是一个 app 的形态。您觉得好的个人助理,它的护城河是什么?

Ed H. Chi

我觉得很多人会认为,特别是在 consumer 这边,真正的护城河就是用户,以及用户对产品的体验。用户只要遇到一次很严重的错误,就可能对产品改观。这跟你请的是 AI 通用助理,还是花钱请一个私人助理到家里或公司里做事,是一样的问题:你对它做出错误决定或行为的容忍度有多高?

我之前在台湾参加另一个 podcast 时,提出过一个叫 Grandma Test 的概念:当有一天,你的奶奶指着机器人骂它“你怎么这么笨”,你就知道通用助理的时代真的到了。因为奶奶对通用助理的期望非常高;当它犯的错误变得非常严重时,你就会觉得这个产品有问题。所以现在无论是从产品角度,还是从科学角度,我们都在探索这个 boundary。

Speaker 1

您觉得跟市场上已有的竞争对手相比,谷歌做消费者 AI 产品的优势是什么?

Ed H. Chi

从 consumer 的整个 ecosystem 来看,它分成 software 和 hardware 两部分。很多公司现在关注的是 hardware,比如记忆体以及产业链上的问题。Hardware 这边看起来还有很多探索机会,其中一个原因就是 on-device 和 not-on-device model 的 interaction 问题。

Apple 之前提出过 hybrid intelligence 这样的概念。消费级 hardware 以后会怎么发展,我认为仍然是一个很大的空白。另一边是 software,我们现在讲的当然都是 services,而不是 downloadable software 或 downloadable app。比较有意思的问题是,将来大家是通过 search 这样的渠道进入通用助理环境,还是通过手机、智慧眼镜或其他 device?

Services 这边,也就是 software 这边,过去一两年我们已经看到一些新颖、比较大胆的探索,但我觉得还没有得出结论。比如说,为什么我现在还需要整天想着 app 有没有更新?这是十五年前我们就在担心的问题。进入通用助理时代后,不应该还要整天往机器人身上下载 app。所以我觉得 consumer services 这边也还处于起步阶段。

Speaker 1

如果以后出现一个现象级的消费级产品,您觉得它会来自谷歌、Meta 这样的公司,还是来自 Apple 这样的硬件公司,或者是一家初创公司?

Ed H. Chi

我觉得从整个生态系统来看,它从哪里来,有时候反而没有那么重要。更重要的是它怎么样普及,以及怎样才能形成与人互动的正确 interface。从科学家的角度来看,这才是发展这方面 research 最有意思的地方。

如果是初创公司开始做这些事情,也很可能被大厂收购。所以从投资人或开发者的角度来看,大家希望以后能有一个 healthy 的 ecosystem,让整个 industry 都可以探索这个 space。

Speaker 1

关于 DeepMind,我们看到 DeepMind 有很多人事变动,模型发布的节奏也有一些变化。

Ed H. Chi

嗯。

Speaker 1

您怎么看 DeepMind、谷歌的模型在整个 Frontier Lab 里的竞争力?

Ed H. Chi

这是个很好的问题。我们当然没有停下脚步,一直在继续发展模型。最近几个月我们发表的一些模型可能比较小型,我们想把小模型用在应用上。像刚才聊到的很多通用助理和个人化功能,事实上都需要小模型,而不是大模型。

大模型的好处是推理能力更强。我们最近这段时间发表出来的大部分模型稍微小一点,希望能在应用上有更多提升。当然我们也在开发更大的模型,这个可以拭目以待。

Speaker 1

明白。所以说,追求 AGI 这个前沿目标还会继续,谷歌的算力也还是会给这些 AGI 模型,对吧?

Ed H. Chi

对。我会这样看:从整个生态系统发展的角度来说,如果你有很多资源,要把多少资源放在 application development 上,多少放在大模型、更强推理能力的模型或 coding capability 模型上,怎么分配资源,长远来看是见仁见智的,并没有唯一的答案。

现在所谓 AGI-pilled 的这帮人,特别是湾区、旧金山的 tech bro,会觉得 software took over the world;只要把 coding 做好,把 software 做好,就能 take over the world。这才造成大家对 ultra-size model 的热爱。但从我们刚才聊的应用普及、手机应用这些话题来看,至少我个人不希望未来的应用完全依赖 ultra-size model,因为运算所需的能量实在太高了。所以大模型和小模型之间的平衡,事实上连大厂内部怎么分配投资,都是一个难题。

Speaker 1

您觉得 DeepMind 跟其他 frontier lab 相比,团队的优势是什么?

Ed H. Chi

我觉得我们这边可能是人才济济,人才实在太多了,大家都想做大模型,但卡永远不够。从另一个角度来看,Google 的用户对 Google 一定会有一种期许,希望我们的模型不是用别人的,也不是用 open-weights model。用户期望 Google 拥有这项技术,这也许可以说是一种技术 sovereignty。

从这个角度来说,Google 不可能放弃 model development,这完全不可能发生。但 Google 有一个优势,就是你刚刚问的 full stack:从模型开发,到 application 和 services,都在公司里面;再往下,有 hyperscaler、token factory,甚至 chip 开发,还有能源的使用和控制。我们有能力以最低的 cost 提供 token,这可能会成为未来最重要的护城河。

如果模型的 capability 普及了,最重要的其实是 cost control,也就是以最低的成本 deliver 最好的 capability。现在这个领域很多人还没有关注 cost,但所有经济问题最终都是 capability over cost,这是毋庸置疑的。

Speaker 1

大家会担心,比如 frontier lab 都已经投了很多 CapEx,今年、明年更夸张,特别是谷歌这样的大厂,现金流也被拖成负的。我们看到 cloud 这块的 revenue 有起色,margin 也在增强,但 AI 应用的收入可能还没有显现。我刚刚听您说,之后谷歌的 focus 也会把应用的 ROI 做得更好。

Ed H. Chi

没错。长远来看,如果你是一家很 short-term 的公司,就只会想着 quality、accuracy 这些问题。如果你是一家以五年、十年为投资眼光的长远公司,就会开始思考 what's in the future,以及真正应该 optimize 的 metric 是什么。不见得只是 capability,也包括 capability over cost。

谷歌最厉害的地方,事实上就是会在技术和很多其他领域都 double down。有可能的地方就投资,这边投,那边也投。它不是不肯 innovate,而是所有地方都在 innovate。我们不只是在模型上创新,也在 application 和 chip 方面创新,整个 full stack 都在做 innovation。

Speaker 1

您现在也在做 memory 方面的研究。

Ed H. Chi

对。

Speaker 1

我们知道谷歌的哲学是能存的东西就尽量存。现在整个 memory supply chain 又出现短缺,DRAM、NAND 和 HDD 可能都短缺。

Ed H. Chi

嗯。

Speaker 1

你们怎么 balance 这个问题?

Ed H. Chi

从 computer science 的角度来看,我们过去的 research 已经知道 memory 和 computation 之间可以转换。有时候你用更多 memory,有时候你用更多 computation。

如果有一个很长远的 investment plan,就比较不会担心一时的 memory 短缺,因为可以用 computation 来代替。所以,memory research 不只是供应链和 hardware 的问题,也包括我们的计算方法需要多少 memory、多少 memory bandwidth,以及神经网络的 design 是不是应该降低 memory requirement。

计算方法也会影响 memory 的使用。比如 Timi[?] 做的 model 叫 Delta Attention Model,它使用 memory 的方式,跟 full attention、O(N²) 的 attention,以及 sparse attention model 都不一样。这只是在讲 sequential Transformer model 里的 memory 问题,我们还没有聊到个人化里的 memory 问题,或者 KV cache 的 memory 问题。

我们现在说的 memory,常常是指硬件或软件里的记忆。但从人类认知学的角度来看,memory 也是一种 program。它不只是一个没有生命的东西,而是一个不断变化、指导事情该如何发生的东西,是一个用来 program AGI machinery 的 program。所以我们做 research 时,也关注的不只是底层 memory 的运用,还包括如何整理 context buffer 里的信息,这方面我们也花了很多精力。

Speaker 1

现在 memory 研究最大的 bottleneck、最大的挑战在哪里?

Ed H. Chi

我个人认为,从 Transformer model 的角度来看,我们现在最大的 context buffer 大概可以做到 100 万或 200 万 token。在我看来,这完全不够,这是一个 bottleneck。

另外,我们对 memory 的看法,还是把它当成一个存储和提取,也就是 memory retrieval 的机制,而不是从人的认知或思考能力的角度来看待它。Memory 事实上非常重要,不只是 retrieval。这也是 research 上的一个 bottleneck;大家还没有把 memory 这件事想清楚。

Speaker 1

对,感觉人脑好像可以主动遗忘,可以学到新的东西,还可以把原来的东西压缩。这基本上是模型现在……

Ed H. Chi

没错。

Speaker 1

Continue learning 是不是?

Ed H. Chi

没错。很多学过 computer science 的人会觉得,机器的 memory 不需要这样想,它不需要忘记东西。但事实上不是这样。很多人觉得 memory 是你还记不记得的问题,其实 memory 是一个 ranking 问题:什么东西最重要,这才是 memory 真正重要的地方。

Memory 最重要的问题之一,就是 ranking。比如说,我随便讲一个地点:Paris。你会想起去巴黎时有什么记忆,这事实上是一个 ranking 问题,而不是所有跟 Paris 有关的东西一下子全涌出来。

Speaker 1

对。像现在有很多创业公司专门做 memo、memory layer。您觉得 memory 这么重要的事情,会由初创公司来做,还是基本上都是大厂来做?

Ed H. Chi

现在硬件那边也有一些人,在想怎么把 memory 和 computation 结合起来,提出一些比较新的想法,这些新想法并没有在大厂里面做。当然,大厂也有人在做这方面的事情。我觉得 memory 和 computation 之间的 relationship,未来几年可能会有一些新的发展。

Speaker 1

如果您今天要出来创业,您觉得最好的创业方向是什么?

Ed H. Chi

这个问题很好。我觉得现在有一个趋势:模型的 capability 好像开始有一点 commoditize。当然我不是说它完全 commoditize 了,但只要差距变得更小,也就是最好模型和最差模型之间的 gap 变低,value creation 就会往 application 和 token factory 这两边走。因为大家都在找护城河。

当 model capability 不再是最强的护城河时,就得去其他地方找。Application 这边可能是用户 lock-in、stickiness,以及使用体验好不好。Hyperscaler 那边则有很多跟 cost 有关的问题:能源使用量、chip design 好不好、memory 和 computation 之间的 relationship 有没有处理好,以及未来有多少会在 on-device 上运行,有多少不会。所以从我的角度来看,这些都还是 open questions,非常 exciting。

Speaker 1

对。您怎么看开源模型和闭源模型?现在我们知道开源模型追得很紧,您觉得未来这个 gap 会变大还是变小?

Ed H. Chi

这个问题很有意思。开源模型之所以能够追上闭源模型,其中一个原因就是我和合著者写的 Chain-of-Thought 论文。大家用 Chain of Thought 的方法来发掘模型里的思维链。

Speaker 1

嗯。

Ed H. Chi

也就是模型的思考模式,然后用这个思考模式来复制、拷贝推理的方式。现在大厂里有很多工作,是在想办法把推理链,也就是思维链藏起来。藏起来以后,被复制的可能性就会更低。

事实上不只是这个问题。我认为模型继续发展后,比如 multimodality 的 capability,也都很难复制。所以我觉得很多人好像把这件事说得像定论一样,但我个人认为这种想法还不成熟。看起来有些 capability 会因为蒸馏而变得更 commoditize,但有些 capability 到目前为止还看不出会 commoditize。所以现在还有很多 debate。

Speaker 1

大家好像觉得 open-source model 能做的事情越来越多,留给 SOTA 模型 monetize 的空间就更小了。

Ed H. Chi

嗯。

Speaker 1

这能撑起这样的估值和这么大的 CapEx 吗?您会担心吗?

Ed H. Chi

这就是为什么有些人在想,AI 这个市场里是不是有一部分是泡沫性的。我并不觉得整个市场都是泡沫,但不同地方肯定有不同的泡沫。比如 physical intelligence 那边,可能有一些不切实际的预期。

刚才提到的 multimodality 这块,我们很多模型的 visual reasoning capability 都非常糟糕。所以你可以看出来,这跟大家的信念不一样。如果你觉得 software took over the world,我们用 agent 的方法解决了 software 的问题,那所有问题就都解决了。要是你有这样的 perspective,我刚才讲的很多东西就不适用。但如果你觉得解决了 software,还没有解决所有问题,那我们还有很多戏可以唱。

Speaker 1

前面我们聊到,现在很多 frontier lab 在 coding 上已经有了商业化变现。您觉得下一个更 exciting 的机会会在哪些领域?

Ed H. Chi

刚才讲到,现在有很多应用。比如 Anthropic 和 OpenAI 的 revenue,有很多是 enterprise 这边带动的 subscription revenue。我挺看好 consumer 这一块接下来的崛起。

当然,从行业龙头的角度来说,我还留在 Google、继续在 Google 做事,原因就是 consumer services 一直是 Google 最强的地方。当然,这不代表将来不会有新的 space,大家可以拭目以待。

Speaker 1

接下来我们应该期待什么产品?比如谷歌在未来一两年内,有哪些 AI 产品值得期待?

Ed H. Chi

我从整个 industry 的角度来回答这个问题。我觉得现在已经有一些人在想,未来会是 super app 的时代,还是整个手机都会改变;甚至我们佩戴在身上的眼镜、耳环、耳机,都会有很大的变化,或者衣着也会有变化。

还有家里的智慧音箱。我们之前做了四五年,突然好像没人在做了。以前还在说什么智慧冰箱。从私人通用助理的角度来看,冰箱上放一个荧幕、连着 Internet,如此而已,就能把整个智慧功能做起来,这比七八年前容易多了。所以 consumer hardware 这边,我觉得还是相当 exciting 的。

Speaker 1

我的问题问完了。您有什么想补充的吗?

Ed H. Chi

没有,我觉得你问的问题都很好。作为一个科学家,我觉得非常 exciting 的地方是,大家都可以看得出来,不管是 enterprise 还是 consumer,creativity seems to be everywhere。

我刚才在台上也分享了,当年我们做 Chain of Thought,也就是思维链研究时,解决的只是小学生的问题,比如一加一等于二,买了 5 个 apple,再买 6 个 apples,一共有多少个 apple?5 加 6 等于 11。当时模型的 accuracy 只有 33%。

现在我们才刚经历了最大模型能够解决 Millennium Prize Problems 的阶段,比如 Navier–Stokes 方程。从这个角度来看,我们现在能够想象的 capability 肯定还不够,它会继续扩展。对科学家来说,这是非常 exciting 的事情。

Speaker 1

很多人觉得现在 AI 已经可以把数学做得这么好。如果我们现在要从小培养孩子,他们的时间应该花在数学上吗?还是应该把更多精力放在 AI 解决不了的问题上?

Ed H. Chi

我觉得这个问题有意思的地方在于,快十年前 Google 开发 AlphaGo 的时候,很多人在它跟棋王对决之后就说:“完了,人类以后不下棋了。”结果后来下棋的人反而更多了,想研究围棋的人也更多了。

我觉得数学也一样。很多人会觉得,既然现在能用这种方法解决 Navier–Stokes 方程,以后就没人想学数学了。我觉得可能恰恰相反,会有更多人觉得数学这么有趣,想要去研究它。过去可能有人是为了 exploration,也就是探索知识的边界;现在会有很多其他动机,比如 understanding、entertainment 或者乐趣。所以以后做数学研究的人,可能会更多是出于内心的 curiosity。

Speaker 1

有没有可能以前数学的门槛很高,但如果能通过 AI 把数学变成一种工具,很多文科生也可以利用它解决更多、更有创意的问题?

Ed H. Chi

以前学围棋,你得请教练、请老师,还要找棋力相当的朋友一起下棋,花很多时间。现在你拿个手机,就可以下载一些相当不错的围棋 application。它反而带动了围棋界很多学习,小朋友也都在用这些软件,所以事实上激励了很多人。

这也跟 search engine 有关系。当时很多人觉得,大语言模型来了,search engine 就没那么 relevant 了。但 Google 反而看到很多 search application 在增加,而不是减少。所以我觉得还是可以保持一些乐观。当然我不否认,它会改变我们现在既有的很多结构,但也会带来新的可能性。

Speaker 1

对。

Speaker 1

嗯,非常感谢。

Ed H. Chi

哪里。

Speaker 1

非常非常感谢。

Ed H. Chi

谢谢,谢谢。