# 快一点！再快一点！快到世界能实时生成｜和生数科技张金涛聊：Vidu S1、推理加速、实时交互视频 十字路口Crossing · 2026-07-19 · 41 min · https://www.xiaoyuzhoufm.com/episode/6a5c6a91a3fec224d59fd014?utm_source=rss ## 逐字稿 Koji 最近有一位朋友有机会去拜访了 Elon Musk。他说，Elon 和他分享了一个非常有意思的观察：如果未来人们的眼睛看到的一切都是生成的，那我们到底需要多少算力呢？ 算法也很简单：一个人两只眼睛每秒要看见多少像素，一天有多少时间眼睛是睁着的，再把它乘以几十亿人的规模，最后反推要承载这样一个实时生成的世界，全球需要多少算力和多少数据中心。当然，除了硬件上的不断堆叠，我们在软件和算法上的推理加速优化，也是非常重要的命题。 所以本周《十字路口》请到了张金涛。他在生数科技负责流式视频生成与推理部署的工作。你好，金涛，欢迎来到《十字路口》。 张金涛 Hello，大家好，我是张金涛。 生数科技刚推出了 Vidu S1，这是金涛带领的项目。用户先传一张图，再选一个声音或者克隆声音，就可以像打视频电话一样，和这个角色聊天，并且用说话实时控制这个角色的表情、动作和肢体语言。 这个流式视频生成模型目前能做到 540p 的分辨率，以及 25 帧左右的实时生成，并且可以长时间不断流，所以你可以和这个角色聊几天几夜。稍后我们会展开聊这个技术的详细细节，但在此之前，我们还是先从《十字路口》的传统开始，通过快问快答帮助大家快速了解金涛。 请问金涛，你的年龄？ 张金涛 26 岁。 毕业院校？ 张金涛 清华大学博士在读。 你的 MBTI 和星座？ 张金涛 NTJ，水瓶座。 一句话介绍一下我们刚发布的这个模型，Vidu S1，它是什么？ 张金涛 Vidu S1 是一个实时交互的视频生成模型，可以通过语音实时控制视频生成的内容。 你现在在生数科技，除了负责 Vidu S1 这个项目，还负责哪些事情？ 张金涛 我还负责所有模型的推理加速，以及所有模型的集群部署。流式视频生成模型这边，我负责的是整个流式视频生成模型的全链路，从数据到训练算法，再到推理工程化，包括模型评测。 在生数科技之前，你在做什么？ 张金涛 在生数科技之前，我主要是跟着朱军老师读博士，做一些推理加速方面的科研工作。当然，在正式加入生数科技之前，我还在 UC Berkeley 访问了半年。 你是因为什么契机开始做推理加速的？我记得你最早的一个被大家知道的工作，应该是 C Attention。 张金涛 我差不多读到硕士二年级的时候，有一个比较好的契机。后来我跟朱军老师硕转博，继续读朱军老师的博士。朱军老师看我之前做了一些系统性的工作，就安排陈建飞老师具体带我做科研。 陈建飞老师直接告诉我，推理加速是未来非常重要的一个方向，然后安排我去做 Attention 的底层加速。C Attention 是我当时做的第一个工作，它是一个更快的 Attention 算子实现。 你可以用 C Attention 替换掉大模型中的 Attention 计算，它是即插即用的，相当于一个更快的 Attention 计算实现。 当时你们为什么会想到做这个事情？ 张金涛 我和陈建飞老师当时发现，FlashAttention 的影响力很大，大家基本上也认为 FlashAttention 已经是 Attention 算子的极致了。但我们发现，硬件上明明还有更快的计算单元。 大模型里面的主要运算，简单来说可以分为两类：一个是线性层的计算，一个是 Attention 的计算。那些更快的计算单元在线性层加速中其实已经被广泛应用了，但是 FlashAttention 出来之后，还没有任何工作能够用 GPU，也就是显卡上的更快计算单元去加速 Attention。 我们就觉得，这到底是为什么？为什么没有人做？这明明是一个很明显的收益，所以我们就想把这个事情做出来。 那当时为什么没有人做低比特 Attention 的计算呢？ 张金涛 做低比特 Attention 的计算，其实还有挺大的挑战。 第一个，我觉得语言模型在 Attention 的计算上其实是 memory-bound 的。单纯加速 Tensor 计算不会有太大收益，所以大家没有很强的动机去做 Tensor 计算加速。但后来我们会发现，语言模型的一些 Tensor 范式，包括后面所有的多模态模型，尤其是视频生成模型，它们的 Attention 都是严重 compute-bound 的，计算速度直接决定了 Attention 算得快不快。 所以我觉得这是第一个原因：在 2024 年初以前，做 Attention 的计算加速，其实没有很高的收益。 第二个问题是，Attention 的低比特加速本身还有一些挑战。简单的线性层，你可以用 PyTorch 一行代码写完；如果想对它做量化，再加两行 PyTorch 代码就可以了。但是 Attention 的加速要求你会写 GPU kernel，必须深入到底层编程语言。 这是 Attention 的计算特性决定的。尤其是在 2024 年初以前，Web Coding 还不具备非常强的库调用或者底层 GPU 编程能力，基本上还是要手写。 第三个挑战是，Tensor 计算的精度对低比特十分敏感。Tensor 里面所有的计算如果都量化到 8 比特，用到语言模型或者视频生成模型里面，输出内容会非常差。 所以这是几个挑战。我们后来解决了后面这两个挑战，才把 SageAttention 做出来。 ### 推理加速分为三层 从 SageAttention 到现在发布 Vidu S1，我觉得 Vidu S1 比较重要的价值就是它的流式视频生成。这个背后其实也是推理加速达到了一定水平，才能有这样的流式生成效果。 从 SageAttention 到 Vidu S1，中间经过了哪几个比较重要的里程碑？ 张金涛 首先我想说，Vidu S1，包括我们现在已经在全球开放体验的网站和 API 平台，更像是模型加部署的全栈优化。所以推理加速在 Vidu S1 中只是一部分，这是我想表达的第一个点。 从 C Attention 到 Vidu S1 的推理加速，确实有几个阶段，我可以简单概括一下。 第一个阶段，是做 C Attention 这种算子层面的加速。比如线性层算子、一些非线性算子，还有 Attention 算子，研究怎么让它们在 GPU 上运行得更快。 第二层优化是在模型层面。我们不仅要把算子跑得更快，还要把整个模型的计算复杂度降下来。降低计算复杂度也有一些方法，比如做步数蒸馏。我们可以把 Diffusion 模型去噪的步数从 50 步降到 4 步，这样计算复杂度就降低了十几倍。 还有一些算子，比如 Attention 算子，我们能不能引入稀疏化，做稀疏 Attention？这样不光能让 Attention 跑得更快，也能降低 Attention 的计算复杂度。 第三个层面，我觉得是工程化加速。你可以让单个模型在单张卡或者多张卡上跑得更快，但我们现在需要把它直接部署在一个大集群上，让全球所有人都可以使用。这就涉及很多集群部署、模型推理工程化，以及请求调度的问题。 在这个方面，我们也做了大量工作，比如怎么样对模型做并行，怎么样对用户请求进行调度等。 在 SageAttention 之后，还有一个工作叫 Turbo Diffusion。可以讲一讲 Turbo Diffusion 是什么吗？ 张金涛 Turbo Diffusion 正好对应我刚才说的第二个阶段。我们有了 C Attention 这种很快的 Attention 算子实现之后，怎么样把任何一个 Diffusion 模型在一张卡或者一台机器上跑得更快？我觉得这属于模型层面的优化。 我们在 Turbo Diffusion 里面用到了 SageAttention 算子，也用到了更快的线性层算子实现。同时，我们还做了一些针对任意 Diffusion 模型的通用蒸馏方法，以及稀疏 Attention 方法。 这些方法不仅仅是实现一个更快的算子，而是需要通过微调模型或者训练模型来实现。比如稀疏 Attention 的微调、蒸馏训练，都是为了降低整个模型的复杂度。 同时，在单张卡和多张卡上运行也有一些不同。多卡并行时，能不能把多卡之间的通信和单卡上的计算很好地 overlap 起来？这也涉及一些工程化问题。 总体来说，Turbo Diffusion 主要是在基于 C Attention 和一些更快的线性层算子实现的基础上，通过训练降低模型复杂度，并进行少量工程优化。 但在做这个工作的时候，你们其实还在学校里，对吧？那时候能用到的数据和算力资源应该都比较受限。 张金涛 对，是的。我们做 Turbo Diffusion 的时候，计算资源确实相对有限。但 Turbo Diffusion 本身也不需要很多资源，所以我们只是建立在开源视频生成模型上，用了少量微调数据，就把它做出来了。 所以现在 Turbo Diffusion 有多少 GitHub Star？ 张金涛 3600 多个 GitHub Star。 这在我们这个领域算是什么样的水平？ 张金涛 我觉得算是还不错的水平吧。 以你的观察，SageAttention 或者 Turbo Diffusion，现在有没有被什么公司或者模型采用？ 张金涛 C Attention 目前已经成为事实上的行业标准，这是我比较自豪的一点。NVIDIA、AMD，还有一些硬件厂商，比如华为昇腾、摩尔线程和沐曦，这些硬件厂商其实都实现了自己的 C Attention，并部署在它们的显卡上。 第二，几乎所有多模态公司，比如生数科技、字节、腾讯，还有 Google，都在使用。 ### Vidu S1实现实时生成 我们给大家介绍一下刚刚发布的 Vidu S1，再展开聊一下。大家看到这个流式视频生成模型的第一反应是它很快。可不可以讲一讲，这个“快”的背后具体做了什么工作？ 张金涛 首先，我觉得不能简单地把流式视频生成模型理解为“快”。这里我想稍微展开讲一讲。 大家先要对普通的视频生成模型有一个概念。我们一般是先输入一个 prompt，然后等很长时间，它会给你生成一个 5 秒或者 10 秒的视频。 但实际上，实时视频生成模型的应用范式不太一样。你要实时地跟它玩、跟它交互，每一帧都是实时生成的。它的生成速度需要大于播放速度，才能做到实时生成。 所以它不只是把之前 10 秒钟的视频生成过程，从 50 分钟加速到 10 分钟。 这种流式视频生成模型的加速，是不是会面临更大的挑战？最大的挑战可能是什么？ 张金涛 第一个挑战，是在保证画质的前提下，保证长时间生成。比如生成一两个小时之后，视频画面还没有漂移或者崩坏；同时，在实时输入一些内容之后，它能够给出正确反馈，这显然是很难的。 现在最先进的基础模型，我了解到应该最长只能生成 30 秒的视频。但流式视频生成模型不可能只让它生成 30 秒，对吧？30 秒可能还不够我问一个问题的。我们可以和它聊几天几夜，是可以无限长生成的。 所以在这个过程中，你们是怎么保证它不漂移、不崩坏的？ 张金涛 我们用了很多相对比较本质的 Diffusion 训练方法。可以展开讲一下：我们在 Attention 的计算方式，以及噪声强度的控制上，用了一些探索出来的、比较先进的方法，保证长时间生成时画面质量不会变差。 我还想介绍一下 Vidu S1 推理优化的先进性。首先，我们做到的是 540p，市面上能够实时生成的模型，分辨率基本没有这么高。 FPS 方面，我们可以做到 25 到 42 FPS。同时，我们在消费级显卡上就可以达到这样的效率。 所以你们其实是在追求又要快、画质也要不错，还要长时间不崩坏，对吧？感觉这个目标函数很多。这个过程中，Vidu S1 做了什么 trade-off？ 张金涛 肯定是有 trade-off 的。首先，我们的定位是实时交互生成，所以必须满足生成效率。在这个前提下，再去优化画面质量、对用户输入的生成准确度，以及长时间视频的质量和一致性。 所以快是第一目标，这是最重要的前提，其他目标都只能在这个前提之下尽可能做优化。 最容易被放弃的是什么？在你们的优先级里，包括画质、成本、一致性等等，有没有优先级最低的？ 张金涛 目前来说，如果非要排一个优先级，当前阶段我们只能说画质稍微再降一点。 因为现在是开放给所有人使用。你们现在的收费情况是什么？ 张金涛 我们开放的网页和 App 平台目前都是免费的，先放开让大家去体验。API 平台是收费的，可能每分钟两三块钱，而且没有时间限制。 ### 实时视频需求持续增长 流式实时交互视频真的会变得越来越重要吗？ 张金涛 视频模型主要是满足人类视觉娱乐的需求。视觉娱乐的需求，我觉得可以分为两类。 第一类是离线生成的视频，典型的比如电影或者一些短视频。第二类是在线交互的实时交互视频。 Koji 比如像我们今天在这里交流，对于我们来说可能也属于在线。我们的在线是指我俩此刻看着对方，对，是这个意思吗？ 张金涛 对，就是这个意思。我说什么你是知道的，然后你会根据我说的内容做反馈。或者说，就像我们谈恋爱，或者打游戏，以及平常的日常生活，其实到处都充斥着在线的、实时交互式的视觉娱乐。 在人类进入数字革命之前，视觉娱乐基本上都来自在线实时交互的视觉娱乐。人类对在线实时交互类视觉娱乐的需求，比对离线预置好的视觉娱乐的需求更大。 离线视频有一个播放量的概念，但是在线的实时交互式视觉娱乐，每个人的需求都不一样。每个人想看的东西都不一样，每个人都要有一个独立的 session。 这就是我们一开始说的 Elon Musk 的那个推理。 张金涛 对，就像 Koji 你说的，未来所有视觉娱乐可能都是 AI 生成的。我们也听说过这个世界可能是虚拟的，每个人看到的画面其实都是生成的。 未来，实时交互类的视频生成一定会成为一个非常正确、需求量非常大的方向。我坚信，未来我们的视觉娱乐信号会被 AI 生成的内容充斥、替换掉。 从技术上看，我觉得目前没有什么壁垒，也没有什么不可能性。它一定是未来非常正确的一个方向，已经势不可挡了，一定会有那么一天到来。这个方向一定是正确的。 你们发布之后，有看到大家用这个模型在做什么吗？ 张金涛 因为这是我们昨天晚上发布的，今天我已经看到了很多人发布的例子。 在 Vidu S1 之前，没有任何一个模型可以实时地用语音控制后面的生成内容，也没有一个模型真正做到无限长的实时交互式生成，更不用说在这么高的分辨率和帧率的前提下。我们还支持自定义任何角色、自定义任何图片。 我已经看到非常有意思的例子，有些点赞和收藏已经破千了。比如有人把自己家的小狗上传到 Vidu S1，就可以和自己家的小狗聊天、互动，效果做得非常好。 第二，Vidu S1 也支持视频理解。它可以打开摄像头，也可以输入一段视频信号。 我今天在 B 站上看到一个很好的例子：一个人正在玩游戏，显示器左边四分之三的屏幕是游戏画面，右边四分之一上传了一个二次元小女孩。他把游戏画面直接传了过去。 这个人一直在左边四分之三的屏幕上玩游戏，右边四分之一则多了一个人陪他玩。他可以和这个角色聊天，同时把视频画面传过去。这个角色可以真实地看到游戏画面里发生了什么，和他进行更深入的交互，也可以做更多动作。 理论上，我也可以把每天 coding 的界面当作一个视频流传给它，对吧？让它做我的程序员鼓励师。 张金涛 当然可以。如果把整个电脑屏幕都作为流式视频传给它，是可以的。它可以看到我现在在微信聊天，下一秒又在文档里写东西，也可以适时给我一些反馈。 它可以看到你写的字和你的画面，因为它具备基础的视频理解能力。我们可以拭目以待，未来两周一定会出现很多基于 Vidu S1 的好玩例子。 昨天晚上还有一个同学给我看了一个例子。我不知道大家知不知道“峰哥”，他有一个转圈祝福舞，会说“我祝谁谁谁长命百岁、永远不死”，然后跳一个转圈舞。 他把这个人设和峰哥的图片上传上去之后，就可以和峰哥进行非常实时的交互，让峰哥给他说祝福的话，并做一些祝福的动作。 ### 推理加速不止算子 我们再回到推理加速。金涛当然做了很多多模态模型的推理加速，但其实今天大语言模型的推理加速也很重要。最近一年，我们也看到很多芯片层面的工作，从 Cerebras 到 Talos，都有非常多芯片层面的探索。 也想请金涛给我们介绍一下，今天在推理加速这个领域，有哪些重要的工作和方向？ 张金涛 推理加速，顾名思义，就是让模型的推理变得更快。先不考虑芯片设计层面，我觉得有两个点要做。 第一个是在算子层面，让模型的计算在特定硬件上算得非常快，尽可能达到硬件的极致水平。但我感觉大家容易误解的一点是，很多人会认为推理加速就是做这件事，让一个模型在某个硬件上达到理论最大值，让某个算子算得更快。 这当然是很重要的一点，但推理加速另外一个很重要的地方，是怎么把模型的计算复杂度降下来。我们想让它端到端推理得更快：输入一个东西，它能够很快输出结果。 AI 模型本身是一个黑盒，输入一个东西，给你输出一个东西。这个黑盒里面实际上有很多计算可能是冗余的，我们能不能把这些冗余计算省略掉？ 比如通过稀疏 Attention，或者通过一些模型架构，比如做 MoE 架构；也可以通过蒸馏，不管是模型大小蒸馏，还是采样步数蒸馏。推理加速，我觉得可以这样定义。 至于芯片设计，我了解得不是很多。如果再拆开一层，老黄做的这些事情，我觉得也可以算作推理加速，因为它进一步提高了硬件的计算速度。 目前我感觉推理加速领域比较好的工作，首先可能是 TensorRT，这算是一个不错的工作。还有一些系统性的开源项目，比如 vLLM。当然，vLLM 也涉及我前面说的几层，但它更重要的还是调度和管理方面的工作。 TensorRT 主要涉及前两层：算子能不能做得很快，以及模型复杂度能不能降得很低。Turbo Diffusion 则是 Diffusion 模型或者多模态模型上，这两层优化的一个比较好的例子。 Diffusion 模型之前主要是离线生成，比语言模型简单得多。一条用户请求过来，它不太需要做 batching，也不太需要做什么 KV cache 调度，因为它没有 KV cache，所以之前比较简单。 但最近因为有了流式需求，Diffusion 的生成过程也是一个 autoregressive 的过程，也涉及 KV cache 和用户请求调度。比如一个用户接入了，过一会儿又有一个用户接入，再过一会儿第一个用户不想聊了，中断了。 所以我觉得后面也会出现很多针对 Diffusion 模型的集群部署和调度工作。生数科技有一篇 paper 叫 TurboServe，针对这种 autoregressive 的流式视频生成模型，研究怎么在集群上做调度和部署。我觉得它也是一个不错的工作。 语言模型方面，还有一篇工作叫 DSA，也就是 DeepSeek Sparse Attention。这算是从模型角度进行加速，我觉得也是一篇很好的工作。 Deep Spark 以及小米 MiMo 最近做的那个 U Trust Speed，其实也都是基于一个开源的 Deep Flash 框架做的，效果确实很显著。针对语言模型来说，这是很好的工作。 Diffusion 方面，SLA，也就是我们那篇 Sparse Linear Attention，针对 Diffusion 模型做稀疏 Attention，也非常好。包括腾讯和字节的很多多模态负责人都跟我说，他们在使用 SLA，认为这是很好的工作。 当然，我们现在开源的这一版 SLA 还有一点缺陷，主要缺陷在于 Linear Attention 的选型上。 你刚才提到的这些工作，并不代表它们就是最好的，对吧？ 张金涛 对。我刚才说的，只代表我接触到的、我认为做得比较好的工作。肯定还存在大量做得非常好的推理加速工作。 也欢迎大家在评论区留言，讨论更多相关内容。我觉得推理加速的未来，可能还是属于更底层和更上层。 张金涛 我觉得之后单个算子能不能在硬件上跑到很快的速度，会逐渐收敛。大家都能把它实现得非常快，基本接近硬件上的上限。 现在 Web Coding 也越来越强，能够知道一些先进的写代码方法，也知道硬件架构是什么。给定一个算子，判断它在硬件上能不能跑得快，或者给定一个模型，判断它能不能跑得快，我觉得这一层之后都会逐渐收敛。 我对底层的定义是，你能不能造一款芯片。要么像老黄一样，造非常通用、很强的芯片，让它本身的计算速度非常快；要么针对特定模型，比如某一款或者某一类视频生成模型，不管它是离线生成还是实时交互生成，专门造一款芯片。 就像特斯拉一样，把一个特定模型写死到对应的芯片里。我觉得这是一种思路，但这种思路可能有点浪费。比如模型更新了，芯片可能就废掉了。 我觉得可能更好的思路还是定制化，但同时又具备一定的通用性。比如针对某一类模型，让这款芯片都能够满足需求。 举个很简单的例子，语言模型的 Attention 计算通常是 memory-bound，受制于 memory 的传输速度，不太受制于计算速度。而视频生成模型一般都是 compute-bound，不是 memory-bound。 那你就可以调整这些比例。不同模型需要的显存也不一样，需要的计算速度和显存传输速度的比例也不一样，需要的各个精度计算单元数量也不一样。我觉得通过这些方面去调整，可能也是一个思路。 总的来说，我觉得最底层就是：要么做一款非常通用、非常厉害的芯片；要么针对某一类模型，做成本很低、计算速度很快的专用芯片。这件事目前 AI 也很难做好。 更上层，我觉得其实就是算法层。推理加速不仅仅是工程上的优化，还要想方设法降低模型的计算复杂度。 比如我们的人脑，人脑其实只有 25 瓦，但稍微给它一点时间，也能解决很多复杂任务。从理论上说，我们是能够降低模型计算复杂度的。 这同样可以分为通用和专用。通用来说，你能不能降低整个模型对各个任务的计算复杂度；专用来说，对于不同请求，能不能用非常简单的计算完成任务，而不需要把整个模型里的每一个 layer、每一个算子都完整计算一遍。 我觉得这就是最底层和最上层。未来这两方面对于推理加速来说，应该会变得更重要。 那是不是在底层更容易出现创业公司？因为在顶层，我觉得好像很难变成一个独立的事业。 张金涛 我觉得其实都需要 co-design。一个好的推理加速工作，一定需要硬件和算法 co-design。 从创业公司的角度来说，我觉得肯定还是两方面的能力都要有。当然，Koji，你说得也有道理：只做底层也可以，专门做芯片也可以。但只做算法层，我觉得就不是特别有壁垒，或者说很难得到底层验证。 ### 中国视频模型形成优势 我们再回来聊一下整个 AI 视频行业。最近几个月我发现，中美两边出现了一些分化：中国的视频模型越来越厉害，显然已经牢牢站住了第一梯队。在你的视角里，这种优势是因为什么产生的？ 张金涛 AI 其实就是对一个问题进行建模，对吧？对一个问题的建模，我们把它叫作模型。建模完成之后，肯定要学习、训练。训练其实就是把输入数据和输出数据之间的映射关系学好。 从 Transformer 出现到现在，我觉得这种建模方式不管怎么继续优化，本质上都没有发生特别大的变化。所以现在数据变成了非常本质的事情。 这就像人类一样。一个人的水平高不高，第一个可能取决于他的大脑建模能力，也就是智商；第二个取决于他接受的教育。好的讲解方式和不好的讲解方式，学习效果完全不一样。 一个复杂的物理规律，好的讲解可能 10 分钟就能把问题讲得非常透彻。比如苏建林，他整理的科学空间就讲得很好。我看 10 分钟，抵得上看一些质量不高的博客、一些质量不高的数据 3 个小时，而且那 3 个小时可能还会对我的学习造成污染。 所以现在建模已经相对趋于收敛了，但在数据方面，你有没有把它构造成高质量、符合人类偏好的数据，同时它又具有很强的可学习性，这非常重要。 比如 reasoning，本质上是直接学习从问题 A 到回答 Z 的映射，但你会发现这两个东西之间没有明显关系。如果构造成一个思维链，让模型逐步学习，它就能学会。 我比较确定，美国做视频生成的公司，不管是数据量、数据质量、是否符合人的偏好，还是数据的构造方式，我觉得应该都不如国内这些视频生成公司。 至于具体是什么原因，我觉得每个人都有自己的思考，可能和一些政策等因素都有关系。 第二个原因，我觉得中美文化可能还是有些不一样。对于离线生成的视觉娱乐，我觉得我们要求更严格一些，当然这只是我个人的看法。 比如我们在抖音、小红书、直播、电商等行业发展得更好，就能积累更多数据，也有更强的动机把视频生成、满足人类视觉娱乐需求这件事做得更好。 这很有意思。我觉得最主要是两点。 ### 教授创业潮正在形成 感觉 2026 年有一个非常大的趋势，就是教授和 PhD 们都在大量投入创业。早几年可能有清华的唐杰老师、生数科技的朱军老师，都是很优秀的代表。但在那个时候，我理解他们创业时还没有形成这样的热潮。 今天感觉越来越多教授和 PhD 开始创业。你自己身在其中，感受是什么？ 张金涛 首先，我觉得 AI 确实不是一个泡沫，它能够满足人类所有的需求。AI 这个方向一定是正确的，不管是做硬件还是做模型。 所以我感觉目前这波创业热潮是很合理的，也能够持续很久，不存在太多泡沫。 第二，我想表达的是，因为这个需求太大、方向太正确，不是一家公司就能把所有事情做完。未来还会有很多创业公司，也都会取得成功。 这是第一点，我认为这很合理。 第二点，我也感觉到，不是所有人都适合创业。包括我最近在生数科技待了这么长一段时间，稍微坦诚一点讲，或者不那么谦虚地说，我感觉自己还是很适合创业的。 我感觉自己能把团队带好，大家都愿意追随我做事情。我知道什么样的人适合做什么，也能知道每个人在想什么，知道怎么做管理和协调。 但确实不是每个人都能创业。有的人技术水平很高，也有很多很好的 paper，但可能做不好管理：怎么让大家开心地工作，怎么让大家知道一定要做世界上最领先的东西，这些都需要能力。 你可以讲讲具体的一些管理实践吗？比如怎么让大家开心地工作，又怎么激励大家去做世界上最领先的东西？ 张金涛 这点我可能还得好好感谢朱军老师。OpenAI 刚推出 GPT-3 的时候，朱老师就跟我们说，大家不要觉得 GPT-3 是一个多么遥不可及的东西。 它只是把每个环节都做到极致，并不是说它在模型、数据或者训练方法上有非常大的创新。你只需要知道世界上最正确、最领先的方法是什么，然后把它正确地实现出来，把每个环节都做到极致，其实就能做到世界最领先。 这是我对世界领先的理解，我也会同步给我们部门的人。 第二点，每个环节、每一行代码都要实现正确。我相信现在很多公司可能不是不知道最领先的方法是什么。比如 Vidu S1，其他公司不一定不知道其中使用的一些技术，但它很可能在代码仓库里有两行代码存在 bug，这是极其有可能的。 总之，先回答第二个问题：什么叫世界最领先？第一点就是让大家开心地工作。我觉得这是一个 leader 应尽的职责。 具体怎么做，每个人都不一样。你首先得足够敏感，或者我也不知道该不该叫敏感。你得知道每个人想要的是什么：他想要更高的工资，还是想要更多 credit，还是更享受做事情时的成就感？ 你得知道这些事情，和对方简单聊几句之后，就能掌握这些信息。 第二，你还得树立自己的威信。你们这个部门也不是独立存在的，会和很多其他部门、很多其他职能进行协调。各个部门之间的利益其实并不一致，那你怎么协调，也考验你的判断。 你得知道自己的思维方式必须从本质出发。我观察到，很多人其实不具备这些特质。他可能很聪明，有很多很好的 paper，但如果创业，我觉得也不一定能做好。 ### 成长塑造表达与领导力 最后我们来聊一聊你的成长经历。可以给大家分享一下吗？ 张金涛 我小时候可能相对贪玩一点，但有一个特点：数学非常好，语文相对比较差。现在我也感觉到，语文其实还是很重要的。一个人的沟通表达能力，以及理解对方情绪的能力，确实很重要，这些能力有一部分也能体现在语文成绩里。 大学阶段，一些之前的猜想得到了一些验证。我感觉自己的自学能力和表达能力可能会更强一点。可能大学里的竞争也不太激烈，反正我简单学一学就能考得很好，同时也能兼顾一些科研任务。 当时我加入实验室，做一些论文分享，就发现自己能把一篇论文看得特别透彻。我也会花很多时间，很享受把表达里的词和图做得非常 sharp，让大家 get 到本质在哪里。 我觉得写作也很重要。写论文写得好不好，我觉得还是能反映一个人的水平。 因为智能的边界和语言的边界，有时候是对等的。你能不能把一个东西讲清楚，能够投射出你到底有没有把这个东西搞明白。 张金涛 把一件事情讲清楚，我觉得不难。难的是能不能把一个很复杂的事情讲得很清楚。 我很享受把一个复杂的问题变得简单。第一，不仅要写得非常简单；第二，还要能够把很多点凝练出来。 比如我写论文，就要把 motivation 凝练得非常好，把做这件事当前的 limitation 或者 challenge 是什么，一定要凝练出来。然后把你怎么解决这些 challenge 也凝练出来，再把你的贡献清晰地凝练出来。 我觉得每个词、每句话的逻辑都必须非常强。前提是你做的工作本身是有意义的、好的工作，然后你要去思考、凝练这些东西。 但听起来，你很享受这个过程。 张金涛 对。我愿意把这些东西整理出来之后，再跟其他人讲。 硕转博之后，我觉得算是正式开启了一段我很享受的时光，或者说是我最开心的时光。 我做 C Attention 的时候，记得当时在清华自然科研楼。那时候人很少，环境很安静，我就去解决这些问题，和陈老师讨论，向朱老师汇报，一个一个线程去模拟、去看精度问题到底在哪里，然后一点一点把底层代码写出来。 到最后也得感谢朱老师给我这个机会。2024 年 5 月，我们成立了一个 Vidu 推理组，保障 Vidu 的全球上线。我是在 Vidu 的模型里直接写的 C Attention。 那时候，这肯定是全世界第一个低比特 Attention 计算的工作。我当时已经实现完了，其实那是一个非常伟大的工作。但当时我没有意识到这一点，说“伟大”有点自夸，但确实是一个比较了不起的工作。 我很享受那个过程。比如实现完成之后，最终精度对上了，我把它插到模型里，替换掉之前使用的 FlashAttention，只换一行代码，视频生成结果和之前一模一样，像素级一模一样，但推理速度快了一倍多，端到端推理速度直接快了一倍多。 我当时迫不及待地把这个视频给陈老师、朱老师看，非常开心，也非常兴奋。后来我们才把论文和代码整理出来并开源。 总之，我硕转博之后做了很多有意义的工作，解决了一些业界非常需要解决的问题，也做出了一些开创性的突破，我真的觉得很开心。 第二个就是我现在也在带一个团队，我觉得也挺开心的，像是在创业。感谢朱老师信任我、重用我，让我把这摊事情都负责起来。 我刚加入实验室的时候，就发现朱军老师的水平真的很高。我举几个例子。 第一个，朱老师对方向的判断非常正确。从朱老师的这些学生身上，我觉得也能看出来。比如孟佳义、陆成、庞天宇、宋阳，这些其实都是朱老师培养出来的。 第二，在他的实验室里，我刚进来就发现，实验室的资源非常充足。 另外就是氛围。我不是在伯克利待过半年吗？朱老师可能也在 CMU 做过教职，在海外待过很长时间。我觉得这里的管理方式和科研氛围，真的和伯克利非常像。 总之，我非常认可朱老师，也很感谢朱老师。 听到前面你说工作带来的快乐，还是蛮感慨的。也希望金涛未来能有更多这样的快乐时刻。