104: 我给线性注意力找“金主”，字节 say No，MiniMax say Yes

程曼祺 Manqi Cheng

这期继续来聊注意力。上一期我们与清华的两位博士肖朝军和傅天宇聊了稀疏注意力机制的改进，也以注意力为线索串起了大模型的优化史。DeepSeek 和 Kimi 最近发布的新工作，都属于稀疏注意力的大范畴。

这期我们来聊注意力机制的另一大改进方向：线性注意力。中国大模型公司 MiniMax 在今年 1 月发布了参数为 4560 亿的开源大模型 MiniMax-01，01 就用到了他们开发的线性注意力机制 Lightning Attention。

本期节目我邀请了这个项目的负责人、MiniMax 高级研究总监、负责 01 模型网络架构的钟怡然，来与我们一起聊线性注意力的研发过程。钟怡然曾担任上海人工智能实验室青年科学家，是新架构探索组的 PI，也就是项目负责人。他在澳洲国立大学获得了博士学位，导师是李宏东教授和 Richard Hartley 院士。

我原本的设想是了解更多技术和趋势，但其实我得到了一些故事。钟怡然自己的故事，是一个在方向不被看好时，愿意押住时间去追求自己相信的技术判断的故事。

在 2021 年，线性注意力还是一个看起来很美好的泡泡，怡然和他的团队就开始探索线性架构的实现。到 2023 年下半年，他认为探索已经相对成熟，并判断到 2024 年年底一定会出现线性架构的大模型。

钟怡然：我的想法很简单，我当时的判断就是，2024 年年底大模型已经出来了。我们已经做了 3 年，为什么不让它诞生在我们自己手上，而让它诞生在别人手上？因为当时我们是最懂 Linear Attention 的这批人。

另一个故事是 MiniMax 创始人闫俊杰的故事。他之前曾说过：“我选的技术路线都是上限最高、最激进的。”这次我得到了一个具体的例子：把线性注意力用到几千亿参数这么大的模型上，之前没有人做过。

钟怡然说，自己在训练之前其实有 90% 以上的把握，线性架构可以 scale up。但他觉得，当时闫俊杰心里对这件事情可能只有 50% 的把握，而他最后拍板，投了公司超过 80% 的研发资源。

当然，训练模型不是一个戏剧性的梭哈过程。在训练 01 的大参数版本之前，MiniMax 团队做了 scaling law 的测试，就是通过各种实验去预测，一种架构在更大参数的模型上是否也有好的表现。最后他们训了 3700 个模型，做了 3700 次测试，当然这其中有很多都是小规模的实验。本期节目中，我们也完整地聊了这个过程。

到现在为止，线性注意力能否超越原本的 Transformer 架构，仍然没有共识。在上限上，从计算方法推导，当序列非常长时，线性注意力在计算效率上的优势会越来越大于稀疏注意力。但从效果上，也就是线性注意力的模型能否和 Transformer 模型一样聪明，甚至更聪明，现在还没有谁能给出有绝对说服力的答案。这也是之后 MiniMax 的技术进展可能会揭晓的悬念。

最后说一些声音上的注释。在本期节目中，依然有时会说 Linear Attention，这也是指线性注意力。在提到 Full Attention，也就是标准 Transformer 里的 Attention 时，他有时也会说 Softmax Attention。如果听过上期节目，听友肯定会知道什么是 Softmax。在我们聊天的语境里，可以简单理解为，他就是在说 Full Attention。

以及，这期后面聊到研发和训练过程时，依然提了几次 IO，他指的是闫俊杰。还是和上期一样，我会在 show notes 的末尾贴上一些本期提到的术语的简单解释。

从本期开始，我会在每期节目的末尾不定期地录一个小模块，是一些连点呈现的小总结。我会讲讲这期节目让我想到了过往的哪些节目，以及它们之间的哪些事实或者观点产生了共鸣和呼应。

下面我们就正式进入本期吧。

那这一次，我们邀请到了在 MiniMax 做这个项目的研发负责人钟怡然。他是 MiniMax 的高级研究总监，来和我们聊一聊 MiniMax 在探索注意力机制改进的过程中间的一些过程和思考。怡然，你可以先和我们的听友打个招呼，简单自我介绍一下。

大家好，我叫钟怡然，目前是 MiniMax 的高级研究总监，主要负责模型结构设计和多模态理解大模型，比如 MiniMax-VL-01。我主导设计了 MiniMax-01 的新一代网络结构。

在此之前，我在上海人工智能实验室担任青年科学家，是新架构探索组的 PI，负责新一代非 Transformer 架构的研究，以及视听语言多模态的融合。

我们的研究其实从 2021 年就开始了，在 TPAMI 等顶级会议和期刊上发表了 20 多篇关于新架构探索的相关论文。这些论文研究全面覆盖了当前先进的非 Transformer 架构，比如线性注意力机制、长卷积和线性循环网络，也就是 Linear RNN。

我们同时也在新架构的工程上进行了研究，包括新架构的一些并行策略。我们也推出了异步优化器，它是针对国产集群通信效率较低的现状推出的异步优化器，并且在计算机视觉和自然语言处理上都验证了它的有效性。

这些我们后面也可以展开讲一讲，可以从线性注意力机制讲到更多你们在模型架构上的探索和创新。

1. MiniMax Opens 01

程曼祺 Manqi Cheng

在正式聊 MiniMax-01 的线性注意力机制之前，其实我也想聊一下开源的变化。MiniMax-01 应该也是 MiniMax 第一个开源的模型，当时也有去跟闫俊杰，也就是 IO，聊到开源是一个很重要的、可以更极致地加速技术进步，也可以在社区里建立技术影响力的方式。

可以先聊聊，为什么你们第一个开源的项目就是 MiniMax-01？

我们其实很早就在考虑要不要开源。像俊杰在去年 6、7 月份的时候，也考虑过这个形式。

后来我们坚持开源的原因，首先是 MiniMax-01 作为一个非 Transformer 架构，在真正的商业大模型上亮相，我们认为这是会影响未来大模型结构设计的一个开创性工作。作为第一家吃新架构螃蟹的公司，我们向公众展示了新一代架构的效果和潜力。

我们在长文本上的突破，也可以让大家更关注长文本应用的发展。

从我们的主营业务来说，MiniMax-01 开不开源，其实都不太影响公司的主营业务。开源的好处是，我们可以对外展示我们是一家关注技术、更愿意尝试新技术的公司。这样对于我们吸引一些有创造力的人才，是有益的。

程曼祺 Manqi Cheng

你刚才说去年 6、7 月份的时候就考虑开源，是从那个时候就开始准备吗？还是说到什么时间，它有一个密集准备的过程？

当时其实还在犹豫，因为如果要开源，起码需要有一个能拿得出手的东西。MiniMax-01 的模型训练在那个时候还没有真正完成，所以那个时候只是第一次考虑这样一件事情。

后来到 MiniMax 在 10 月、11 月的时候，模型已经训练完毕了，我们就写了一篇完整的 report，也补充了一些对应的实验，让结论更加充分，论证更加充分。

第二，开源社区对于新架构的支持是很少的。为了把这个新架构运行起来，我们自己改造了很多轮子。为了让大家也能够自己部署这个模型，我们也开源了部分轮子，比如新架构的一些推理优化。

我们得到的反馈是，GitHub 的 issue 上有人反馈说，他们用 Hugging Face 的 inference，效率非常低。那是因为毕竟是新架构，他们没法做非常友好的支持。

为了让大家感受到新架构的优势，我们把推理优化合并到了 vLLM 上。这样大家自己部署的时候，也可以感受到这个架构的优势。

程曼祺 Manqi Cheng

开源后的反馈，除了你刚才说的把一些优化的东西开源之外，还有什么别的反馈吗？比如有没有人自己尝试部署，包括自己去测试它、得到什么效果之类的？

会有人尝试部署，但是在没有优化的情况下，速度会很慢。

所以我们之前觉得，不一定需要自己来部署。你可以在海螺上直接测试，因为它跟海螺用的是同款模型；也可以在自己的 API 上，或者直接用我们的 API 来测试。

但现在因为我们已经把推理优化合并到了 vLLM 上，所以开发者也可以自己进行部署。

社区内的其他反馈，大概就是模型的一些一般性问题。比如有没有哪些问题总会出错，有人会问能不能支持多图之类的，我们会在 issue 里面进行回答。

程曼祺 Manqi Cheng

你们现在的 Lightning Attention，它是可以处理多模态的，对吧？视频、图像、语言混合输入也是可以的？

对，它可以支持。

程曼祺 Manqi Cheng

那我们接下来就可以详细讲讲，你们做线性注意力机制的这个成果，以及思考的过程。

我觉得你可以先简单解释一下，为什么你们要去做注意力机制的改进。而且这不光是你们的选择，因为刚才我在开头的时候也提到，像 NSA、MoBA，很多公司都在做这个方向的进展，学界也有很多这个方向的进展。大家特别想去优化注意力机制，主要是为什么？

2. Attention Hits a Quadratic Wall

其实因为 Transformer 架构有一个最大的 bug，就是它的计算复杂度是关于序列长度的二次复杂度。

FlashAttention 不是得到了很大的关注吗？但 FlashAttention 其实解决的是显存占用的二次复杂度，所以 FlashAttention 对显存占用来说是线性的，但它没法解决计算复杂度的问题。

为了解决计算复杂度的问题，学术界提出了很多种方法。最早提出的其实就是稀疏注意力。因为 Transformer 提出得很早，所以它的二次复杂度一直是学术界关注的问题。学术界会想，二次复杂度肯定受不了，我要处理非常长的序列，这种情况下二次复杂度怎么办？

但为什么后来学术界不太在意这个二次复杂度的问题了？其实是因为从 V100 到 A100，再到 H100，算力提升非常大，进一步遮掩了 Transformer 二次计算复杂度的紧迫性。由于算力增长加速，解决二次复杂度问题的紧迫性其实并不是很高。

所以现在很多大模型采用的仍然是 Transformer 架构。因为算力增加，序列长度也可以做到一定程度的扩增，比如现在的 128K、256K。在这种长度下，Transformer 的二次复杂度还是可以接受的。

程曼祺 Manqi Cheng

也可以跟听友解释一下，二次复杂度就是平方增长的意思。随着序列增长，计算复杂度是平方增长的。

对。所以在那个时候，我们就一直在想怎么解决二次复杂度的问题。

当时我们觉得，稀疏注意力因为是一个有损逼近，所以不是特别优雅的方式。Attention Matrix 是一个完整的 N×N 矩阵，稀疏注意力的意思就是，只计算里面有限个 Attention Score。因为算的 Attention Score 不再是一个 N×N 的矩阵，需要的算力自然就会减少。

但我们认为这是一种有损逼近。你本身需要计算 N×N 的 Attention Score，现在只截取一部分来计算。我们认为这在未来不算是一个比较优雅的方式，所以当时就转向了研究还处于初期的 Linear Attention，大概是在 2021 年左右。

3. Linear Attention Changes the Math

Linear Attention 的方法其实非常简单。标准的 Softmax Attention 是先 Q 乘以 K 的转置，过一遍 Softmax，再乘一个 V。本质上要算的就是 Q、K、V 的乘法。

如果直接左乘，先乘 QK 再乘 V，计算复杂度就是二次复杂度。如果先乘 K 和 V，再乘 Q，计算复杂度就是一次，也就是线性复杂度。

整个 Linear Attention，其实就是把左乘变成右乘的形式，先乘 K 和 V。

程曼祺 Manqi Cheng

因为不是所有听友都熟悉这些技术，可能也要解释一下，在注意力机制里面，Q、K、V 是什么？

你可以把它看成 3 个 matrix，3 个矩阵。

程曼祺 Manqi Cheng

这 3 个矩阵相乘，就会得到 Attention Score，注意力的分数。这个分数其实是相关性。

对。改变它们的顺序关系，我们就可以从二次复杂度变成一次复杂度。这是最核心的思想。

程曼祺 Manqi Cheng

那我们可以到这里总结一下。到 2021 年你们开始探索线性注意力之前，注意力机制改进的大概过程是这样的：

最开始是在 2017 年有了 Transformer 架构，最初标准的是 Full Attention，也可以叫 Softmax Attention。差不多同期有了你提到的 FlashAttention 优化，它解决的是 Full Attention 的显存开销问题。

然后大家开始探索稀疏注意力，想进一步解决最开始 Full Attention 的计算复杂度问题。之后是你们在 2021 年开始思考线性注意力机制。

对。我们其实认为，Linear Attention 技术成熟的时间是在 2023 年的中期，大概 7、8 月份的时候。我们认为它在效率和效果上，在小规模上已经比肩最先进的 Transformer 架构了。

程曼祺 Manqi Cheng

那你们当时试过稀疏注意力的方向吗？

我们在 2021 年的时候其实试过稀疏注意力，发现它的效果不太行，运行效率也不行。

它碰到的问题，跟 Lightning，也就是我们的 Linear Attention，是同样的问题：那时候效果比不上 Softmax Attention，速度顶多也就比它快一丢丢。我们认为这样得不偿失，因为它的上限是比较低的一个方向，所以就转向了 Linear Attention。

程曼祺 Manqi Cheng

NSA、MoBA，包括最近微软亚洲研究院的 Seer Attention，这些新的成果，我理解它们都属于稀疏注意力的大方向。它们展现出的效果和效率，跟你之前的认知有一些不一样吗？

具体我们其实还在做进一步的实验。从我们现在的实验来看，Lightning Attention 是当前测试的方案当中，随着模型越大，增益越明显的一个优化方向。

程曼祺 Manqi Cheng

模型越大，指的是参数量越大吗？

对。一般来说，像 MLA，我们测试过 MLA，也测试过 TPA。TPA 是清华那边提出的 KV Cache 压缩方法。

我们发现，那些方法随着模型增大，优势会变得比较小。也就是说，它的压缩方式对于模型大小是有要求的。

但 Lightning Attention，也就是 Linear Attention，不太一样的地方在于，模型越大，它展现出来的优势越明显。

包括现在放出来的 NSA、MoBA、Seer Attention，它们还没有真正做工业级的 scale up。

程曼祺 Manqi Cheng

但 MoBA 不是也放了工程代码吗？都在线上跑了 1 年了。

它得开源让我们真正来看一下，在几百 B 的规模上，它是否真正能和 Transformer 有比较好的对比。它们的规模其实最多也只在 7B 上验证过。

程曼祺 Manqi Cheng

7B 这个规模，相当于你们在 2023 年中期差不多验证到的规模。Lightning Attention 在你刚才说的稀疏注意力和线性注意力，在不同大小模型上的效果差异，是在几 B 之后会比较明显？也就是规模超过几 B 之后会拉开？

在 7B 以上，基本上可以看到它们性能差异的趋势。

程曼祺 Manqi Cheng

最后，MiniMax-01 的模型参数做到了多大？

4560 亿。它是一个 MoE 架构，激活参数大概是 45.9B，差不多十分之一。

程曼祺 Manqi Cheng

总体来说，现在学界或者工业界，是做稀疏注意力的人多，还是做线性注意力的人多？两个方向尝试的人都挺多，还是有明显差异？

这两个方向尝试的人都比较多。自从 2023 年以后，线性注意力比较火，因为 Mamba 那时候大火，带火了这个方向。

程曼祺 Manqi Cheng

整体上，从对 Transformer 原本 Full Attention 的改进程度来说，是不是稀疏注意力改得相对少一些，在线性注意力里改得更多一些？

对。稀疏注意力本质上还是一个 Transformer，只是对 Attention Score 的计算方式做了一些改进。

如果是线性注意力，本质上就不是 Transformer 了。

程曼祺 Manqi Cheng

那它是什么？

这个名字有很多。你可以把它叫线性注意力，也可以把它叫线性 Transformer。

因为这里面关系到你怎么样去定义这个东西。对于 Transformer 来说，最关键的一点就是里面的 Softmax Attention，也就是 K、V 要相乘，然后过一遍 Softmax。

在线性注意力里面，这一步是没有的，它没有 Softmax Attention。你可以把它叫非 Transformer，也可以把它叫 Linear Transformer。学术界的叫法是多种多样的。

程曼祺 Manqi Cheng

我刚才还有一个好奇的问题。我们在正式开始之前稍微聊了一下，线性注意力和循环神经网络、RNN 的关系。

它本质上是一个东西。

程曼祺 Manqi Cheng

所以可以说，大家往线性注意力机制方向优化，也是把以前 RNN 这个东西重新用到大语言模型里的一种尝试吗？

以前 RNN 最大的问题是没法并行化，所以出现了 Linear RNN，让它能够做大规模并行化。

程曼祺 Manqi Cheng

刚才我们聊了，你们为什么在注意力机制改进中选择了对 Transformer 原架构改动更大的线性注意力方向。接下来可以具体聊一下，MiniMax-01 里最后用的这个 Lightning Attention，在线性注意力上具体是什么样的结构，以及为什么这样设计、带来了什么效果。

4. Hybrid Attention Fixes Retrieval

我们其实很早就觉得这个东西已经 ready 了。比如在 2023 年底的时候，我们用实验室有限的资源，训过一版 15B 的模型。效果上已经跟 Transformer 差不多了，是一个纯线性的方案。

但后来我们把它 scale up 上去以后，发现 Lightning Attention，包括线性系统、线性方法，有一个最大的问题，就是 retrieval 能力比较差。

这是把模型训出来以后才观测到的现象。我们对它跑大海捞针时，发现结果跟我们想象中的并不一样。

如果要把它真正 scale up，我们就选择了一个比较折中的方案，叫 hybrid。你看到的结构是每隔 7 层放 1 层 Softmax Attention，把它变成一个混合架构。

我们做了一些 scaling law 实验，结果发现这个混合架构的效果比我们想象中的更好，特别是在 retrieval 方向上，比全部都是 Softmax Attention 的架构更好。

这个结论也让我们比较惊讶。相当于一个在这方面有缺陷的方法，和一个在这个方向上正常的方法混合起来，反而得到了一个远超 Softmax Attention 的结果。

程曼祺 Manqi Cheng

可以给听友解释一下，retrieval 是什么能力，以及注意力机制改进的论文里都会测的大海捞针任务，具体是什么样的任务吗？

Retrieval 就是召回能力。

比如大海捞针任务，会给你一篇长文。长文里面有一段话，或者一句话，跟别的内容格格不入。你要把这句话找出来，这就体现了模型定点召回的能力。

大海捞针会把这句格格不入的话，放在一篇很长文章中的不同位置，来看模型能不能把这句话检索回来。

这其实是一项基础能力，是大模型 in-context 的基础能力。模型必须能够复述上文的所有内容。

我们发现，线性注意力做这个能力有先天弱势。这也很正常，因为线性注意力的 KV Cache 是一个恒定值。无论输入多长，它都会被压缩到一个恒定大小的 KV Cache 里。

这就会产生一个悖论：KV Cache 的大小是固定容量，但 input 可以是任意大小。既然 input 可以是任意大小，就一定会有信息压缩的过程。这个信息压缩过程，会导致它的 retrieval 能力比较差。

这是从原理上对它的一个 high-level 解释。

程曼祺 Manqi Cheng

也可以再解释一下，Transformer 里的 Softmax Attention 本来的计算流程是怎样的，包括 KV Cache 缓存的部分是什么机制。这样对比起来，听友可能会更容易理解。

High level 地讲，对于标准 Attention 来说，每输出一个 token，它都会回溯前面的所有 token。

我们可以把这个过程叫作翻书。Attention 在生成下一个 token 时，会把前面从第 1 个 token 到第 N-1 个 token 全部再看一遍，来得到第 N 个 token。

对于 Linear Attention，它只看前一个 token。也就是说，输出第 N 个 token 时，只会看第 N-1 个 token，然后通过里面的缓存机制，从缓存和第 N-1 个 token 得到第 N 个 token。

从这里可以看到，Transformer 有二次计算复杂度，因为它每输出一个 token，都会看前面所有的 token。

用通俗的话怎么理解？你回答的内容，前面依靠的是前一个人的回答。打个比方，你在做传话游戏。

对于 Transformer，它会听前面所有人的传话，得到自己的结果。但是对于 Linear Attention，它只会听前一个人的传话，得到当前的结果。这就意味着，如果前面出现任何问题，错误会一直累积起来。

但 Transformer 不会，因为它每次都会重复地看前面的所有内容。

程曼祺 Manqi Cheng

所以你们最后改善纯线性注意力召回能力比较差的方式，就是论文里写的，每 7 层线性注意力中间插入 1 层 Full Attention？

对，每 7 层里面放 1 层。

程曼祺 Manqi Cheng

第 1 层也是线性注意力？

对。Hybrid 是一个很折中的方案，我们只是为了解决 retrieval 问题，采用了这种混合架构。

我们也尝试过每隔 7 层混 1 层模型，或者每隔 14 层、16 层混 1 层 Softmax Attention，试过不同的比例。从结果来说，影响最大的其实是 retrieval 能力，但在语言建模上，能力差别并不是很大。

程曼祺 Manqi Cheng

具体做的时候，你怎么去混合、到底选什么比例？有没有前面技术社区其他人的研究可以参考？

我们是自己试出来的。当然也参考了 Jamba。Jamba 的混合层数也是 1∶8、1∶7 这样的模式。

程曼祺 Manqi Cheng

这个尝试过程，有没有任何理论指引或者解释，可以帮助你提前判断效果会怎么样？

没有，就是试。我们甚至试过最极端的情况，只有 1 层 Full Attention，效果也还可以。

只不过我们选择这种方式，还是因为我们已经很激进地改变了架构，但担心它会对最终 performance 造成一定程度的损失，所以选择了较为保守的 1∶7 比例。这其实是一个很保守的比例。

程曼祺 Manqi Cheng

你刚才说最激进的一种是只有 1 层，指的是什么结构？

就是只有 1 层 Full Attention。比如现在有 80 层，可能只有 10 层 Full Attention。极端情况下，就把这 10 层变成 1 层。

程曼祺 Manqi Cheng

我理解了。整个大模型可能有几十层，中间只有 1 层是 Full Attention，其他全都是线性 Attention。

对。

程曼祺 Manqi Cheng

那你们最开始是怎么想到混合这种方式的？

这是非常符合直觉的一种尝试，再加上前面也有 Jamba 的出现。

程曼祺 Manqi Cheng

你们这个新的混合线性注意力结构，最后带来的实际效率提升是怎样的？在序列长度为 1M 的情况下，它比 Full Attention 快 2700 倍。

对。

程曼祺 Manqi Cheng

这个 2700 倍，是在哪个环节的 2700 倍？是 decoding，也就是生成环节，还是前面的环节？

你算 N to N 的规模，会是 2700 倍加速。或者只算 Attention 这一步，在 1M 的长度下，也是这个量级。

程曼祺 Manqi Cheng

1M 就是 100 万 token，确实非常长。2700 倍也是个很惊人的数字。

按照线性 Attention 的原理，序列越长，效率优势越明显，对吧？

对。相比于稀疏注意力，序列越长，倍数越多。

程曼祺 Manqi Cheng

当你们找到这个具体结构的过程中，是怎么一步一步验证注意力机制的改进有效的？

5. Scaling Law Tests the Bet

模型最初需要进行 scaling law 实验。Scaling law 实验基本上在 2024 年初就开始了，发生在正式训练 MiniMax 01 之前。

首先，把它 scale up 是一个需要说服老板的决策。你不可能花几千万训一个大模型出来，最后发现失败了。

对我们来说，特别是这种吃螃蟹的事情，前期工作必须做得非常 solid。参数应该怎么选择？应该用 Lightning Attention、HGRN2、Mamba，还是各种各样的 Linear Attention 算法？我们都需要进行 benchmark。

最终选择的就是速度和效果的均衡，所以我们觉得，一个完整、严格的 scaling law 对比实验是必须的。当然，如果只是拍脑袋决策，可以省下这部分成本，但会增加之后失败的概率。

我们大概训了 3700 个模型，才跑出来一篇文章。

程曼祺 Manqi Cheng

3700 次模型，全部从头训练，是 3700 次预训练的意思吗？

全部都是从头训的，不同大小、不同参数。所以跑 scaling law 是一个成本很高的实验。

程曼祺 Manqi Cheng

工业界和学术界做注意力机制优化时，跑 scaling law 测试常见吗？有多少公司会这么做？

跑 scaling law 的公司其实并不多。Google 跑过，OpenAI 也跑过。

Google 产出那篇 Scaling Law 的论文时，也做过相关实验。我们还是希望自己的选择是 solid 的，所以会把这件事做得非常扎实。每一个选择都有实验支撑。

程曼祺 Manqi Cheng

你们居然试了几千次，3700 次，这还挺有意思，也让我有点意外。

我觉得我们可以从更早开始来聊一聊。从 2021 年开始做线性注意力探索，到今天这样一步一步，是怎样的一个过程？

6. The Linear Attention Bet Begins

从 2021 年开始，我们最早提出的就是 CosFormer。CosFormer 这个项目其实是从 2021 年 7 月开始的，这是我们第一次接触 Linear Attention。后来我们推出了 CosFormer，这篇文章发表在次年的 ICLR 上。

从那以后，我们发现这个方向看起来大有可为。

当时我们的想法很简单：第一，做 Transformer 的人已经很多了。继续做 Transformer，就算做到极致，也是在跟着别人后面走。但是 Linear Attention 是一个比较新的方向，参与的人比较少。

与其跟着别人后面走，不如选择一个新的方向，看一看未来能不能在上面做出一点东西。这是我们当时的想法。

我们产出最多的是 2021 到 2022 年。我们探索了很多方法，包括 Linear Attention、Linear RNN，以及 Long Convolution。几乎所有现有的 Linear 方案，我们都探索过。

最开始我们是在解决 Linear Attention 效果的问题。Linear Attention 其实出现得很早，最早的论文和 Transformer 差不多同时出现，但它效果不好、速度又慢，所以大家觉得它是一个美好的泡沫：看起来很好，但实际用起来不行。

所以在 2021 到 2023 年，我们解决的问题就是把它的效果真正做到跟 Transformer 差不多。到 2022 年底，我们做出来的这些方法，效果上已经能做到跟 Transformer 差不多了。

程曼祺 Manqi Cheng

在语言建模方面，当时你们测哪些 benchmark？怎么判断线性注意力的架构已经和 Transformer 差不多了？

基本上是一些学术数据集，走的都是学术数据集。比如看困惑度，也就是 PPL；也会看一些常见的大模型榜单，在相同数据下对比结果。

我们还会测 Long Range Arena，这是一个长文本 benchmark。

当时最主要对比的是建模精度，也就是困惑度。第一步先解决建模精度问题，第二步才解决速度问题。

Linear Attention 很 tricky 的一个点在于，它虽然理论复杂度是线性的，但实际运行起来很慢。原因是右乘会牵涉到一系列循环操作，而循环操作对 GPU 相当不友好，会导致实际运行效率远低于理论复杂度。

为了解决这个问题，我们在 2023 年推出了 TNL 和 Lightning Attention。Lightning Attention 真正把它的实际效率提升到符合理论计算复杂度的程度。

当年在上海人工智能实验室时，我们已经觉得它处于工程上 scale-up ready 的状态。我们认为自己解决了精度问题，也解决了推理效率问题，所以觉得它已经 ready for scale up。

程曼祺 Manqi Cheng

你们当时做到 scale-up ready 的状态，是在多大的模型上做的测试？

最大训到了 15B，是一个 15B 的 dense 模型。

程曼祺 Manqi Cheng

你们当时没有继续做更大规模的 scaling law 测试，是因为实验室有资源限制吗？

对，上一轮没有这么多卡来支持这项工作。

所以对我来说，那就是一个找金主的过程。我们需要真正把它做到 scale up。当时我的判断是，最迟到 2024 年年底，基于 Linear Attention 的大模型肯定会出来。

因为不是我们做出来，就是 Google 做出来，或者 OpenAI 做出来，终归会有一家把它做出来。

当时我比较着急，相当于在找投资人，需要找到一个愿意投资这个方法，并且把它 scale up 的人。

程曼祺 Manqi Cheng

你说的金主，最后找到的就是 MiniMax。这个其实是双向的，对吧？

其实是这样的。我之前就在俊杰手下，在商汤的时候跟他很熟。后来我记得是在 2023 年底，俊杰正好找我吃了个饭，就聊到了 Linear Attention 的问题。

因为在 2023 年下半年，我其实一直在找投资人。

程曼祺 Manqi Cheng

你自己也想过创业，是吗？

想过自己创业，但后来想了想，这件事很难。原因是你要改基础架构，需要的投资金额非常高。而且我们只有算法上的优势，在数据上的优势比不上顶尖的一流公司。

那时候要进入第一梯队，必须积累十 T 以上的数据。这里面很 tricky 的地方是，要证明模型有效，就得进入第一梯队。这是一个先有鸡还是先有蛋的问题。

大模型很复杂：架构要好，训练数据要好，训练方式也要对，这 3 个环节缺一不可。任何一个地方掉链子，你都没法证明自己想证明的东西。

所以对我来说，选择合作对象也很 tricky。首先要保证这家公司能够做出一流的预训练模型，这一点已经砍掉了很多公司。

程曼祺 Manqi Cheng

那你当时视野中，能做一流预训练模型的公司都有谁？大小公司能算上的。

我觉得第一个是字节，第二个是 MiniMax，基本上就没了。

程曼祺 Manqi Cheng

Kimi 不算吗？

关于 Kimi，我得到的消息比较少。所以当时在我眼里，只有两个选择，要不然就是寻求海外。

程曼祺 Manqi Cheng

那你当时见过的一些投资人，他们的反馈是什么？

反馈很简单：你的应用方向是什么？他们会想一大堆你的应用方向，以及你怎么变现。

程曼祺 Manqi Cheng

大公司你也见过吗？

腾讯那边见过，阿里也见过。

程曼祺 Manqi Cheng

VC 呢？你见到的反馈是什么？

也见过一些 VC。但感觉他们比较喜欢聊的是你的应用方向是什么、变现渠道是什么、将来怎么样盈利。

程曼祺 Manqi Cheng

我今天也和一位投资人聊到，2023、2024 年的时候，大家还是比较看重应用。但那个时候让一个模型应用产生比较大的商业收益，有点像让一个还没有完全训练好的高中生出去赚钱。

所以在那个时间点，想找人 scale up 一个线性注意力这样的新架构，确实可能会有一点难。

这对我们来说，我当时的想法很简单。我觉得我的判断是，2024 年年底大模型已经出来了。我们已经做了 3 年，为什么不让它诞生在我们自己手上，而让它诞生在别人手上？

因为当时我们是最懂 Linear Attention 的这批人。

程曼祺 Manqi Cheng

你说最懂 Linear Attention 的人，是全球范围内的意思吗？

基本上是。包括现在比较活跃的杨松林，他之前也是我们组的组员。

我们当时就是这个想法，所以比较积极地去找谁能够把它 scale up。

程曼祺 Manqi Cheng

除了 MiniMax，你和字节聊的时候是什么反馈？

那个时候，德国有一家公司的实验室也来找过我们，聊这件事情。当然我们当时也跟他们有一些合作。

字节那边，我感觉他们的兴趣度不是很高。字节作为一家大公司，虽然有数据也有人，但要让他们真正转型，投入那么大的精力去做一个未知方向，是比较 tricky 的事情。

程曼祺 Manqi Cheng

你是 2023 年什么时候和字节聊的？

8、9 月份吧。

程曼祺 Manqi Cheng

回到 2023 年下半年，你和闫俊杰聊的时候，他具体的反馈是什么？

俊杰来找我的时候，我首先跟他很熟。2021 年的时候，我已经跟他非常熟悉了。

我们聊下来，他很愿意尝试这件事情，也愿意把公司绝大部分精力放在上面。因为这是一个主模型，需要花公司 80% 到 90% 的力量来做，涉及数据团队、工程团队、算法团队，需要很多人一起把这些东西做出来。

程曼祺 Manqi Cheng

闫俊杰比较认可你，是因为他们之前在线性注意力上有一些探索，还是因为别的原因？

他们之前对 Linear Attention 做得并不多，但当时也处于下一代模型的技术选型阶段。

俊杰可能认为我做的工作比较 solid，对这项工作比较信任。

当然，对俊杰来说，他看这件事跟我看这件事不一样。我认为这件事有 90% 的概率成功，但对他来说，可能只有 50% 的概率。因为他不是从 2021 年就一直深入做这个领域，而我们对里面很多 tricky 的问题都比较了解，相信它能够 scale up。

程曼祺 Manqi Cheng

他只有 50% 的把握，就敢上 80% 的资源，这个赌性是不是有点大？

这确实要赌，但我们的 scaling law 时间给了他信心。他不是一开始就 all in，把所有东西都弄起来，而是一步步说服他。

我们先在成本可控的范围内训了一个小模型，然后再训一个大模型。

程曼祺 Manqi Cheng

在一步步验证这个想法的过程中，后面又看到了一些什么东西？

我们当时跟他说的是，我们有一些结论。因为所有东西都是公开发表的，他们内部可以做复现。

到了 MiniMax 内部，是我去了 MiniMax 以后，才把混合架构往上推。我们在 2024 年初发现了一个比较 tricky 的问题：Lightning Attention 有缺陷，所以必须采用混合架构。

采用混合架构和做 scaling law 基本上是同时进行的。

当时有一个我的前组员去了 MiniMax，后来由他来跑这些 scaling law 实验。

程曼祺 Manqi Cheng

你之前说有 90% 的把握，是在发现刚才说的这个 retrieval 缺陷之前，还是之后？

在发现之前。但我们当时认为，只要采用混合架构，这个问题就可以解决。

程曼祺 Manqi Cheng

当时你的心态可以分享一下吗？你之前已经做了两三年的线性注意力改进，本来有很大的把握，但做到更大规模时，发现它在召回这种基础能力上有缺陷。这会非常压力山大吗？还是说你心里大概有底？

我们有一个备选方案，就是 Hybrid，混合 Softmax Attention。这是一个保底方案。

但我们当时觉得这个方案确实不够好看、不够优雅，因为它不再是标准的纯线性方案了。

程曼祺 Manqi Cheng

那可以继续往下聊。发现缺陷、解决缺陷，然后做 scale up 的过程是怎样的？

Scaling law 实验首先是论证这个技术方向到底有没有问题。Hybrid 实验也在 scaling law 实验里面，我们要同时做这个实验。

程曼祺 Manqi Cheng

所以你们当时的 scaling law 测试，是测了非常多不同类型的架构？

对。我们测试的方案很多，除了 Lightning，还有 HGRN2，包括 Mamba 也测过。

程曼祺 Manqi Cheng

训练多少次这件事情，你们最开始的预测是多少？怎么决定一开始要给多少资源？

最早就有预估。需要多少卡、多少资源、要训多少模型，我们有一个 Excel 表，根据这个表训出来就行。

程曼祺 Manqi Cheng

最开始设计的就是要训 3700 次吗？还是最后超出了预期？

就是 3700 次，跟最开始一样。

程曼祺 Manqi Cheng

你怎么跟闫俊杰说要训 3700 次？他是什么反应？

我们最高其实只 scale up 到了 7B，很多都是小模型，需要的资源并不多，所以总资源相对可控。

程曼祺 Manqi Cheng

实验阶段只 scale up 到 7B，那你怎么知道往更大的规模做，效果也能保证？

首先我们假设 scaling law 是一个可以实现的东西。对我们来说，只需要把趋势画出来就可以了。7B 以上，我们走预测就好。

程曼祺 Manqi Cheng

正式开始训练 MiniMax 01 这个很大的模型时，使用你们的新架构是怎样的过程？进一步扩大时顺利吗？

7. Training 01 at Industrial Scale

我们先训了一个比较小的模型，可能只有 9B 激活参数。9B 和 7B 差异并不是很大。

这里面还有一个问题：我们的 scaling law 是在 dense 模型下做的，而实际业务场景的模型都是 MoE 架构。

程曼祺 Manqi Cheng

从 Dense，也就是稠密模型，到 MoE 混合专家架构，这里面有什么难点？

这时候由另外一拨人接手，把它放到 MoE 架构上，进一步做调参和训练。

程曼祺 Manqi Cheng

这是什么时间的事情？

2024 年年中，大概 6、7 月份。那时候就不需要我了，我们的方案已经是一个 deliver 的状态，算法部门直接接上去就可以了。

其实小模型训得很快，可能一个月就训完了。接下来就开始用大约 2000 张卡，训练 MiniMax 01。

程曼祺 Manqi Cheng

在 2000 张卡训练的过程中，整个公司又做了哪些优化？它需要多少资源？

算力成本是一部分，但在此之前，工程优化需要很多工程能力。就像我说的，有很多轮子要自己造。

我们之前只是一个科研小组。科研小组虽然关心训练效率，但并不关心 inference 效率，而且最早做的规模也比较小，最多到 15B。15B 的时候，不会牵涉到更高阶的序列并行方案。

所以他们需要做很多工程优化，才能让它真正以大规模训练起来。

程曼祺 Manqi Cheng

所以后面正式训练 01 大版本的过程，其实比较顺利？

对，后面把它 scale up 上去都比较顺利。因为前期跑了 scaling law，大家对它比较有信心；再加上小模型训出来也没有问题，所以大模型大家也比较有信心。

程曼祺 Manqi Cheng

你们有看到其他类似你们现在做的这种架构成果吗？

现在用线性注意力做大规模模型的，应该是全球第一个。MiniMax 01 应该是第一个。

程曼祺 Manqi Cheng

你们的改进是从训练阶段就开始引入线性注意力。整个业界有没有一些只在推理阶段做这件事的成果？

有。他们有方法把已经训好的模型，比如 LLaMA，蒸馏到一个线性模型里面，确实有类似的方案。

程曼祺 Manqi Cheng

为什么你们敢做一个在我看来比较激进的方案，而且还投入这么多资源？

第一是展现技术实力，表示我们是一家敢于创新的公司。我们敢于押住这项新技术。

另外，我们已经把序列长度提升到了 4M。如果愿意的话，我们可以提升到 10M，也已经能够承受这么长的序列长度。

只不过对我们来说，现在要考虑的是，10M 的数据怎么构造。这会牵涉到很多数据方面的问题，以及做到了 10M 以后，这 10M 到底能干什么。

我们还是先想把 1M 以内的东西做到极致，然后再往外推。

程曼祺 Manqi Cheng

4M，也就是 400 万 token，这么长的序列可以干什么？

比如你想想，把四大名著直接放进去，让它做归纳总结。可以把一本《红楼梦》放进去。

程曼祺 Manqi Cheng

你刚才提到，你们可以做 4M，也就是 400 万 token 的长序列。更早的时候我们讲到，这个改进在效率上提升了 2700 倍，也是很惊人的数字。

8. Long Context Exposes Gaps

但另一方面，大家可能会想，线性注意力这种架构怎么保证效果？

MiniMax 01、Kimi K1.5 和 DeepSeek R1 发布之后，我在朋友的电脑上看过一次实际测试。场景是一篇大概 2 万字的英文文章，详细介绍海外社交媒体的使用方式，涉及很多功能。

最后提问时问了一个具体问题：大家是怎么使用这些社交媒体上的短视频功能的？结果 MiniMax 的回答里有一些内容没有直接回答问题。它不是在讲人们怎么使用短视频，而是讲到年轻人怎么使用社交媒体，回答了一些跟问题本身不相关的东西。

R1 也有这个问题，至少那一次测试是这样。Kimi K1.5 的表现比较好。这个问题是什么导致的？

我们有专门的 benchmark，比如大海捞针，或者 RULER 这样的标准 benchmark，测试它的长文本能力。我们会看到它的一些基础能力。

但你提到的这个能力，跟训练数据严格相关。我们只能保证模型有这种能力的潜力，但它具体是否具有这种能力，和训练数据高度相关。

你提到的问题，是我们下一代模型需要解决的。我们真正把长文本做好，很 tricky。我们现在确实有一个比较尴尬的点：这版模型在长文本上的应用没有做到特别极致，没有充分挖掘模型的能力。

程曼祺 Manqi Cheng

但这不是架构导致的，对吗？可能是其他环节共同导致的？

我们认为是数据导致的，训练数据缺乏导致的。我们做过非常严格的 apple-to-apple 对比，在相同数据下，我们的架构没有劣势。

9. Reasoning Reshapes the Roadmap

程曼祺 Manqi Cheng

我们也看到，现在 MiniMax 01 不是一个推理模型。

对。

程曼祺 Manqi Cheng

R1、o1 还有 Kimi K1.5 是推理模型。你们现在的架构如果做推理、结合强化学习，它的潜力或者方法是怎样的？

这块我借用一下 DeepSeek 那边的结论。他们认为 Linear 架构在推理上会更强一点。

为什么？他们的观点是“压缩产生智能”。Linear 模型做的事情，就是把信息进行一轮压缩。所以根据这个理论，他们会觉得 Linear 的效果在深度推理下比较有优势。

我也跟他们的技术人员聊过，他们的意思是，他们在线性模型上做过深度推理实验，表现上是比较有优势的。

程曼祺 Manqi Cheng

那你们自己看到的是什么？

这个我们正在做，现在还不方便透露。

我们最开始并没有选择做 o1。o1 刚出来的时候，国内有一大批跟随者。我们当时的想法还是先把基础能力做扎实。

当然这里面也有一个研判：我们觉得推理能力只会让模型某一方面的能力，比如 in-domain 能力变得更强。

但 R1 出来以后改变了一件事：它发现加了推理能力之后，模型的 generalization 能力会变得更好。也就是外推能力更强，能够把能力延展到没有见过的类别和方向上。

程曼祺 Manqi Cheng

就是泛化能力会更好吗？可以这么理解吗？

对，泛化能力会更好。这就导致我们现在要做深度推理模型。

程曼祺 Manqi Cheng

你刚才说，当时研判要先把技术基础做得更扎实，具体指什么？

本质上来说，我们有一批内部榜单，希望模型能在内部榜单上跟 GPT-4o 差不多，或者跟世界顶尖模型差不多。

程曼祺 Manqi Cheng

为什么对标 GPT-4o？

因为当时 GPT-4o 是最先进的模型。

程曼祺 Manqi Cheng

你们会比较追求多模态吗？因为 GPT-4o 是混合模态模型。

后来我接手了多模态理解大模型。当时其实有两条路：第一是原生多模态，第二是 Adapter 形式的多模态。

在这方面，我当时的判断还是做 Adapter 形式。

第一，当时原生多模态还没有走通。Gemini 2.0 还没有发布，所以我们会选择一个较为保守的方案，也就是 Adapter。

这个方案的好处是，第一，我们可以很快验证数据有没有问题；第二，效果立竿见影，只需要较小成本，就能得到一个比较好的模型。

从我们发布的 VL 01 来说，benchmark 结果其实还是不错的。

程曼祺 Manqi Cheng

它不是一个原生多模态模型？

对。我们现在正在做原生多模态模型。

程曼祺 Manqi Cheng

所以 VL 01 还不是原生多模态，而是 Adapter 的形式。

对。

程曼祺 Manqi Cheng

也就是说，它可以混合输入多模态、混合输出多模态，但内部结构不一定是原生多模态，也可能是通过 Adapter 拼起来的。

对，有可能是这样。

程曼祺 Manqi Cheng

可以理解为，MiniMax 01 是 MiniMax 主线模型上一次比较大的转型或者升级。从以前 ABAB 系列，我理解应该是 Transformer 架构，到现在 01 变成了线性架构。

对。其实这一段时间模型更迭很快。ABAB 上一代模型是 6.5，6.5 训练完成是在 2024 年 6 月。之后马不停蹄地开始训练 MiniMax 01，也就是 2024 年 6 月以后，用 2000 张卡去训练 01。

程曼祺 Manqi Cheng

那之后会沿着线性架构继续迭代一段时间吗？包括推理，你刚才也说会在这个架构上做。

我的预测是，这个模型应该会用到今年 6 月，至少会用到今年 6 月。6 月以后，我们这边还会有新的架构出来。

程曼祺 Manqi Cheng

推理之后你们想探索什么？

更新模型。

程曼祺 Manqi Cheng

或者说，大家看到的下一个趋势是什么？

模型会变得更加高效，推理能力也更强，比如数学、编程这些。

首先，数据量会高很多，模型结构也会更新。我觉得我们会从头再训一版。

因为从 o1 之后，是把强化学习引入 Transformer 的整个流程。之前也用了强化学习，但可能主要是在后面的微调部分。

程曼祺 Manqi Cheng

这样变化之后，你觉得下一个大的变化可能是什么？AI 界有没有看到一些苗头？

现在还没有。现在还是在做深度推理，这一波刚刚起来，包括我们现在也还处于跟随状态。

但我们认为未来长文本还是一个趋势。我们比较高兴看到像 Gemini、Kimi 都推出了各自的长文本优化模型架构，这意味着他们跟我们上了同一个赛道，也就是长文本赛道。

在长文本赛道上，Linear Attention 是我个人觉得很难碰到对手的，尤其是 scale up 到一定程度以后。

程曼祺 Manqi Cheng

一方面大家都上了长文本赛道，另一方面你对现在选的线性方向更有信心。

对。

10. Linear Attention Faces Doubts

程曼祺 Manqi Cheng

那你怎么看 NSA？现在因为 DeepSeek 本身很火，所以像 NSA，包括近期的 MoBA 等成果，关注度也比较高。实际上，你觉得 DeepSeek 在注意力改进上的进展是怎样的？

他们主要的创新，其实就是我们 2021 年说的：稀疏注意力速度很慢。

他们这篇工作是把速度真正提上来了，做了工程化的极致优化。但它的上限很低，我并不认为 DeepSeek 会一直走这条道路。

程曼祺 Manqi Cheng

这个上限主要反映在模型参数变大时，提升效果没有那么明显，不如线性注意力，是吗？

对。他们如果要 scale up，一定会做 scaling law 实验。

程曼祺 Manqi Cheng

除了 MiniMax 01 主线之外，现在 MiniMax 其他模型或者算法上的投入，有没有收缩到几个主要方向？还是像之前一样，视频生成这些也会投入很多？

视频生成现在主要还是在做效果。

关于视频生成的线性架构，我们也有，只是还没训练。我们都有新架构，只是还没有采用，技术储备已经有了。

程曼祺 Manqi Cheng

所以线性注意力也可以做视频生成？

对。我们的线性架构有很强的技术储备，只是还没用而已。

程曼祺 Manqi Cheng

可以说你们各个方向的模型，理论上都会转到线性结构上吗？

理论上可以，只是现在的判断是还不需要。它们还没有遇到序列长度过长、导致训练效率低下的问题。

线性注意力上限很高，而且实际上是可以 work 的。

程曼祺 Manqi Cheng

你觉得这件事在行业里是共识，还是属于非共识？

这是非共识。现在大家对 Linear Attention 还有 concern。即使 MiniMax 01 已经发布，他们还是觉得 Linear Attention 可能 scale up 不上去。

程曼祺 Manqi Cheng

这个 concern 展开来说，为什么大家觉得 scale up 不上去？是原理上哪里有问题，导致大家有这样的疑虑？

第一，可能是 MiniMax 01 的宣传度不够，他们还没看到。

现在很多人的共识是，Linear Attention 也是一种有损优化。很多人会觉得，一个二次的东西，现在用一次去逼近，当然是有损优化。

但事实上，有没有一种可能，二次计算复杂度本身就是冗余的？

程曼祺 Manqi Cheng

所以你认为它其实是无损的，或者有可能是无损的？

我们认为它是一个无损架构，是一种无损优化。特别是变成混合架构以后，它就是无损优化，甚至还有增强。

程曼祺 Manqi Cheng

你是指比纯 Full Attention 还有增强吗？

对，比纯 Full Attention 还有增强。

程曼祺 Manqi Cheng

稀疏和有损是等同的吗？

稀疏就是一定有损。

Attention 固有的特性之一就是稠密。最终 Attention 会算出一个 Attention Mask，这个 Mask 本身是 dense 的，每一个元素都有值。

稀疏就是只计算其中一部分位置的值，所以本质上就是有损的。稀疏只是让它变成一个固定 pattern，不去计算每个位置的值。

程曼祺 Manqi Cheng

如果稀疏的 pattern 是可以学习到的，这也是 NSA、MoBA、Seer Attention 在讲的事情：到底在完整的值里选哪些位置，本身是可以被学习到的。这样能解决有损的问题吗？

这个方法在 2020 年已经有了，叫可学习的稀疏 Attention，不是什么新的东西。

但当时可学习稀疏注意力速度很慢，现在他们可以用不同方式把速度做得很快。

我们认为这属于技术层面的道心之争。我们认为它是有损的。

程曼祺 Manqi Cheng

你刚才说叫什么之争？

道心之争。

程曼祺 Manqi Cheng

这个道心肯定也来自以前的一些积累。是大家数学上的理解不一样，还是其他东西不一样？

是学术理念不一样。

比如我们从 2021 年开始，一直在做 Linear Attention。为什么这么长时间一直做？因为我们相信它一定能 work。

当时跟我们一起做 Linear Attention 的一些人，后来已经不继续往下做了。这属于信念感。

我们觉得它一定能 work，他们认为稀疏注意力一定能 work，这也可以。

但是稀疏注意力和我们是正交的。也就是说，他们的方法我们可以拿过来用，我们的方法他们也可以用。

程曼祺 Manqi Cheng

你们的方法，他们用起来就比较麻烦，因为要改底层架构。

对。

程曼祺 Manqi Cheng

我今天早上聊天时，他们也提到，可能理论上来说，线性注意力机制的上限更高。

其实我们已经证明了，只是他们选择相信还是不相信而已。

程曼祺 Manqi Cheng

那说回来，为什么 MiniMax 01 的技术社区影响力，可能还没有让大家充分认识到这件事情？

我们宣传比较少，还是因为 CEO 的风格是“做 5 分，宣传 5 分；做 10 分，宣传 5 分”。

程曼祺 Manqi Cheng

这件事情到底是靠宣传，还是靠技术社区的人自己发现？或者靠你们开源更好的工具，让他们能更好地体验？

他们体验不了。你个人也部署不了 600 多 B 的东西，我们这个 400 多 B 的模型也部署不了。

程曼祺 Manqi Cheng

当然可以用 API 测试。那很多人复现 R1，是怎么做的？

R1 也开了一些小规模模型。

程曼祺 Manqi Cheng

R1 是大模型和小模型都开了。

你们为什么开源时不放不同尺寸的模型？小尺寸对学界、个人开发者和小机构更友好，可以让更多人参与。

这个需要去说服 CEO。我们是有小尺寸模型的，但 CEO 觉得还是要先把效果做好，希望先把效果上限提上去，再考虑小模型开源。

程曼祺 Manqi Cheng

如果技术影响力是目标，让更多人参与也很重要。一个特别大的模型大家都搞不了，讨论度不就变低了吗？

我觉得他的重点是希望更专注，开源的东西更加专注。你开源两个模型，就意味着要维护两个模型。

程曼祺 Manqi Cheng

但不同尺寸的模型，其实还是一个模型吧？

训练的东西不一样，训练数据也不一样。我们最近训的那批小模型，训练数据跟大模型不太一样。

程曼祺 Manqi Cheng

那你们不能像 R1 那样，直接用自己的大模型蒸馏出几个小模型吗？

现在没人做这件事，需要人力。

程曼祺 Manqi Cheng

这也是我最开始问你开源额外需要做什么。想让它在社区里有非常好的效果，可能就得额外多做一些事情。

我个人觉得 PR 是要强的。现在已经不是酒香不怕巷子深的时代了，有太多宣传出来的东西，真正的东西很容易被埋没。

而且我刚才说开源更多小模型，它不一定是直接宣传。它不会让很多人认为这是一种宣传，反而可能产生更好的效果。

硬说自己特别好、发一堆稿件，这种方式的效果已经在衰减了。

还有一个点，我们做这个东西，包括 CEO 也很清楚，我们走的是一条长线。

短期内，我们的效果一定会落后。我们做了新架构，在相同算力和人工的情况下，没有太多人力去做深度推理，所以跟随深度推理的脚步会慢一点。

但好处是，当我们转型去做深度推理时，开源已经把这部分做得差不多了，我们复现的难度会降得很低，赶上的速度会很快。

所以在这场跑步当中，我们跑的是下半场，赌的是未来长文本的需求。

程曼祺 Manqi Cheng

据你所知，OpenAI 这类国外 AI 公司，有在尝试线性架构的优化吗？

他们的架构很可能是基于 Sliding Window Attention。

程曼祺 Manqi Cheng

滑动窗口注意力也是一种稀疏注意力吗？

对，滑动窗口是比较基础的稀疏注意力机制。他们大概率采用的是滑动窗口加 Full Attention。

程曼祺 Manqi Cheng

所以你们这个方向是很原创的。并不是美国那几个最强的公司，比如 Anthropic、OpenAI、Google、Meta，有很大迹象要往这个方向转。是你们自己很相信线性方向的潜力很大。

对，而且我们是真正把论文转化成了产品，说明我们的技术比较先进。这篇论文是 2024 年初的，产品是 2024 年底的。

程曼祺 Manqi Cheng

你刚才也讲到，认可线性注意力上限很大、这件事能 work，在业界是非共识。你们现在介意讲这个非共识吗？

不介意。我们希望宣传这件事。

首先，他们得花一部分精力来跑 Linear Attention 这条赛道；同时，他们也会开发出更多长文本应用。

程曼祺 Manqi Cheng

所以你们希望更多人来做线性注意力？

对。开源本身选择的就是知名度。

程曼祺 Manqi Cheng

总体来说，你们对 MiniMax 01 这次开源目前的反馈满意吗？包括影响力和综合反馈。

我听到的，包括群里的反馈，都是说报告写得很好，工作比较 solid，但不知道为什么没有很多人知道。

程曼祺 Manqi Cheng

就好像看了一部特别好的电视剧或者小说，觉得特别好，跟别人安利，但没有什么人看。

对。这个现状也需要加强宣传。另外，我们下版模型也会做得更好，大概再等一个月。

程曼祺 Manqi Cheng

整体上，你觉得外界对 MiniMax 的技术实力有什么印象和误解？

之前大家可能会觉得 MiniMax 是一家比较低调的公司，或者是一家 To C、产品化的公司。因为它的技术不公布，也没有看到 MiniMax 发布相关论文。

程曼祺 Manqi Cheng

你觉得在 01 之后，这个印象发生变化了吗？

我觉得 01 之后，外界会突然发现，这是一家真正做技术的公司，或者说是一家有技术信仰的公司，愿意花真金白银去实现一项新技术。

程曼祺 Manqi Cheng

在 DeepSeek 春节期间大规模出圈之后，你们内部氛围有什么变化吗？

研发团队都在加班。

程曼祺 Manqi Cheng

本来就要加班，还是因为 DeepSeek 让你们没过年？

也就是说，你们加快了做推理模型的节奏，可以这么说吗？

对，紧迫性提高了很多。

对我们来说，如果过一个月再发布一个跟 R1 差不多的东西，显然是不够的。我们做出来的东西一定要比 R1 好，甚至要做到跟 o1、o3 差不多的水平。

程曼祺 Manqi Cheng

评判标准还是常规 benchmark 吗？包括数学、奥赛、编程、SWE、AIME 这些？

对，会有标准 benchmark。我们自己也有一些内部榜单，会做得更加激进一点。

别人原来会把多模态模型分成视觉理解模型和文本模型，但现在基本上所有 benchmark 都是分开的。在这一版上，我们已经没有文本模型，只有一个模型，也就是多模态理解大模型。

这里面最 tricky 的点是，怎么平衡文本能力和视觉理解能力，让两个榜单都不掉。

程曼祺 Manqi Cheng

你们做的过程中觉得难吗？难在哪儿？

还在尝试。目前实验结论还可以。

程曼祺 Manqi Cheng

这其实是一个比较激进的方案，会是一个深度推理的多模态模型。

对。

程曼祺 Manqi Cheng

所以它是一个用了新线性架构的、原生多模态的深度推理模型？

对。

程曼祺 Manqi Cheng

你们确实一下做了好几个改进放在一起。

被迫的。

程曼祺 Manqi Cheng

那你觉得这件事有多少把握？刚才你说最开始做线性架构时，有 90% 多的把握它可以 work。现在这个新东西，你有多大把握它可以 work？

从现在的进度来说，大概七八成。

程曼祺 Manqi Cheng

这一次又是把超过 80% 的资源放在这个新模型上吗？

这是最高优先级。绝大部分算法和工程优化人员，都在这个大模型上。

程曼祺 Manqi Cheng

今年就会推出，对不对？下个月这么快？

大概 4 月份，不超过 5 月。

程曼祺 Manqi Cheng

你说的是 4 月份发布吗？

对，4 月份能发布。

程曼祺 Manqi Cheng

发布也指开源吗？

应该会开源。

程曼祺 Manqi Cheng

这个速度确实很快。

你刚才讲的一些点让我比较吃惊，比如你们做 scaling law 测试，预训练这么多次，以及在一个比较新的架构上花 80% 的精力和资源。

我们现在的主要目标，还是提高模型的上限。所有精力都在提高模型上限。我们现在认为，提高模型上限比维护产品更加重要。

程曼祺 Manqi Cheng

你会羡慕 DeepSeek 那种基本不做产品的方式吗？当然他们有 To C 产品，但其实没怎么维护，宕机就宕机了。

我为什么来 MiniMax，也是出于这个考虑。

我们当时想宣传 Linear Attention，确实借助了一些实验室的资源去做宣传。但我跟所有人聊的时候，都很难说服他们。

他们会说，你这个模型只在小规模上验证过，大规模上的效果并不确定。他们会用这一点来表示不认可。

我当时就想，那应该怎么办？只能去找一个愿意做这件事的人。

宣传新技术最好的方式是什么？把它放到产品里，让所有人都用到。这就是证明一项技术最好的方式。

所以我来了 MiniMax，把这个模型真正放到产品里。

程曼祺 Manqi Cheng

你现在还是这样想的吗？

对。这就是为什么我来 MiniMax，把这个模型真正放到产品里面。

程曼祺 Manqi Cheng

你怎么看 DeepSeek 其实没有一个产品，或者说没有一个特别好用的产品，但它的影响力会在一段时间里特别爆炸？

这是偶然因素导致的，还是有可能持续？大家最大的焦点可能都是模型能力本身的提升，不见得是模型能力提升之后，公司自己做了什么产品，也可能是生态里其他人在做。

我个人觉得，R1 出圈其实有一定偶然性。

第一，模型效果确实不错，这是它能出圈的原因之一，但也跟很多其他情况相关。

对我们来说，没法去等待一个偶发事件。我有一项新技术，想让很多人知道，怎么办？就是把它变成产品。

这其实也是 ChatGPT 实现过的事情。OpenAI 当时有一些无心插柳的成分，但它确实通过一个产品形成了 ChatGPT 时刻。

之后 OpenAI 很快和微软有了更深的绑定，接入了更多算力资源，相当于把关注转化成用户，并积累到现在。

我觉得 DeepSeek 前半段的事情跟这个比较类似，但后面不一样的地方在于，它自己没有怎么做产品。

现在出现的局面是，腾讯元宝、阿里、百度，还有很多其他公司和车企，都在接入 DeepSeek。这个故事后面的一部分就不太一样了。

程曼祺 Manqi Cheng

但这也不影响模型效果确实好。大模型领域很少有特别长期的领先，基本上所有领先都会在 3 个月以内被抹平。

所以你还是觉得，正常商业公司只靠技术领先，没有办法长时间形成正向反馈和壁垒？

对。DeepSeek 可能有一些特殊情况，但正常商业公司只靠技术领先，确实很难长时间形成壁垒。

程曼祺 Manqi Cheng

也许这会是一个更长期的趋势，也许 DeepSeek 是一个短期的极值事件，它可能改变了一些人的想法。

原因是，虽然大家都说深度推理，但真正让大家第一次切身感知到深度推理每一步的，其实就是 R1。

之前 o1 没有完全开放思维链，而 R1 把思维链透明给用户。

另外，OpenAI 比较贵。对中国以及全世界很多地方的人来说，使用 o1 的成本和门槛都比较高。

还有一点，R1 不是一个通用模型。你可以问它一些通用问题，比如“谁是谁”，但它的回复往往不会很好。不过在解难题或者专业任务上，效果会比较好。我的定义是，它并不像一个通用模型。

你经历过上一代以计算机视觉为主要技术的 AI 公司，也经历过上海人工智能实验室这样的 lab，还有 MiniMax 这样新一批大模型创业公司。你自己感觉，在这些不同类型的机构里做 AI、做 AGI，区别是什么？

这里面最重要的是决策。

2021 年 3 月，我在商汤做的是文本大模型。当时 ChatGPT 还没有出现，GPT-3 刚刚发布。那时候商汤做大模型是非常早的。

程曼祺 Manqi Cheng

你自己在 AI 上的追求是什么？

11. A Self Learning AI

我一直想做一个模型。他们现在叫 AGI，但我想做的时候还不叫 AGI。

我想做的是一个真正能够自我学习、自我进步的模型。

它能做什么？就是把人看到的、听到的所有东西都输入进去，让它自发学习不同模态之间的关系，以及怎么处理文本。

文本本身也是通过自监督学习出来的。通过这种方法，我们可以得到一个初步的、能够自发学习的大模型。

当时还没有“大模型”这个概念，但现在我觉得，这里面会牵涉到很多别的模型，比如世界模型，它也属于其中一部分。

如果要做这件事，第一需要文本模型，第二需要多模态模型，第三步就是想办法让它自发学出不同模态之间的关系。人也是这么学习的，人从婴儿开始也是这么学习的。

程曼祺 Manqi Cheng

你说的这件事，是不需要一版一版地预训练，而是要跳过这个步骤吗？

可以把它叫持续学习，就是它一直在预训练。

程曼祺 Manqi Cheng

但这个方向在现在的学界，其实还没有收敛到一个具体的实现方式，对不对？

虽然还没有具体实现，但可以发现大家都在往这个方向走。

现在有几个方向比较火：第一个是大模型，第二个是具身智能，第三个是空间智能。

为什么会走这 3 个方向？大模型现在碰到了一个问题：训练数据即将耗尽。训练数据耗尽之后，大模型怎么办？

这时候具身智能就出现了。具身智能的定义是什么？通过跟环境交互来获得智能。机器人跟环境交互，在所有这些交互中，是不是可以产生无穷无尽的数据？这就可以解决大模型的训练数据问题。

那空间智能有什么用？具身智能要跟环境交互，跟环境交互就需要空间理解能力，所以空间智能也会进来。

你会发现，虽然大家对这个观念还比较模糊，但每个小方向都在一步步往这里走。

程曼祺 Manqi Cheng

你觉得强化学习、深度推理这个方向，能走到持续学习的模型吗？还是中间会有比较大的 gap？

强化学习是一种学习方式。走通这一步以后，未来真正走到 AGI，可能可以依靠这种方法进行自发学习。

强化学习这一块其实很像具身智能里的强化学习。具身智能现在也用强化学习做很多运动控制，和它很像。

对我来说，R1 更像是一个偶然发现的东西。他们把机器人领域里比较火的 RL 直接拿过来，训练一下，结果发现效果特别好，应该是一个偶然发现。

程曼祺 Manqi Cheng

你指的是 o1 吧？

o1 或者 R1。

程曼祺 Manqi Cheng

但这个方向最开始应该是 o1。

对。我感觉他们就是直接拿过来训练，结果发现效果居然特别好。

OpenAI 可能也做了类似的动作，但它没有对外说很多细节，我们也不知道它是怎么做的。

程曼祺 Manqi Cheng

所以你个人追求的是某一种你想象中的 AI，希望它能够实现，并且你在推动这个过程。

对我来说，现在就是一步一步往上走。

但进入大模型领域以后，你会发现自己的驱动已经变成外界来驱动，很多情况下已经身不由己了，是竞争驱动的。

程曼祺 Manqi Cheng

如果抛开所有限制，你觉得现在实际上应该做什么？

还是要把模型能力、基础能力往上提。

程曼祺 Manqi Cheng

我是指具体一点。如果要提升基础能力，最应该做的具体事情是什么？

我觉得强化学习是一个很好的方向。

首先，我们解决了基础架构的问题，让计算复杂度下降。架构问题解决以后，就有了一个比较好的基础，可以在上面尝试不同的算法。

程曼祺 Manqi Cheng

所以至少在目前这个阶段，外部竞争驱动你做的方向，和你认为本身应该做的事情也是契合的。

对。

程曼祺 Manqi Cheng

我觉得今天这个交流很好。本来我是想跟你聊线性注意力，但听下来之后，其实变成了一个更广的话题。你比较详细地回述了你们怎么做线性注意力探索的过程，其中有很多心路历程，也让我很受启发。

我对你们团队，包括对 MiniMax 的一些决策，也有了新的认识。

今天非常感谢怡然来做客《晚点聊》。

好嘞。

程曼祺 Manqi Cheng

最后跟听友打个招呼吧。

大家拜拜。

程曼祺 Manqi Cheng

拜拜。

本期的连点呈现，我有 3 个联想。

第一个是，这期和上期有很多联动，因为我们都是在聊 Attention。

怡然提了一个问题：他认为大部分人觉得线性 Attention 是有损的。这呼应了我们上一期聊到的内容：目前学界的一些探索表明，纯线性的注意力效果可能无法比肩 Transformer。

但怡然也提出，是否有另一种可能：原初 Attention 中的二次计算复杂度本身就是冗余的。

第二个联想，是我们最后讨论到他想做什么样的 AI 时，他设想了一个可以持续学习的 AI 系统，而不需要人类一代一代地预训练、升级。

其实上期朝军也聊到了类似的未来设想。更早的时候，在《晚点聊》第 71 期节目里，香港大学计算机系主任马毅也谈到了这个话题。

马老师认为，现在的 Transformer 并不是真的高级智能，我们混淆了智能和知识。大模型和婴儿谁更有知识，谁更智能？他认为是婴儿更有智能。婴儿有可能成为下一个爱因斯坦，因为他可以自主学习。

那么系统如何自主学习？马老师认为，关键是闭环训练、反馈和纠错机制等。他提出，智能的原则是简约和自洽。

更详细的内容，如果大家感兴趣，可以去听第 71 期节目。那一期我们也聊了很多历史。虽然 AI 每天都有很多新鲜的事情，但马老师的一个想法是，年轻学生应该更多关注 AI 的历史。

我们当时聊到了从上世纪 40 年代的控制论、信息论，到 50 年代的达特茅斯会议，还有明斯基他们最开始提出 Artificial Intelligence 这个词时，到底是在指什么。

最后一个联想，是关于语言和多模态对智能的意义。

钟怡然在描述自己想做什么样的 AI 时，提到了语言、具身智能、空间智能和世界模型之间的相互促进。

比如以 RL，也就是强化学习为例。在 o1、R1 一类模型中很重要的强化学习，也是近几年大家在机器人运动控制中使用得比较多的一种方法。

而我们之前在第 101 期和王小川聊的那期节目中，他非常鲜明地表达了另一个观点：他认为语言才是智能的主轴。多模态，比如世界模型，在他看来是跑偏了，因为语言才凝结了人对世界的认知。

从科学时代到智能时代，要从解构物理世界到解构人。这背后可能是现在不同的人，对智能、对 AGI 本身有不同的理解。

现在的大语言模型更像是一个虚拟世界中的缸中之脑。再往下，能够在物理世界中活动并改变物理世界，这件事本身对智能的产生和发展到底有什么意义？不同的人现在有不同的答案。

完全虚拟的缸中之脑成立吗？它未来会产生类似好奇心、厌恶、喜好等机制吗？我想，我们之后的节目里可能还会反复回应类似的议题。本期节目就到这里，欢迎收听。如果你对今天聊的话题有观察、好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友，欢迎推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果 Podcast 等渠道关注“晚点聊 Late Talk”，也欢迎关注我们的公众号“晚点 Late Post”，下期再见。