欲知未来，先知过去。欢迎收听晚点聊，我是曼琪。这期是晚点聊的一个新系列 long context 长语境的第一期，类似于现在的大模型需要 long context，我们每个人去学习理解智能也需要一个更全面的历史语境，让我们能在新东西不断涌现的此刻找到一个更稳定的坐标。No context 系列就是希望结合不同从业者的亲身经历去多角度展现人工智能的历史。在这个系列的开端，我邀请了香港大学计算与数据科学学院院长马毅教授来与我们聊智能和机器智能的历史。马毅本科毕业于清华大学，两千年在加州伯克利大学获得博士学位，先后任职于伊利诺伊大学香槟分校、微软亚研院、上海科技大学、伯克利大学和香港大学，是人工智能和计算机视觉领域的全球知名学者。最近五年，马毅自己关心的课题之一就是智能的历史，为了在港大推动面向所有学科本科生的 AI 通识教育，他也在撰写教材、设计课程，对智能的发展做了更全面和。深入浅出的整理，马毅对智能有一些少数派的理解。就比如本系列的名称 long context，当作为一个技术概念时，马老师认为与其一味追求预训练模式下的更长的 long context，更好的方式是找到一种机制，能让智能系统有闭环的、长久的、不会遗忘的记忆。这些理。这些理解本身与他对智能历史的梳理和认知有关。智能是如何在地球上诞生的？马毅认为生命就是智能的载体，从 DNA 出现到神经系统诞生和寒武纪物种大爆发，再到人类的语言与数学的诞生，智能有不同的表现形式，但不变的是智能都是在学习外部世界的知识与规律，从而进行预测，使知识可以为我所用。智能是在寻找规律并利用规律，是一个与宇宙的熵增截然相反的过程。从智能的历史，我们接下来聊了机器智能的历史。大部分人会把一九五六年的达特茅斯会议视为人工智能的开端，而马毅认为对机器智能的研究要追溯到一九四零年代维纳的控制论、香农的信息论等更早的源头。从那时到现在的八十多年里，机器智能的发展几经起伏，马毅也分享了自己亲历的部分变化，比如他刚博士毕业时找不到对口方向的教职，他现在被引用最多的成果一度没有任何会议愿意接收。我们还聊了一个研究者的技术品位如何形成。品味 taste 不仅是一种认知，也是认知被挑战时能继续坚持的自信。马毅的技术品味使他进入了一个目前在 AI 工业界的眼中并不那么主流的方向，白盒大模型和能实现闭环反馈纠错的机器智能。这两个方向在我们去年与马老师的访谈中有更详细的展开，具体内容可以听晚点聊的第七十一期节目。相关。相关图文报道我也贴在了 show notes 里。为了加速这些方向的探索，蚂蚁也创立了一家公司，易生科技。最后说一些声音上的注释，本期中多次提到维纳的 cybernetics，它是指洛伯特维纳提出的控制论。本期也多次提到了闭环系统、闭环反馈纠错机制。简单来说，闭环是指一个系统能自己知道自己学的是对还是错，这是生物界智能的机制，也是目前还需要人来做预训练和标注的大模型尚不具备的特性。下面我们就正式进入本期节目吧。
程曼祺 Manqi Cheng
上次和马老师聊是在去年。最近我想和您聊一下新一年，因为 AI 领域又有了非常多的变化，当然，您对很多变化的视角可能也和一般人不一样。
另外，上次有一个没有特别展开的主题，就是智能诞生的过程，包括自然界的智能、机器的智能。还有一个延展的话题，是技术品味（taste）的形成。最近我和很多技术人员聊天，发现大家在一些未知领域的判断，往往来自长久积累的品味，或者说直觉。而且它不仅仅是一种认知，也意味着当自己的认知受到挑战时，仍然愿意相信自己相信的东西。我觉得那才是真正的 taste。
最后可能还想聊聊通识教育。上次聊的时候，港大还没有开始那个计划，但已经准备给所有学科的学生，包括社科和文科学生，提供 AI 通识教育。如果这件事有进展，也可以聊一聊。
马毅
实际上，那件事情跟你的第一个问题也是有关系的。你第一个问题主要是讲历史。今天我刚刚在清华、北大，接下来还要去北邮。最近几年，我对智能的认识也在不断丰富和完善，包括过去七八年，尤其是最近这一年。现在某种意义上，大家都对 AI 很感兴趣，学校也有越来越多的需求，要对研究生、本科生，甚至高中生、初中生做科普。所以我们觉得，越来越需要做这件事情。
程曼祺 Manqi Cheng
那我们正好可以从源头开始聊一聊。您觉得智能的本质是什么？我们又应该怎么理解，现在的机器智能在探索智能的过程中，大概到了什么阶段？
马毅
实际上，这个观点我们早就有了。过去在伯克利的时候，我和原来做神经科学的老师聊过智能的起源，不只是机器智能的起源，而是智能本身的起源，只是最近因为有了科普的需求，需要让更多有不同科学、文学、社会背景的人了解智能的本质，所以我们做了一些整理。我最近也在做一些演讲。
1. 智能从生命开始
某种意义上说，生命就是智能。丘成桐先生上次在香港有一次聊天，我觉得挺有意思。他看问题的尺度很大，觉得这个世界上有两个问题值得研究：一个是物理，研究宇宙的历史和起源；另一个是生命，研究生命的起源。
但从现在看来，某种意义上，生命实际上也是智能的载体，是智能这种机制的载体。这就涉及智能的起源，而且和现在的大模型也有一点关系。智能本身就是在不断学习外部世界中有规律的东西，并且能够对外部世界进行预测。
我很喜欢的一句引语，准确的原文我记不住，大意是：整个宇宙发展的基本规律，是熵的增加。熵在增长的过程，也就是热力学第二定律所说的，封闭系统的熵不断增长，世界变得越来越混乱、越来越 chaotic。
但是生命在这个过程中是对抗这件事情的。智能实际上就是要在一个还没有完全不可预测的世界里，找到可预测、有规律、有结构的东西。也就是说，智能是在对抗熵增。
这非常有趣。生命利用这个世界上很多可预测、有规律的东西来存活，而不是面对完全随机的世界。所以，生命最早是怎么把这些知识硬编码下来的？就是 DNA，遗传物质。
我经常会说，大家可以很简单地理解现在的大模型：DNA 就是这个世界上最早的大模型，是早期生物对外部世界所学到的知识，通过核糖核酸这样的碱基结构编码、记录下来。它非常有规则，这一点和我们的语言很像。
程曼祺 Manqi Cheng
这个早期阶段的生物，是单细胞生物吗？
马毅
甚至还没有形成细胞。早期生命在有机物出现以后，是非常初级的生物。这个过程非常长，大概持续了 30 亿年。那时的简单、低等生物，完全靠 DNA 继承父母传下来的知识，靠上一代细胞分裂时传下来的遗传物质。
这是父母给你的东西。但它也会进化，它的智能体现在哪里？体现在变异和自然选择，适者生存、物竞天择，这就是强化学习。
早期的大模型靠什么进化？靠强化学习。自然界就是给你的 reward：你变异得对，就活下来；变异得更好，就活得更好；变异不对，就一将功成万骨枯，整个 species 都可能被淘汰。
所以一个新的生命诞生，就好像预训练模型重新训练一版。它不是在同一个个体里持续学习，而是完全靠本能活着，只是在分裂的过程中产生随机变异。
程曼祺 Manqi Cheng
我的意思是，如果它是一个单细胞生物，在一个个体的生命周期里，它是没有我们通常意义上的学习的，对吧？
马毅
对，它的学习在生物学上叫作 phylogenetic evolution，也就是物种进化。物种和环境形成了闭环，它不断寻找、改进自己对外部世界的知识，判断哪些是对的、哪些是不对的，或者不断增加对外部世界的知识。
所以，单个生物个体没有智能，但物种通过进化实现了一种智能机制。
2. 个体记忆改变进化
大概在 5.5 亿年前，生物个体开始出现，最了不起的是出现了神经系统和视觉。很快，在大约 5,000 万年之后，就出现了寒武纪生命大爆发。
这意味着什么？个体除了从父母那里继承来的大模型，还能够 fine-tune，能够形成自己的 memory。它可以从自己所处的具体环境中产生新的记忆，而不是只继承父母的知识。
通过视觉、感知和触觉，它能够形成自己的知识，适应环境。个体开始产生记忆。个体的记忆，就是在 DNA 之外，对外部世界形成的一个模型、一种编码。
它也是通过神经网络记录下来的，不再通过 DNA 记录。虽然它只属于个体，但个体确实因此能够适应得更好：出生之后，它可以针对自己的特殊环境进行学习和适应。
所以寒武纪实现了生物的大爆发，个体的生存能力大大提高，物种也变多了。各种不同形态的生物，只要拥有这种能力，适应力就很高。以前稍微变得不好一点，就可能直接死掉；但现在个体的生存能力更强，所以变化更容易存活，也更容易产生更多物种。
后来开始出现人类。在从低等生物到高等生物、从爬行动物到鸟类、再到哺乳动物的进化过程中，有一个很有趣的现象：随着生命或者人的形态越来越高级，个体出生之后和父母相处的时间越来越长。
为什么？因为它越来越不依赖预训练的大模型，越来越依赖后天学习形成的 memory。它对 DNA 的依赖越来越少，更重视后天学习、父母传授的东西，以及在特殊环境中学到的知识。
早期的鸟基本上 3 个月就要跟着父母飞了；哺乳动物基本上是半年到 1 年，猫科动物最长，大概两三年；猴子是五六年；人是 18 年。
你可以从这个很简单的事实看出，随着智能形式的提高，人反而越来越不依赖预训练模型，更多依赖后天的 memory。
3. 语言建立文明
人出现之后，又发生了一件了不起的事情：人开始比较系统地使用语言进行交流。这大大提高了获取外部知识的效率。比如我找到哪里有水，学到了一些知识，就不用让你再跑一遍，我告诉你就可以了。
这大大提高了一个族群、群体或者社会获取外部知识的效率。原来每只猫都要自己建立记忆，而且猫科动物基本上是独居的；但人是群居的，语言就变得非常重要。
语言提高了获取外部世界知识、为外部世界建模的效率，所以后来才产生了文字。文字基本上才带来了文明，civilization。
语言记录的是人类收集到的知识。不仅可以交流，还可以传授给下一代。从某种意义上说，语言和文字起到了一定的 DNA 的作用。原来上一代获得的世界模型，需要通过遗传物质传递；现在通过书本、通过组织好的语言，就可以一代一代传递下去。
这使文明发展的速度大大提高。不会再像以前那样，一个猫死了，它所有的记忆和学到的东西就全部丢失。
程曼祺 Manqi Cheng
从语言开始，是不是也出现了更多的“幻觉”？DNA 是不是没有幻觉？
马毅
首先，“幻觉”这件事情并没有一个很好的定义。到底什么是随机的，哪些是好的，哪些是坏的，都还需要讨论。
我理解你想表达的是，DNA 最后呈现的是一个结果：你生存，或者你不生存。
程曼祺 Manqi Cheng
对。我们在应用知识的过程中，即使 encode 的知识很精准，应用时也会有很多不确定因素。
马毅
对。不是所有知识都像数学一样 deterministic。很多知识是概率性的，比如明天有可能下雨，但这是一种很有用的知识，并不意味着明天一定下雨。
尤其是经验知识，往往是以这种形式存在的。包括中国过去的黄历，不需要牛顿定律，也不需要微分方程，同样可以比较准确地预测天象。它可能会有一些误差，但你不能说这个误差就是幻觉。
所以对这件事情不要过度解读。问题在于，我们现在没有一个科学的定义。
一直到人类文明的早期，知识都是通过语言和文字记录下来的。那些知识和 DNA 差不多，大部分都是对经验规律的总结，并不是用非常抽象、精准、科学的语言描述出来的。
4. 抽象催生科学
大约 3,000 年前，或者说三四千年前，有一些很有趣的事情发生了。一些哲学家、数学家，无论是古希腊，还是中国、印度的文明，都开始出现抽象概念。
人们从经验中的一、二、三、四、五、六、七、八不断数下去，发现自然数可以无限延伸，于是产生了自然数这个抽象概念。后来又出现分数、实数、虚数，甚至出现抽象空间、点、线、面的概念。
从我个人来看，这些不是简单的经验，而是对经验的一种升华。但这种升华是怎么产生的，机制并不清楚，到今天也不清楚。人的大脑究竟出现了什么变化、什么机制，使人能够从纯粹的经验知识中抽象出 high-level 的高层次知识，现在还不清楚。
我们可以去模仿和理解这种结果，但它究竟是怎么产生的，机理并不清楚。
所以从这个角度看，智能经历了这样一个过程：最开始是物种通过基因变异进化，后来出现了个体大脑和神经系统的记忆，再后来出现语言和文字，最后出现数学语言。
有了数学语言，才有科学，才有比较严谨、抽象、一般化、能够泛化的科学。
从 DNA 到大脑中的记忆，再到语言文字、数学语言和科学语言，这几种都是智能体对外部世界知识的表达形式。它们本质上是统一的，只是介质不一样，都是对外部世界中可预测、有规律的东西进行总结和记忆。
但这 4 种机制并不一样。
第一种进化，靠的是 reinforcement learning，也就是强化学习和自然选择。
第二种是个体的自适应记忆，通过不断纠错来完成。我们最近也在讲，这是一种闭环反馈，它不是强化学习，更像 fine-tune，但优化机制不太一样。它不做 backpropagation，而是通过反馈自我优化，这也是控制论的起源。
第三种是文明的发展，靠语言和文本把值得传递、值得交流的知识记录下来。
实际上，这类知识只是我们每个人学到的外部物理世界模型中很小的一部分。我们的大脑只有前额叶的一小部分在处理自然语言，绝大部分在处理视觉信号、触觉信号、声音以及其他物理信号。小脑则在处理运动相关的控制，控制我们的肢体和其他动作。
所以，即使是语言，也只是人类一生中学到的外部世界物理知识中很少的一部分。
第四种是科学。科学把知识高度概括、抽象、凝练，变得非常严谨。但我们也知道，科学理论同样可以被证伪，也需要不断改进。
程曼祺 Manqi Cheng
处理数学公式的大脑部位在哪里？
马毅
也在语言附近，逻辑和语言相关的区域，基本都在那一块。但实际上占用的处理能力并不多。
我们的视觉、触觉、听觉信号，信息量非常大，大概是几百万 bits per second。到了大脑最顶层，基本上只剩下十几个 bits per second。它高度凝练，只把真正需要的东西提取出来，用于记忆、修改和预测。
这就是我们的理解过程。大部分信号进入大脑之后都会被丢掉。比如我们现在面对的这个场景，很多细节我并不 care，只有和我真正需要记住的东西有关的部分才会被保留。
所以智能有一个信息组织、整理、凝练和提取的过程。哪些信息是我们关心的，需要被提取出来，然后高度简化，记住它，或者纠正我们过去记忆中不足、不准确、不完善的地方，这可能是智能最重要的一点。
你会发现，智能始终和一件事情分不开，就是知识。从 DNA 到记忆，再到文字，最后到科学，都是知识的不同形式。
但知识本身不是智能。知识是智能活动的结果。能够通过观测和感知外部信号，获取这些信号所描述的外部世界规律，这种能力才是智能。
一个系统如果只有知识，它只是一个知识系统。如果它没有更新已有知识、补足已有知识不足的机制，就没有智能。
所以也可以这样理解：DNA 这条链条本身没有智能。再大的模型、大模型本身也没有智能。不管它已经 encode 了多少知识、记录了多少已有知识，本身都没有智能。
只有当它被更新、重新更新、改进时，整个系统才具有智能。
大模型本身没有智能，但人类开发大模型这件事是有智能的。这个过程本身是有智能的。GPT-1 没有智能，GPT-2 没有智能，GPT-3 没有智能，GPT-4 也没有智能，但 OpenAI 的工程师不断改进这个系统，这个过程是有智能的。
这就像单一物种没有智能，尤其是早期物种没有智能；但它不断变异、再被自然界选择，整个系统形成闭环之后，就产生了智能。
程曼祺 Manqi Cheng
如果用现在的机器智能发展阶段，去类比您刚才说的自然界产生智能的 4 个阶段、4 种机制，现在主要处在第一阶段和第二阶段吗？
马毅
主要还在第一阶段，现在正在朝第二阶段走。也就是，我们如何让系统在拥有一定知识、一定基础之后，自主地更新、改进、完善自己的记忆和知识。
这和我们最近的工作也有关系。我们希望真正的系统能够自主地改进、改善和完善自己的知识，朝第二个阶段发展。
程曼祺 Manqi Cheng
您一直在做的闭环反馈纠错机制，是学界的共识，大家都在往这个方向走，还是众多探索方向中的一种？
马毅
在早期的机器智能研究中，从 cybernetics 开始，大家就知道闭环反馈，这是控制论的起源，也是机器智能的起源。大家很早就意识到，这是最重要的机制。
这不是我们发明的。最早研究智能的人就已经发现，所有自然界的智能系统都是闭环反馈系统，都是通过闭环反馈来纠错。早期的智能研究主要研究动物，而不是早期生物。研究动物时就发现，高级动物基本上都是通过闭环反馈来改进自己、纠错、学习和提高，获取外部世界知识、提升决策能力。
这不是我们现在探索的众多机制之一，而是自然界决定的机制，可能是最重要的，甚至是唯一的一种机制。
程曼祺 Manqi Cheng
刚才您说的 4 个阶段、4 种机制，是生物智能在地球上的诞生过程。有没有可能存在其他智能机制，和地球上的生物机制不一样？
马毅
有可能。但我认为，我们需要先对智能给出一个相对科学、严谨的定义。
真正具有智能的系统，一定要能够自主地获得新的知识，改善和改进已有知识。它必须拥有获取新知识、改善已有知识的能力。
从这个定义来说，它描述了自然界智能的发展过程。
至于有没有可能存在另一种机制，不依靠自然界已经存在的优化、筛选和进化机制，也有可能。自然界大浪淘沙，形成了很多不错的系统，但未必是极致最优的。它可能是一个可行解，但不一定是最优解。
不过，至少在我们现在看来，自然界形成的可行解，效率和机制都比目前人工智能的方法高出很多，我们还远远达不到动物的水平。
我们现在甚至还处在类似单细胞、开环的阶段，完全靠本能、遗传和生存。理解了这一点，大家就更容易理解为什么杨立昆经常在社交媒体上说，现在的大模型不管多大，智能还不如猫和狗。
它只有静态知识，没有像动物一样自主纠错、适应环境、产生个体记忆，并不断改进和修正的机制。
当然，现在很多系统也在做推理，希望像人一样思考。但大家也知道，它现在的提升方法比较粗暴。无论是微调还是强化学习，很大程度上仍然是死记硬背，并不完全是在理解。
如果严格测试，现在所有的基座模型、大模型，基本上都没有真正抽象出自然数的概念。它们也没有真正掌握数学运算。
无论看过多少道题，它可能并不知道自己在做加减乘除。但看过很多例子之后，你给它一些加减乘除题，它可以做得非常好。这是两个概念。
真正理解这些规则，并能够应用到任何场景，是另一回事。现在的多模态模型甚至连数数都不太会。见过的可能数得准一点，没见过的基本上是在猜，或者做大概的估计和估算。
所以我经常说，这个时代需要重新、严谨地定义图灵测试。现在基本上还没有真正达到。
程曼祺 Manqi Cheng
但很多人认为图灵测试已经达到了。
马毅
没有。在一些题库或者 benchmark 上刷分，科学上是不严谨的。它没有办法区分一个系统到底是理解了，还是通过刷题获得了高分。
就像老师看到学生考得好，也不知道学生是靠刷题刷上来的，还是因为真正理解了。当然，我们可以通过出新题，甚至通过口试，比较容易地判断学生到底是学懂了，还是生搬硬套、依葫芦画瓢。
但这需要一个比较 proactive、主动的过程。现在对于大模型的 evaluation，还缺少这种方法。大模型真正具有什么能力，是记得好、学懂了，还是能够抽象和升华，这些都还没有严谨的科学方法去验证。
程曼祺 Manqi Cheng
好像没有专门的 benchmark 去测大模型是不是真的理解了一件事。
马毅
到目前为止没有。我们现在也在做一些 benchmark，但仍然是经验性地观察它有什么能力，寻找它的 limitation。
比如多模态模型对图像的理解，甚至最近一些工作发现，多模态模型对空间概念的理解都非常差。大家有时看到的只是正面例子，反面例子其实非常多。
包括数的概念，如果真的进行科学、严谨的测试，就会发现它并没有这些抽象的数学概念。
程曼祺 Manqi Cheng
刚才想到一个问题。生命是智能的载体，那在宇宙中，智能这种机制到底是必然产生的，还是偶然产生的？
5. 智能诞生于熵增
马毅
我觉得是偶然的。我之前讲过一条我非常喜欢的引语：物理世界处在熵增的过程中，在这个过程完成之前，世界仍然是可预测的。等达到平衡态、达到最大熵的时候，整个过程就结束了。
我们的宇宙绝大部分仍然是可预测的，有很多规律和机制可以预测。生命实际上是在利用这些可预测的东西存活。
程曼祺 Manqi Cheng
按照这个逻辑，岂不是有一天宇宙就没有规律可以学习了？
马毅
按照目前物理学的理解，如果封闭系统最终达到最大熵，就会变成混沌态。除非真的有超越宇宙的高级生物重新改变宇宙的秩序。
程曼祺 Manqi Cheng
也就是除非有外力影响这个系统，使它不再是封闭系统。
马毅
对，那我们就不知道了。按照目前的物理观测，宇宙处在熵增过程中。但在这个过程中，很多规律仍然存在，仍然可以预测。天气也不是完全随机的，很多物理规律仍然在起作用。
我们可以预测，所以活得更好。我们把知识和记忆存储下来，帮助我们预测外部世界将要发生的事情，做出更好的决策，生活质量也会越来越高。
但如果按照物理规律，这个过程最后还是会消失。人的生命就是 always fight against entropy，在世界中寻找结构。所以我觉得，生命和智能真的是非常神奇的东西，它是对抗物理世界规律的过程，也是一件非常偶然的事情。
这种偶然很可能又是必然。随着熵增，生命出现在宇宙其他地方也很有可能。
程曼祺 Manqi Cheng
那智能的出现，有没有可能在未来对抗熵增？
马毅
智能要借用外力，一定要使用资源和能量。为什么现在要烧掉几十万张卡？我们生成图像时，是从噪声开始慢慢压缩、去噪。去噪本身就是熵减的过程。
但要让数据或者系统熵减，必须把能量注入进去。电能必须来自某个地方。对于封闭系统，如果没有外部能量输入，熵一定会增加。
我们是在消耗其他地方的能量，把它转化成电能，在芯片上把图像整理好。这是一个非封闭系统。我们通过消耗能量找到规律，让无序的东西变得有序。现在的图像生成，Diffusion Denoising Model 做的就是这件事。
要对抗熵增，就要用能量推动这个过程。
如果宇宙没有外部力量，熵不断增大，最后所有规律都消失，没有规律可以学习，变成完全随机的世界。
程曼祺 Manqi Cheng
这很像《银翼杀手》里的那句经典台词：“All those moments will be lost in time, like tears in rain。”
马毅
是的。时间就是熵增过程。时间的定义，实际上就是熵增给宇宙带来了方向，所以才有时间的概念。
霍金在《时间简史》里也讲过，从有序到无序的过程。正是熵增的方向给了宇宙方向，所以时间是有方向的。
程曼祺 Manqi Cheng
所以人类探索智能机制，在整个宇宙历史中可能也只是一个瞬间。
马毅
对，是一个过程中的一段。恰好在这一段过程中，地球的环境有很多可预测的东西，包括气候、化学组成，有水、有空气，这些条件才让生命成为可能。
程曼祺 Manqi Cheng
我们可以从智能诞生的过程，聊到机器智能。您刚才说，现在探索的是从第一阶段走向第二阶段。其实最开始大家研究智能时提出的方向，可能就是对的，只是还没有实现。
您认为机器智能研究的起点是 1940 年代，而不是通常所说的 1956 年达特茅斯会议？
6. 人工智能始于控制论
马毅
把 1956 年达特茅斯会议视为人工智能的开端，是一个非常错误的看法。那可能只是计算机领域对这件事情的界定。
早期对智能系统特征的理解，导致了控制论、信息论、博弈论，甚至现代计算机体系结构的发展，也导致了神经网络数学模型的出现。
那个年代研究智能的这些特征，大家发现神经网络的数学模型，以及闭环反馈，是生物界改进、学习和自适应的基本机制。
信息论研究的是，大脑如何对外部世界的有用信息进行编码和解码。博弈论研究的是，一个动物或者人在未知、甚至具有对抗性的环境中，如何通过试错、优化和博弈提升决策能力。
正是因为 1940 年代的研究蓬勃发展，出现了很多真实例子，才间接影响了图灵。图灵开始思考，如果这些机制能够在动物和生物层面实现，那么怎样把动物和人区分开？
所以他在 1950 年提出了图灵测试：机器聪明到什么程度，才能让人和机器无法区分。
1940 年代的研究可以理解为“维纳测试”，是在区分机器和动物，希望机器能够实现动物层面的能力。到了 1950 年，图灵才提出，智能达到什么水平，才能让人和机器无法区分。
这才导致 1956 年一些年轻人响应他的号召，开始研究人的智能，研究人类智能有哪些特殊特征。
程曼祺 Manqi Cheng
1940 年代，维纳、香农这些人研究智能的背景是什么？为什么那个时候大家突然开始关注动物智能？
马毅
答案很简单：打仗。
程曼祺 Manqi Cheng
是为了制造武器吗？
马毅
对。比如大炮打飞机，要打得准，要能够跟踪目标。你想想动物捕捉猎物，猫科动物速度快、敏捷，执行非常准确，又快又准。
所以他们开始研究，动物到底采用了什么机制。动物犯过一次错，基本不会再犯第二次，纠错非常快。第一次没打准，第二次基本就能调整，否则这些动物早就被淘汰了。
他们研究的是，这些机制到底怎么产生，动物为什么能够对外部世界的目标快速反应，为什么敏捷、稳定，而且决策能力会不断提升。
从某种意义上说，计算机的出现，也是为了用机器模拟这些机制，模拟反馈和决策。
甚至从历史文献来看，冯·诺依曼提出的现代计算机体系结构，最主要的 motivation 也是为了实现维纳提出的 cybernetics，实现反馈、优化和决策机制。
冯·诺依曼和维纳是非常好的朋友，维纳的 cybernetics 对他的启发非常大。冯·诺依曼后来提出博弈论，也和研究自然界中的规律、研究个体在未知甚至 adversarial 环境中如何提高决策能力有关。
程曼祺 Manqi Cheng
主流叙事好像是，计算机最开始是为了计算原子弹。
马毅
不是。最早的计算机主要是为了破解密码。
但冯·诺依曼提出的体系结构，主要 motivation 确实是实现 cybernetics。这里甚至可以找到他的手稿。
程曼祺 Manqi Cheng
那之后机器智能是怎么发展的？1940 年代之后，到 1956 年那群年轻人开始研究人的智能。
马毅
1950 年代，因为 1940 年代的发展，大家有一点过热。除了研究人的智能，那些年轻人可能也想特立独行，不想跟随主流。
这对年轻人也是一种启发：如果你想出头，就不要随大流。1940 年代，信息论和控制论已经建立得比较完善了，所以这些年轻人需要找到还没有被研究的框架，也就是人的智能。
他们开始研究因果、抽象逻辑和人的问题解决能力，这才导致了达特茅斯的 program。
程曼祺 Manqi Cheng
如果对应到刚才说的 4 种机制，他们想研究的其实是数学和科学语言出现的最后一层。但他们也只是在研究这些现象，没有提出这些机制究竟是怎么产生的。
马毅
到目前为止，没有人真正提出，人类大脑在几千年前究竟发生了什么，为什么开始能够从经验中获取知识，并产生抽象。
这个机制是不是和我们从观测到的物理信号中提取知识的机制类似，也不得而知。
现在很多从经验数据中提取知识的机制，主要还是通过压缩和去噪。
程曼祺 Manqi Cheng
您说的从观测现象中提取知识，类似于直觉反应。比如丢一个东西，我们大概知道它会掉在哪里。
马毅
对。我们从经验中观测，无论是视觉还是听觉，实际上都在学习外部世界中哪些东西能够帮助我们预测，哪些东西是有规律的。
这依靠压缩。我们人也好，猫和狗也好，实际上都是牛顿。我们早就对外部世界建立了模型，比如重力、足球被踢出去之后会沿着什么轨迹运动，我们能够预判它的轨迹。
动物在运动和捕食过程中，东西掉下来时，反应比我们快。猫的反应速度大概是人的 7 倍。即使人类学过牛顿力学，反应也不如猫和狗。
所以猫和狗的大脑中已经建立了物理世界的模型，只是它的语言不一样。它不是用数学语言，而是在神经网络中编码这些预测。
它用另一套编码方式形成了对外部世界的预测。DNA 是通过核苷酸编码，动物则是通过神经网络结构形成记忆，帮助自己预测。
牛顿定律只是微分方程，是另一种语言。它更加抽象、概括和简洁，但本质上做的是同一件事情。
猫和狗的模型没有那么强的扩展性，甚至无法共享给其他个体，也没有抽象出来传递给别人。但它们每个个体建立的模型非常准确，甚至比学过牛顿力学的人还准确。
这很有趣。只是表达方式不同，对外部世界知识的记录方式不同。人类有了数学和科学语言之后，才把大脑中原本通过经验形成的知识高度概括和抽象，并且可以相互传授，甚至 generalize 到很多情况。
程曼祺 Manqi Cheng
所以 1950 年代那批年轻人，就是想研究机器如何拥有因果关系、逻辑和抽象符号，如何解决问题和进行高级推理。
马毅
对。他们想研究机器怎么拥有因果关系、逻辑和抽象符号，怎么解决问题，包括高级推理。
这些人后来都很有成就。但从实现层面看，他们对这些现象进行了很多研究，实际实现却并不理想。
另一条线是神经网络。1950 年代也做了很多探索，大家吹了很多牛。我经常说，今天吹的牛，1950 年代基本都吹过了。
当时有了神经元的数学模型，大家开始建立神经网络，叫作 perceptron，也就是感知机。它当时花了大约 600 多万美元，按今天的价值算，差不多是 10 亿美元，投入非常大。
程曼祺 Manqi Cheng
您在一次演讲中提到过这件事。后来我在《纽约时报》上真的找到了 1958 年的一篇报道，内容和现在的 AI 报道很像：机器开始产生意识，能够自己学习、思考，会读、会写、会理解，甚至以后可能取代人的工作，还能知道自己的存在。
马毅
对。当时很多报道都说，以后人甚至不需要工作，机器可以帮人做很多事情。那只是其中一篇，类似的报道非常多，大家铺天盖地地觉得机器智能马上就要实现。
后来大家冷静下来，发现还有很多事情并不了解。到了 1980 年代，研究者开始研究猫，意识到大脑的组织方式可能还有很多未知，这才导致了卷积神经网络的发现。
通过观察猫的视觉系统，人们发现神经网络并不是随机连接的，而是有很好的 pattern 和规则。于是后来的神经网络设计效果更好。杨立昆后来也因此获得了图灵奖。
你会发现，对自然界智能机制的理解是循序渐进的，不是一蹴而就，也不像有人想象得那么简单。
现在的神经网络，包括大模型和 Transformer，都在做类似的事情。但人的大脑并不是这样的结构。大脑皮层不是一个单一模型，而是很多并行的模型，是高度并行、分布式处理的系统。
大脑皮层有几十万个单元并行处理不同信息。视觉、触觉等信息进入之后，很多过程都是分布式、并行处理，最后再集成。
所以，人的大脑和现在大模型的实现模式非常不一样。我们面对自然界还是要谦虚一点，还有太多东西不知道。
当你真正逐渐了解智能，会发现我们现在做的东西非常粗暴、简单、原始，消耗大量资源。它和早期生命很像，靠 reinforcement learning、自然淘汰和随机试错找到可行的、更好的模型。
这个过程极其消耗资源，也不可控，很难预测。
程曼祺 Manqi Cheng
如果从 1940 年代算起，到现在这 80 多年的历史里，人工智能或者机器智能的发展有哪些关键时刻？
马毅
早期是 1940 年代单个神经元的数学模型。后来大家有些忘乎所以，以为有了模型就可以解决一切，但很快发现神经组织的结构还有问题。
到了 1980 年代，通过研究猫的视觉系统，人们发现了卷积的性质。最早是日本的福岛邦彦提出了卷积神经网络的思想，1989 年杨立昆进一步实现并取得了不错的效果。
与此同时，Hinton 等人也在研究 autoencoding，也就是自编码，把 encoding 和 decoding 做好。他们还借鉴了统计物理的一些方法。后来 Hinton 也因为这些方面的工作获得了诺贝尔奖。
当时大家还没有意识到这些机制会如此重要。autoencoding 的作用，最初也没有得到足够重视。
真正的突破大概要到 2012 年。那时有了足够的数据和算力，尤其是 GPU，训练这样的模型才成为可能。
AlexNet 本质上也是 CNN，只是在杨立昆原有框架上做了一些改进。它能够成功，最大的决定性因素是算力和数据让训练深度模型变得可行。
之后，神经网络不断应用到图像、声音、自然语言、蛋白质以及更多结构化数据中，大概经历了这样一个过程。
但过去十几年，神经网络结构的发展几乎都是通过经验和试错，不断淘汰、不断优化得到的。
程曼祺 Manqi Cheng
您自己也经历了这个过程。您是 1990 年代就开始研究人工智能方向吗？
马毅
那时还没有人工智能这个方向。如果论文里提到 artificial intelligence，可能会被直接 reject；如果文章里提到 neural network，也可能会被拒。
我们读书时在伯克利机器人组，早就接触到这些问题。那时控制做得还不错。现在大家看到的双腿机器人，那个年代日本已经在做了。
日本的机器人可以跑、跳、翻跟斗、上楼梯。1990 年代，日本人在机械本体和控制方面已经做得很好。虽然当时机电系统比现在笨重，但基本原理差不多。
我读书时就接触过那些机器人。我的老师当时说，这些系统控制得不错，能够保持平衡、走路、跳舞，但它们是瞎的，没有反馈，也没有大脑和眼睛，全都是 pre-planned，提前编好的。
上楼梯时每一步迈多大、抬腿多高，都是提前编好的；跳舞时每个动作也都是提前编好的。
程曼祺 Manqi Cheng
现在有些跳舞机器人也是提前编好的。
马毅
对，还是提前拿数据预训练。换汤不换药，只是现在计算机更快，机电性能更好，所以动作更灵巧。
当时我们发现，机器人没有视觉，也没有反馈。没有信息输入，只有输出，当然不行。系统不能知道自己做得对不对。
我的导师李泽湘是我师兄，他当时也在做控制。我的老师是最早开始做视觉的那批人之一，他意识到视觉非常重要。
如果系统想要真正智能，想要独立地和外部环境交互、适应环境，没有视觉感知和反馈是不行的。所以我们开始研究视觉，但当时不叫人工智能，叫计算机视觉。
我们研究三维视觉，研究如何重建外部世界，机器如何感知外部世界。
李飞飞的自传里也提到，她大约在 2006 年、2007 年毕业时，计算机视觉是非常冷的方向，基本找不到工作。后来伊利诺伊大学把她招了过去。
我自己找工作时也是这样。我做的是视觉，但伊利诺伊大学给我的职位属于系统组，我教的是控制，没有 computer vision，也没有 3D vision。申请教职时，甚至没有对应的岗位可以申请。
但在这种条件下，大家还是开始研究感知、视觉、重建和识别。
程曼祺 Manqi Cheng
您自己感受到学术生涯的转变，或者说这个方向变成显学，是什么时候？
马毅
早期最先引起大家重视的，还是三维重建、三维场景复现。那时还不完全是识别，而是三维场景重建、三维环境定位和复现。
包括电影里的技术，也包括伯克利早期做的一些三维重建工作。像《黑客帝国》这样的好莱坞电影，就开始使用环境数字化和复现技术。
另外一个方向是自动驾驶。我的硕士论文就是自动驾驶，1997 年做的是基于视觉导航的视觉驾驶。到 2000 年左右，我的博士工作主要是把视觉用于直升飞机和船的降落。
三维重建变成显学，大概是 2008 年、2009 年。那时技术逐渐成熟，能够在实际场景中产生应用。
识别方向在 2007 年、2008 年还很冷，因为当时分类和识别的数据库性能都不够好。真正变成显学，是 2012 年神经网络在分类和识别问题上取得明显提升之后。
ImageNet 其实更早就出现了，但当时实际效果并不好。它提供了一个数据库和测试平台，同时 GPU 让深度网络的优化成为可能。几个因素在那个时间点成熟，才导致大家开始关注识别和深度网络。
程曼祺 Manqi Cheng
刚才我们讲机器智能的历史，中间有很多起起落落。如果从这些转折中总结规律，您觉得神经网络几起几落背后有什么规律吗？
马毅
视觉在几何方面，尤其是三维重建，发展得相对顺利，因为它最早的数学问题比较清楚，技术问题也比较清楚，技术路线逐渐丰富、逐渐严谨。我第一本书就是关于三维视觉的。
识别、模式识别和神经网络相关的方向，就经历了几起几落。早期实践遇到困难，也有理论认知上的局限。大家发现神经网络在一些问题上确实做不到，所以发展并不顺。
真正的规律很难说，因为这个领域一直缺少原理，缺少第一性原理。它的目的不清楚，不知道智能究竟在做什么，学习机理也不清楚。
一条线是从生物学中学习，包括单个神经元在做什么、神经元如何排列。卷积神经网络，包括 Hinton 早期的一些工作，也受到大脑结构的启发。
另一条线是纯工程路线：有了神经网络之后，搭建 CNN、自编码器，用 BP 或者暴力方法优化，不断试错。
杨立昆在做 CNN，Hinton 在做自编码。AlexNet 之后，网络结构不断改进，出现了 VGG、GoogleNet、ResNet，后来又有 Transformer。还有大量没有留下名字的结构，很多人提出了网络，但最后连名字都没人记得。
这很像 DNA。你想想，有多少 DNA 被淘汰了？多少代生命被自然选择掉了？神经网络的发展也是同样的机制。
所以它大概有这样一个规律，但也可以说没有规律。它遵循的是生命早期的发展规律。
程曼祺 Manqi Cheng
在这个领域做研究，会有一种宿命感吗？
马毅
如果方法论不改变，大家继续用试错的方法，当然不是不能进步，但会带有很大的运气成分。
你会发现很多新的进展和框架，往往不是一个团队有系统地不断改进，而是不同团队不断尝试：一会儿是 DeepL，一会儿是 DeepMind，一会儿是 OpenAI，一会儿是 Google，一会儿是 Microsoft，一会儿又是 DeepSeek。
它是随机、不可预测的，大家都在尝试，进步依靠经验，看谁资源更多、经验更多。
最近有人问 DeepSeek 还值不值得投资，我的回答很简单：炮弹一般不会打在第二个弹坑里，除非它的方法不一样，或者真的有一套系统、有规律的方法来改进。
但目前为止，我觉得大家基本上还是靠试错。
程曼祺 Manqi Cheng
这个感受我很有共鸣。报道这个领域时，也会觉得今天是这里，明天是那里，每个成果都特别夸张，都是“炸裂”“颠覆”。
马毅
所以你理解了这一点，就会更加淡定、客观。即使 OpenAI 捅破了 O 系列的窗户纸，也可能不是它，可能是法国、英国、美国其他团队，或者 DeepMind、Grok。
不同团队都在根据自己的经验，利用已有资源，通过大量试错推进。它可能出现在任何地方。过程就是这样。
程曼祺 Manqi Cheng
您刚才提到的很多成果都来自工业界。
马毅
因为现在的方法论需要大量资源，只有工业界有能力承担试错成本。
所以学界应该做互补的事情。学界应该把背后的科学原理搞清楚，把科学定义清楚。智能不是一个笼统的概念，它有不同阶段和不同机制。
如何验证和测试一个系统真正具有什么功能，具有什么智能特征，这是科学问题、数学问题和计算问题。但过去 10 年，这些问题并没有被界定清楚。
学术界反而被工业界带了很多节奏，这是让人失望的地方。
程曼祺 Manqi Cheng
学术界解决这些科学、数学和计算问题，时间节奏好预估吗？
7. 技术品味拒绝从众
马毅
做科研肯定有 uncertainty，但目标一定要清楚。这就涉及你说的品味。
为什么 1956 年那批人要特意躲到达特茅斯？为什么不在 MIT、Caltech 或 Berkeley？因为 MIT 有诺伯特·维纳，Caltech 有冯·诺依曼，Berkeley 也有几位权威。
这些年轻人想特立独行，远离当时的主流和中心，做新的东西。这就是选择，也是 taste 和价值观。
中国人喜欢“卷”，卷的一个原因就是大家做同样的事情：你做什么，我也做什么。工业界可以这样，什么赚钱就去做什么，别人做得好，我就做得更便宜。这对社会反而有好处。
但学术界不应该这样，至少不应该和工业界做同质化的事情。因为你没有附加价值，也没有优势。
现在工业界对智能的理解和实践又非常简单粗暴，仍然有很多好的想法和方法没有被工业界采用。
程曼祺 Manqi Cheng
我和一些工业界的人交流过您的成果。有些人会觉得这是“故事会”，或者觉得您是在刷存在感。
马毅
这很正常，甚至有些东西 30 年都没有存在感。
学术界的训练就是把一件事情搞明白。我们不像工业界的人，他们可能带着立场、利益和目的。学术界也可能犯错，也有人追求名声，但大部分时候，做事情的本质出发点是把问题弄清楚，找到正确的方向。
很多人的 confidence 也来自这里。Hinton 的 confidence 来自什么？他未必找到了最终正确的解，但他知道问题是对的，方向是对的，想研究的机制是对的。
就像早期研究动物智能的人，他们观察到一些正确的机制，但不知道这些机制最后如何整合在一起。他们只是知道这些东西是对的。
科学有自己的方法。我们最近几年做的事情，一定要找到可实现的东西，不是只谈概念和故事。
这是一个非常痛苦的过程：从概念，到原理，再到原理指导下设计出的框架和算法，去实现、验证，进行 apple-to-apple 的比较，找到证据来 convince。
首先要 convince 自己，或者让同学相信我们做对了。之后还要 convince 同事、不同观点的人，甚至 convince 整个产业界。很多人已经在已有方向上投入了大量资金，带着各种因素，这个过程很痛苦。
你找到了正确的东西，并不意味着别人马上会接受。Hinton 研究神经网络有道理，但也要等很多年，等条件成熟，等出现足够多让大家信服的验证，大家才会接受。
这也是我们正在经历的过程。
程曼祺 Manqi Cheng
在机制理解仍然缺失的情况下，工业界靠经验试错，还能持续带来多长时间的进展？
马毅
如果方法没有本质改变，现在基本已经出现 diminishing returns，回报越来越低。
比如 Grok 用了 20 万张卡，基础模型提升了多少？不到 1%。所以他们在展示时把纵坐标轴无限放大，实际上整体分数提高不到 1%。
这和自然界一样。靠自然选择，生命会逐渐进步，但永远到不了寒武纪。早期动物靠 DNA 和自然选择走了 30 亿年，也只是从简单生命走到单细胞阶段。
程曼祺 Manqi Cheng
去年 9 月、10 月，大家已经开始讨论 scaling law 撞墙的问题。但 O 系列出来之后，好像暂时缓解了大家的焦虑。
马毅
这其实是一件很糟糕的事情。OpenAI 过去一年遇到很多内部问题，从技术上并没有保持住优势，也没有在方法上取得本质进展。到年底，它对 O 系列有些过度炒作。
它确实有提升，但主要是刷题能力提升。举个我自己的例子：我们出国考 TOEFL、GRE，我的 GRE 也可以刷到接近满分，但不代表我的英文很好。刚到伯克利时，我一下飞机又是聋子又是哑巴，文章也写不出来，写的第一篇文章就被老师痛骂。
考数学也是一样。刷过题和没刷过题是两回事，但不代表刷过题的人数学水平就更高。
程曼祺 Manqi Cheng
按照您的智能观，O1、DeepSeek R1 这样的模型，是真的在做推理吗？
马毅
这个问题今天下午在清华演讲时也有学生问。我从老师的角度回答。
比如我教数学，会教学生解决数学问题。当然，我们希望学生真正学会数学证明的逻辑，掌握严谨的逻辑，通过推理得到正确答案。
关于逻辑和推理，至少可以分成 3 个层次。
第一类学生有小聪明。他会记住很多类似题目的证明、逻辑和 pattern，刷很多题，记住很多例子，但可能并没有完全理解，也不具备严格的逻辑推理能力。但他可以把题做得很好，考试成绩也不错。这是一种生搬硬套，靠填鸭式刷题、归纳和记忆来完成任务。
第二类学生真正学懂了。他掌握了严谨的逻辑推理和方法，遇到新问题时能够使用这些方法，而且知道自己每一步做得对不对。
第三层是，在一个系统原本没有逻辑时，它能够从经验中发现新的逻辑规律。比如数学家灵光一闪，发现新的推理规律，欧几里得发现数学公理，发现三段论。这是发现新的知识和规律，和学习已有规律并使用它们完全不同。
所以有 3 个层次：模仿、学懂已有的因果和逻辑规律，以及从经验中升华、抽象出过去未知的逻辑、因果或规律。
现在很多东西把这 3 种能力混在一起了。我们过去的研究，就是要把智能的不同问题和本质界定清楚，而不是笼统地讲什么是智能、什么是逻辑、什么是推理。
程曼祺 Manqi Cheng
所以现在 O1 和 R1 更多是第一层？
马毅
我个人理解是这样。
对于提升一个基础模型，现在基本没有太多秘密。如果你有一个不错的基础模型，经过预训练，在大量语料上训练完成，想提升它在编程、数学或者需要推理的任务上的性能，通常有两种重要方法。
第一种是 supervised fine-tuning，也就是监督微调。通过大量例子，让模型根据这些例子学习和模仿。
第二种是 reinforcement learning，也就是强化学习。因为这类任务对错比较清楚，做错扣分，做对加分，通过相对粗暴的方法，让系统逐渐学习任务。
到底是 fine-tuning 用得多，还是 reinforcement learning 用得多，现在还有争论。OpenAI 早期说先做 fine-tuning，再做 reinforcement learning；DeepSeek 认为直接做 reinforcement learning 也可以。
但这其中有夸张成分。它的前提是基础模型本身已经不错，而基础模型要好，前期也需要根据例子进行 fine-tuning。
我们最近有一项工作，叫作 “Supervised Fine-Tuning Memorizes, Reinforcement Learning Generalizes”。这项工作解释了两种方法在提升模型推理能力时扮演的不同角色。
两者相关，但角色不同。光靠其中一种是不够的。强化学习有优势，也有不足。一般来说，先微调，再做强化学习，效果可能更好。
程曼祺 Manqi Cheng
现在推理模型有很长的思维链，看起来像人一样一步一步思考。这个长思维链实际上是怎么来的？
马毅
思维链通常需要人帮助生成，或者通过已有模型筛选出来。首先要有一个不错的语言模型，基础模型本身要有一定能力。
思维链有几种产生方式。一种是找研究生做大量题，把解题步骤和关键 idea 梳理出来，让机器模仿。
另一种是，如果基础模型已经不错，可以让它先尝试解决问题，通过 prompt 一步一步提示，让它相对半自动地生成链条。
如果基础模型本身学到了一些类似的 pattern，在提示下，它可能结结巴巴地把题做出来，成功率也会高一些。
通过这种方式可以半自动生成思维链，成本比人从头到尾写低一些。然后把这些思维链作为范例，选出高效、正确的，再让模型通过 fine-tuning 学习。
同时还可以训练一个判别模型，判断答案对不对、做得好不好、速度快不快、步骤简不简洁，像老师打分一样。
有了这个打分机制之后，就可以使用强化学习。给模型一些题，让它去解，再通过打分机制优化，让它尽量得到更高的分数。
里面有很多工程上的 ingredients，不同成分，像中药一样，大家不断尝试比例。现在确实有点像“炼丹”。不同团队会根据自己的经验，认为某些 ingredients 更重要。
学术界则会比较客观地研究，不同方法在其中扮演什么角色，把事情解释得更清楚。工程上当然还是以最终效果为王。
程曼祺 Manqi Cheng
总结一下，目前我们只是方便地把它叫作推理模型，但它可能和人的推理、逻辑不是一回事。
马毅
至少到现在，我没有看到严格证据，证明这些大模型即使经过微调或强化学习，真的是通过理解来解决问题。
现在包括曹泽轩也在用嘛，大家的评价是，你会发现模型在训练过的问题上，甚至在解决一些很难的数学问题上表现不错。但它也会在非常初等、小学或者初中的数学题上犯低级错误。
如果它真的具有严谨的思维链和逻辑推理能力，应该不会出现这两个现象。
做研究时，不能只看它在某些问题上的刷分和经验分，还要严谨地判断它是否真的具备这种能力。
很多事情其实是常识，但现在却被过度炒作。O1 和 DeepSeek 也是这样。
我觉得 OpenAI 过度炒作 O 系列，甚至暗示他们已经发现了通向 AGI 的秘密，可能和融资有关。结果 O1 出来之后，学界并不 surprise，Google 这样的公司可能也不吃惊。
这些方法，包括微调和强化学习，本来就是学界一直在研究的东西，也一直知道它们会有效。它们本身没有什么 novelty，不像 GPT 最早出现时，大家觉得非常 surprise。
DeepSeek 验证了这件事：并没有什么神秘的新东西，但可以做得更便宜、更高效。
当然，DeepSeek 也有一些问题。大模型最大的成本是试错成本，而不是最后一次成功的成本。
我们做作业时，第一遍最累，做完之后再整理、抄写一遍，可以写得很简洁。不能只看最后一次训练花了多少钱，而要看之前试错了多少次。
我了解到的情况是，Google 最后一次训练可能也就是几百万美元，只是比 DeepSeek 稍高，并没有高很多。很多说法是舆论放大了某些点。
程曼祺 Manqi Cheng
您去年有没有想到，中国会出现 DeepSeek 这样的团队？
马毅
过去两三年，无论在互联网上还是社交媒体上，我一直坚定地认为，人工智能的发展还处于早期，所以要鼓励和宣扬开源。
另外，我们也一直认为，开源迟早会很快超过闭源公司。因为从技术上看，没有什么护城河，也没有什么秘密。
唯一可能的护城河是数据、算力资源的成本、试错时间和试错成本。所以开源超过闭源只是时间问题。
我甚至说过，即使 DeepSeek 没有在中国出现，也可能在法国、英国、中国或美国的其他小公司出现。接近或者超越这件事情一定会发生，问题只是 where and when，而不是 whether or if not。
杨立昆也很赞成这个判断。虽然他可能有点遗憾，Meta 没有做得更接近、更便宜，但大家也不要过度解读。
这更多是不同团队之间的竞争。各团队有自己的经验，在试错过程中可能因为机会或运气，找到更有效的实现方式。
DeepSeek 只是说明，一个不错的基础模型，在上面采用这些方法，性能就可以提升得不错，甚至接近 OpenAI。它揭示了 OpenAI 炒作的东西，并没有那么神秘。
程曼祺 Manqi Cheng
这也和大众如何认识 AI、AI 通识教育有关。大家非常关注 OpenAI 的一举一动，舆论也会放大它的影响。
马毅
吃瓜群众无所谓，看一看就好。但学术界过去很多年做得并不好，并没有比吃瓜群众好多少。
公司有自己的利益和立场，做事情有目的，当然可以带有 bias，甚至夸张。但学术界应该更加严谨，把这些方法究竟在做什么解释清楚。
至少不要让宣传和炒作误导学生，让他们对技术本质有客观、科学的认识，而不是只从自媒体和公司的宣传报道中了解人工智能。
这件事情越来越重要，不只是对大众，也对科技政策制定者和政府。人工智能涉及大量资源、社会投资和利益。如果决策者对技术本质产生误解，问题会很大。
所以我们需要做更多科普，正本清源。
程曼祺 Manqi Cheng
从历史这个话题，也可以延展到技术品味。我这一年和很多人聊，越来越觉得，品味对探索未知领域非常重要。很多时候你没有办法跟随别人，只能相信自己，而且当别人挑战你时，还要继续相信。
马毅
科学探索本身是一个很 rough 的过程。对年轻人来说，心态和心理素质要好。
比如你有 10 个想法，很可能 9 个都不靠谱。失败是常态，成功往往是偶然。但科学发现的正确性不是偶然的：只要找到正确的东西，验证过程一定是严谨的。
当你觉得自己找到了正确的东西，就会有信心，知道问题是对的，或者方向是对的。你不一定找到了最优解，也不一定找到了完整的解，但知道这个问题重要、方向正确，而且 approach 是正确的。
这里面有很多 evidence，可能来自实验、数学或逻辑。你遵循严谨的方法，会得到让自己信服的反馈。
这些证据是否能让别人同样信服，或者别人能否理解其中的层次、逻辑和实验本质，是另外一回事。
很多人的自信来自自己看到的经验性证据，或者真正理解了数学机制。即使别人暂时不懂、不了解，或者对证据和已有理论的理解还不到位，产生质疑，也不会对我们产生太大影响。
程曼祺 Manqi Cheng
我理解您描述的是品味已经形成的状态：您知道自己的问题和方向是对的，也通过验证让自己 convinced。
马毅
对，这是已经形成的状态。
程曼祺 Manqi Cheng
那它形成的过程是什么？哪些经历会塑造一个人的技术品味？
马毅
我觉得和两件事情有关。
第一是文化和价值观，尤其是学术价值观。做科学、做学问，一定要探索未知，一定要与众不同，一定要破局，找到不对、不够、不完善的地方。
这是做科学的 mission，是我们的使命。我们 get paid to do that。随大流、从众不是我们的工作。
很多人并没有意识到这一点。真正成功的往往是特立独行的人，他们看到了主流的不足，所以去做新的事情。但这样的人一开始往往很难得到主流认可。
程曼祺 Manqi Cheng
您自己的这种想法来自哪里？
马毅
首先要有动机，要有一种信仰：这个世界上一定有值得发现的新规律。现在的知识一定是有限、有局限的。
这可能来自文化，也可能来自年轻时对科学历史和发展规律的了解。中国在这方面做得还不够好，科普工作还不够充分。
保持对未知的兴趣和探索兴趣，是一种文化价值。整个社会也要认可做这类事情的人。
第二，自信要来自好的科学训练。无论是实验、数学基础，还是逻辑推理基础，都要足够严谨。
你要知道自己做的东西是对还是不对。我的数学老师在我读数学硕士时告诉我：“马毅，你要做数学家，第一条就是把自己训练成世界上最难 convince 的人。”
程曼祺 Manqi Cheng
也就是最难被说服。
马毅
对。你要把自己训练成最难说服的人。为什么？当你找到一个证明，能够说服自己时，说明这个证明足够严谨，能够说服所有人。
你要训练自己的逻辑思维能力，保证思考问题的逻辑链条严密。
第二是实验。实验也必须严谨。我们当年在 Berkeley 做机器人和视觉研究时，从数据采集到整个算法验证，都要像生物、物理实验一样严谨。
要严谨地处理数据、报告和现象，验证假设，而不是 jump to conclusion。实验中当然也会犯很多错。
有探索的勇气和价值观，还要有能力。很多人愿意特立独行，但训练不到位，最后就会变成民科。
最糟糕的是，他不知道自己错了，不知道数学证明的漏洞，不知道实验不严谨，也不知道还有其他可能性，却认为自己的结论是唯一的。
这两点是相辅相成的。只有这样，才有追求新价值、新品味的基础。
程曼祺 Manqi Cheng
您在清华读本科时，就立志要做科学家了吗？
马毅
倒未必。我在清华有点按部就班，先把学习搞好，对数学比较感兴趣，也喜欢读课外书。
一直到伯克利，我都没有完全决定做科研。快毕业时，我的老师建议我考虑学术界。当时我觉得去大公司找个好工作也不错。那时互联网很热，去 Qualcomm 也很好，我有一位师兄后来还成了 Qualcomm 的 CEO。当时觉得去 Qualcomm 赚点钱也不错。
后来老师觉得学术界可能更适合我，我就误打误撞去申请了。并不是一开始就坚定地要做这件事，是一个半随机的过程。
但我确实比较好奇，喜欢把事情弄明白。后来我去伊利诺伊大学教书，大家都知道我有个习惯：喜欢写书，因为如果一件事情自己没有弄明白，我不敢教。
我教一门课，一般都要自己从头到尾推一遍，彻底弄清楚之后才敢教。后来慢慢养成了把一个 subject 的知识体系整理清楚的习惯。
尤其是对大家都不明白、还未知的东西，我会有好奇心。
程曼祺 Manqi Cheng
伯克利的氛围是什么样的？李泽湘老师以前也提到，他在卡内基梅隆读本科时主要是在考试，没有特别学会学习；而伯克利对他的世界观和做科研的方法影响很大，那里平等、自由，大家喜欢讨论和争论，也没有权威。
马毅
这是非常了不起的氛围，也是为什么我们后来希望在港大和其他地方建立类似文化。
我在伯克利读书时，老师手下有 18 个学生，来自 13 个不同国家。当时对我来说也是一种 culture shock，那里几乎没有等级观念。
大家的目标很朴素，就是把事情搞明白、把事情做好。有时也会想，怎样做出和别人不一样的事情，change the world，但做事都很踏实。
后来我在 Berkeley 当教授，培养了一些学生。他们去其他学校，包括 Stanford，后来回来和我聊天时都说特别怀念伯克利。
我问为什么。他们说，伯克利学生之间的交流非常好，甚至完全跨组。我的每个博士生都有 co-advisor，这不是形式上的，而是真的会去参加其他教授的组会。
我们是完全 open 的，没有什么秘密。我的组有时只有六七个研究生和一两个硕士生，但开会时会有三四十个人，很多人我都不认识，他们就是来听。
学生也会主动去找 co-advisor，通常是找和自己导师知识互补的老师。伯克利每天都有很多 seminar，大家都会去参加。
这种文化在其他地方很少见。你在伯克利从同学那里学到的东西，可能比从老师那里学到的更多。
大家一起住、一起写文章、面对 deadline。你实验做得好，就帮别人画图；别人画图好，就帮你做别的事情。
伯克利的学生 co-author 经常是跨组合作，很多学生来自不同的组。不是老师之间计划好的合作，而是学生自己相互帮助。
我听一些在美国东部学校的同学说，他们的研究组比较 isolated，很多人只和自己的导师合作。斯坦福也没有达到伯克利这样的程度。
这种科学交流和相互帮助，会提升人的综合素质。我很希望在港大和中国大学看到这种文化，而不是彼此 silo。
伯克利很多教授之间完全不是竞争关系，大家做好自己的事情，同时鼓励学生相互交流。你遇到不懂的问题，导师会说：“你去问问那个老师。”这是一种非常好的文化。
程曼祺 Manqi Cheng
您近几年也在做一些跨学科研究，和曹颖老师合作，涉及生物科学。
马毅
智能越来越像一个集成系统。我的组现在也很复杂。如果只做理论，做一些小规模验证，可能还不够。
后来发现，有些验证如果不做到足够规模、不够深入，别人也不会相信。所以我的组里既有做理论的学生，也有做算法和实现的学生，是比较 integrated 的。
智能从理论到算法再到实现，要求这些能力结合起来。很少有人能同时做好理论、算法、实现，还愿意做脏活累活、解决数学问题。
所以需要团队，甚至需要不同学校。最近几项工作，合作方至少来自五六个不同学校。学校资源和能力各不相同，就需要组织起来。
这种合作完全是 organic 的，不是 top-down 组织的。你对这个问题感兴趣，就来帮忙；他有实验资源；有人自然语言做得好，有人视觉做得好，有人做理论。
没有这种文化，很难做出 significant 的工作。
同时，这种合作也给我们带来自信。很多不同学校的年轻老师和学生都觉得这个方向有道理，愿意花时间做。那说明我们肯定做对了一些事情。
程曼祺 Manqi Cheng
您有没有经历过这样的阶段：觉得一个方向是对的，研究的问题也是正确的，但一段时间里大家不理解、不看好？
马毅
很多。现在很多学生压力很大，一些年轻老师的工作也会被 reject。我会说，只要能记住你的工作，就已经足够了。
我们至少有两次经历过类似的事情。有些文章几乎拿到全满分，甚至在 CVPR 也被 reject。某个工作所有 reviewer 都给了很高评价，area chair 还是拒了。
程曼祺 Manqi Cheng
为什么满分还会被拒？
马毅
It happens。reviewer 打分只是一个环节，decision maker 不一定完全按照 reviewer 的意见决定，可能是 area chair 做最终判断。
前段时间，我们做白盒模型的一些理论工作，耀东他们有些文章也是几乎全满分。应该是 ICML 吧，4 个 reviewer 都给了 accept，但最后还是被 reject。
程曼祺 Manqi Cheng
能不能讲一个您认为方向正确、开始不被看好，但后来结果不错的例子？也许可以缓解博士生的焦虑。
马毅
很多。早期我们做视觉方面的工作，包括压缩感知、稀疏表示，以及把这些方法用到视觉问题上，刚开始都不容易被接受。
因为这些方法数学比较深、优化比较复杂，很多视觉领域的人并不了解。我自己 citation 最高的几篇文章，基本都曾经被 reject。
尤其是人脸识别那篇，连 conference 文章都没有。被拒的理由很有意思：大家不相信结果会这么好，觉得我们可能作弊了，或者认为这个结果根本不可能。
后来我们把文章投到排名最好的 journal。review 回来后，对方仍然不相信，于是要求我们和所有其他方法比较。
我们花了一个暑假，把所有方法都重新比较了一遍，最后文章被接受了。
所以科学中有一件很简单的事情：即使你做对了，只要和主流不太一样，也不容易被接受。
科学家也是人，整个 community 也会产生 echo effect。主流一定是对的吗？你为什么来制造噪音？
尤其是很多人不一定愿意花时间真正理解新东西。即使数学很严谨、实验很完善，也不可能一蹴而就。
这也是为什么会有 Hinton 这样的故事。去年诺贝尔奖相关的工作，mRNA 的两位科学家也经历过类似情况。一位早年在 UPenn 没有得到认可，另一位研究 mRNA 的科学家曾经在 Harvard 没有拿到 tenure，后来还经历了一段流浪时期。
主流总认为主流是对的。现在人工智能领域也一样，不是所有人都在做的模型路线，就是通向 AGI 的阳光大道。完全不是。
阳光下还有很多看不见的东西，未来可能会颠覆大家对这些事情的认识。
程曼祺 Manqi Cheng
关于品味，我有两个比较实用的问题。
现在有很多人没有系统的学术背景，可能是企业家、创始人或者 AI 从业者。他们如果向顶尖 AI 研究者学习，能获得类似技术品味的东西吗？能获得那种坚持和笃定吗？
比如张一鸣，字节现在也在做 AI，可能他在新加坡向冯佳时学习 AI 知识。像他这样没有系统学术训练的人，能掌握类似 taste 的东西吗？
8. AI 通识教育回应焦虑
马毅
如果只是想了解目前 AI 技术在做什么，我认为很多时候，有严谨的本科数学和科学知识就够了。要进一步探索，可能需要更深的知识。
正因为有这种需求，我们在港大做了一件和科普有关的事情。
我过去两年在港大，第一年经常觉得很困扰，因为几乎每个周末都会有企业家来找我。伯克利时也有类似情况，湾区的企业家会来问：马老师，您怎么看深度学习？新出来的技术怎么看？
我后来告诉他们，第一，我自己的领域虽然比较广，但也只了解其中一部分。即使是我熟悉的范围，也只是我真正懂的那一部分。至于 AI 用在生物、医疗、蛋白质等领域，我可能完全是外行。
后来我和几位同事交流，发现他们也有同样的困惑。大家就想，既然有这样的需求，能不能组织起来？
于是我们办了一个类似 EMBA 的班，专门面向 CEO、投资者和企业家。因为他们面对的问题不只是吃瓜，他们要投资、做企业决策，要决定用不用某种技术。
不用，怕落后；用了，又怕砸钱没有回报，所以他们很焦虑。有些投资者则会觉得机会来了，很 exciting。
我们希望从技术角度、从数据科学和计算学院的角度，给他们一些系统、科学的介绍。
一部分课程由一线科研老师讲技术本质，提供证据，用浅显易懂的方式解释技术在做什么、核心概念是什么。
另一部分邀请真正的一线科技企业从业者，包括商汤、大华、王晓刚等，讲他们在 AI 上的布局，也讲曾经犯过的错误。不管成功还是失败，至少把过去 10 年的探索讲清楚。
我们成立了一个叫“科学企业家”的班，原本计划招 40 到 50 人，结果第一届最后招了 80 人。成员包括国内头部企业的上市公司老总、投资者，以及传统企业转型者。
他们非常 diverse，但有共同点：都非常关注这件事，而且带着诚恳的学习态度，不只是来交朋友。
一般商学院一个班 60 个人，每次上课可能只有 60% 到 70% 出勤。但我们的前几个模块几乎 100% 出勤，不来的人也会很诚恳地请假。
第一届报名时，教室甚至不够用。大家对 AI 的关注度超出了我们的预期。
他们的技术素养都不错，因为很多人本身就是科技领域或者技术相关企业的成功企业家。他们更想了解技术本质。
这也是无心插柳。当时只是觉得可以试试，结果发现可能真的做对了。人工智能可能触及各行各业，所以以后可以针对机器人、医疗健康、金融等不同领域，邀请不同专家。
通过这种系统性的交流，他们能看到 AI 的现状和不同领域的探索，带回去帮助自己的企业做判断。
程曼祺 Manqi Cheng
他们可能也会问您，如何判断一个 AI 新成果到底靠不靠谱？有没有简单的原则或 tips？
马毅
如果有严格证据，我们会给出严谨的实验。但自媒体报道的基本都是成功案例和 demo，都是又蹦又跳的正面例子。
我们会让他们看真实情况，包括负面例子，正反两方面都看。
即使有些事情没有充分证据，我们也会从自己的角度给出判断和建议，提供他们可能没有的观察角度。这是他们觉得有价值的地方。
他们给我们的反馈也非常好，甚至说这是以前从未有过的 experience。
当然，这对我们的教授也是 challenge。老师平时面对的是大学生，但这些企业家的社会经验、判断能力和接受信息的门槛都很高。
我经常对老师说，你平时觉得自己很厉害，觉得自己的东西了不起，觉得要 change the world。那你面对 80 个企业家，能不能把自己工作的价值讲清楚？
如果这些人听完之后觉得你的东西没用，不能解决他们的问题，那你究竟在做什么？
所以，这对老师准备课程也是一个 challenge。你能不能讲清楚自己的工作，价值究竟在哪里？
程曼祺 Manqi Cheng
学员里很多企业家的身家加起来可能有几千亿元，这些人对各自行业和产业都很有影响力。
马毅
对。他们和政策制定者都会接触整个社会，对产业有代表性。
这只是一个例子。现在 AI 教育可能不只是给大学生、研究生开课，也要面向高中生和大众，甚至面向政府和科技政策制定者。
他们都需要对这些技术有客观、系统的认识。
程曼祺 Manqi Cheng
港大现在也在做 AI 通识教育。去年我们聊的时候，计划还在准备阶段，您也在写一本给本科生用的新教材，让他们理解智能、理解机器，因为未来人一定要和机器共处。这个项目现在进展如何？
马毅
港大可能是第一所把 AI 通识教育作为本科生普遍要求的大学。
我们有一门叫 AI Literacy 的课程。原来港大学生需要修 2 门英文课和 1 门中文课，现在把其中一门英文课替换成 AI Literacy，对应 6 个学分。
所有本科生、所有专业都必须修这门课。6 个学分分两个学期完成。
前 3 个学分所有学生上同样的内容，后 3 个学分会根据不同学院进行 customization。比如医学院、法学院，可以设计和各自专业相关的内容。
今年春季我们已经 pilot 了这门课，有 100 多名学生自愿选修。它还不是 mandatory。到秋季，也就是今年 9 月，新生入学后就全部需要修这门课。
程曼祺 Manqi Cheng
春季试运行时，学生反馈怎么样？
马毅
反馈非常好。因为这 100 多名学生是自愿选的，所以有一定 bias。他们要么对这件事特别感兴趣，要么偏技术、偏 STEM，人文方向的学生相对少一些。
秋天正式开课后，才能得到更完整的 sense。
目前学生经常 follow up，想进一步了解，有些还想和老师一起做 project。虽然有些想法不一定现实，但总体反馈非常 positive。
AI 现在确实受到广泛关注，很多聪明人也知道自己理解得不够系统、不够全面。这样的课程可以让他们比较系统地看到 AI 在不同领域的影响，所以他们很 excited。
程曼祺 Manqi Cheng
这门课第一节课怎么设计？主要教什么？
马毅
有不同模块。因为是通识课，主要是 overview。
第一，学生要搞清楚 AI 和智能的基本概念。
第二，我非常强调历史。如果连历史都没搞清楚，就很难理解今天的技术。课程会讲机器智能是不是从 1940 年代开始，也会从生命起源和智能起源讲起。
第三是技术本身，比如语言模型的基本概念。不会特别 technical，但会讲图像处理、语言处理、生成模型、识别模型，以及学生会接触到的各种工具。
我们会追溯这些技术的本质，讲清楚它们在做什么、具有什么能力、有什么 limitation。
还会讲机器人，机器人会不会毁灭人类；也会讲 ethics、考试作弊、抄袭、copyright、隐私保护，以及 generative AI 对艺术和创作的影响。
还有安全问题。港大的学生未来很多会成为社会精英，有些还会参与 policy making，所以他们必须理解技术、法律和规范。
整个课程希望学生了解历史、概念和当前技术，理解这些技术对个人、行业和社会可能产生的影响。
很多问题现在没有答案。我也告诉老师，课程的作用不是给出所有结论，而是让学生批判性地看问题。
不要人云亦云，不要看到自媒体说什么就相信什么。要掌握证据，找到自己的论据，形成自己的观点。
不能别人说这个东西什么都能做，就相信它什么都能做；也不能别人说它完全安全，或者开源一定危险，就直接接受。
传授知识本身不是最重要的，最终目的是通过历史和技术，让学生提升判断能力。技术还会继续发展，同样的炒作还会再出现。如果学生没有独立判断力，未来还是会被误导。
我们希望通过 AI 这个话题，让学生理解它的独特性，同时讨论很多跨学科问题。
学习生命科学、神经科学和物理的学生，可以思考自己的专业和智能有什么关系；学习人文、法律和艺术的学生，可以思考伦理、版权、创造，以及未来音乐家、画家和 AI 的关系。
整个课程就是让港大不同专业的学生思考，AI 和自己的专业、自己的领域以及个人有什么关系。
每节课后面都有一个团队，不是一个老师单独教。每个小时的课程都由几位老师共同设计、打磨。
而且课程内容每年都要 update。不是今年录下来以后就一直重复，而是要让每一届学生了解最新的 AI 发展和我们的最新理解。
程曼祺 Manqi Cheng
所以最后的授课形式，是计算与数据科学学院的老师合作，针对不同课程由不同老师负责？
马毅
对。第一门课主要由我们学院承接，但也会 involve 其他系的老师。
机器人部分会邀请电子电气工程系的老师，伦理部分会邀请法律和哲学系的老师。我们学院相当于 host 和 coordinator，但不是所有内容都由我们自己讲。
第二个 3 学分，则要和不同学院共同开发。比如面向医学健康的内容，就由我们和医学院一起设计。
程曼祺 Manqi Cheng
春季有 100 多名学生试上，他们提出了哪些问题？关心和困惑什么？
马毅
目前这批学生是自愿选课，所以有 bias。很多学生本身对 AI 很感兴趣，偏 STEM，人文学生比较少。
他们会 follow up，想更加深入地了解，也有人想和老师做 project。虽然有些想法不太现实，但总体反馈很 positive。
AI 现在确实很受关注，大家理解得却不够深、不够系统。这门课至少让他们比较全面地看到 AI 在各个领域的影响。
程曼祺 Manqi Cheng
在课程中，您怎么描述 AI 和人的关系？怎么向本科生讲？
马毅
智能本身不是一个笼统的东西，而是具有不同能力和功能的智能系统。我们把本质讲清楚，让学生自己判断如何和它交互。
比如写作工具，学生到底要不要让 AI 代替自己写作业和论文，这是一个问题。
对我们老师来说，这也是 challenge。学校和老师目前也没有最终定论，因为技术在不断发展，能力也在提高。
我更希望通过课程启发学生，给他们不同选项、不同看法，让他们自己形成判断，而不是灌输一个结论。
程曼祺 Manqi Cheng
AI 和人的关系确实复杂，可能涉及哲学、伦理，以及 AI 会不会产生意识。
马毅
我最近的演讲也在讲这些问题。
至少对现在的系统，我们要先把本质搞清楚。它实际上主要是在做机械的数据压缩和生成。
理解本质之后，学生才知道如何和现在的 AI 打交道，知道它能做什么、不能做什么。
至于未来，当智能机制被发现得更完整、更完善，系统开始真正拥有自主学习能力时，人和社会该如何面对，这是未来的问题。
现在可以讨论，但不要现在就 worry about。首先要理解当前系统能做什么、不能做什么。
至于意识，是一个更远的哲学问题。consciousness 到底是什么，我们可能还不知道。至少目前的机制仍然是非常 mechanical 的。
程曼祺 Manqi Cheng
我看了维纳的《人有人的用处》，里面提到，未来机器可能让人异化，培养一个完整的人会变得更重要。他认为审美是最后的堡垒，也讲到批判性思维和跨学科视角。
如果更大胆地想象，关于 AI 和人的关系，现在似乎有两派：一派认为人类文明是在为硅基文明铺垫，另一派更偏人本主义，希望守住人类的堡垒。您感性上更偏向哪一边？
马毅
我觉得人有人的用处，机器有机器的用处。
但智能这种机制不是人类独有的。智能本身是一种民主化的机制，自然界早就把智能开源了。
这个世界上不只有人，还有无穷多其他动物。人类只是偶然成为了这个世界的主宰。在此之前一直是物竞天择、适者生存，是各种生命共同竞争的过程。
所以智能机制对自然界来说，不是谁独有的。人类目前只是处在垄断地位，在某些形态上比较高级。
当我们把智能机制搞清楚之后，它很可能是一个共性机制。每个人都有智能，我们也能学会共存。我相信当机器拥有智能之后，人类也会找到共存的方式。
当然，这很难，也需要大家思考：机器智能发展到什么阶段？如果机器真的实现智能，它的规模可能远远超过人类。
我们还没有找到正确的 scaling 方式。人脑皮层从小鼠到人类，某种意义上就是正确地 scale 起来了，能力大大提高，机制可能相似，但效率和能力完全不同。
机器无论是硅基、量子还是其他形式，只要实现了同样的机制，可能拥有相当于人脑几百倍、几千倍甚至更多的记忆和推理能力，获取新知识的效率也可能远远超过人。
如果机器之间的通信能力也超过人类，那我们该怎么办？我也不知道，只能留给大家思考。
我们还没有谈意识，只是系统拥有自主学习能力，就已经可能带来麻烦。
程曼祺 Manqi Cheng
您做白盒模型、闭环反馈和自主纠错，除了好奇、想把未知弄明白之外，会不会考虑它研究出来后整体上对人类是否有好处？
马毅
做科研时，还是先把事情了解清楚、搞明白。
时间还很长，在这个过程中，我们有时间去做判断。知识本身可能有用，至于怎么使用，是另一个问题。
任何技术、任何知识都可以用来做好事，也可以用来做坏事。我们要把两件事情分开：技术是拿来做好事还是坏事，和技术本身是什么，是两回事。
技术本身通常是中性的。比如炼钢、造车，当然可以做好事，也可以用来造枪、造刀。不能因为钢可能被用来做坏事，就不研究如何把钢炼得更好。
不应该限制技术发展，而应该研究如何 regulate 技术的应用，就像互联网一样。
当然，也有一些技术本身就具有危险性，比如病毒、放射性元素和某些化学技术。这类技术本身就需要特别小心，研究过程要有严格的安全规范，不是任何人都可以随便做。
所以要区分：AI 技术究竟属于哪一类，它本质上在做什么，是不是本身就危险。
目前的 AI 技术本质很清楚，也不危险。但未来什么时候会变得危险，需要我们理解它的本质，再去判断。
9. 下一代智能走向闭环
程曼祺 Manqi Cheng
回到您们现在的研究，白盒模型和闭环反馈相比去年我们聊的时候，有什么进展和突破？
马毅
我们过去一年做了很多事情，也开始做产业化。学校里的研究可以把一些方法验证清楚，但如果要在更大规模、更高效率上验证，就需要更多数据、更大规模的实验和工程改进。
这些工作不一定是学校愿意做的。学校可能已经知道方法，但要把效率提高、在更大规模上验证，就需要工程化。
过去一年，我们和学校继续合作，也在公司网站上发布了一些进展。大部分工作围绕白盒模型和闭环系统，研究如何大规模 scale、如何提高效率，以及如何用这些原理替代 Transformer 中一些冗余、效率不高的部分。
现在视觉模型非常糟糕，语言模型相对好一点，多模态视觉预训练很难做。现在一些最好的视觉方法，比如 DINO，本质上仍然是高度工程化的系统。
在新的原理指导下，我们可以大幅简化这些系统，同时提高性能。这说明新的原理已经开始改进下一代 AI 的 practice。
程曼祺 Manqi Cheng
闭环系统的特点，是在开放、真实的物理世界里运行和学习，所以未来会更多和具身智能结合吗？
马毅
对。一个很自然的 killer app 就是具身智能。
真正的 agent 应该能够和物理世界交互，而且面对开放世界。
我经常说，an open-loop system is for a closed world, no matter how big it is。一个开环系统，无论世界多大，面对的都只是一个封闭世界。
而 a closed-loop system is for an open world, no matter how small it is。闭环系统可以面对开放世界，哪怕它小到只是一只蚂蚁。
现在的端到端模型，无论记住多少知识，面对的仍然是 fixed finite 的封闭世界，它没有自主改进的能力。
程曼祺 Manqi Cheng
端到端和闭环是互斥的吗？
马毅
我也不能完全确定。目前这种端到端训练方式，本质上是通过大量数据把感知、视觉、语言和动作连在一起，但模型自身没有改进自己的机制。
可以把它想成 DNA。DNA 是一个开环系统，父母给你什么，你就继承什么，靠本能活着，不能在一生中改变自己的 DNA。
从受精卵开始，很多东西似乎已经被决定了。但非常神奇的是，在一定阶段，DNA 编码的信息可以让个体产生大脑和视觉。这之前是开环系统，之后个体才出现闭环学习。
程曼祺 Manqi Cheng
具身智能领域经常讲端到端 VLA 模型。它和您说的端到端是同一个意思吗？
马毅
有点像。现在的路线是通过大量数据，把感知、视觉、语言和 action 整合到动作中。
但目前还是比较粗暴。至于是不是正确方向，要看你怎么定义“正确”。
比如飞机按照一种方式飞，昆虫和鸟按照另一种方式飞，但它们也能飞，甚至可以载客、挣钱。所以现有方法能不能飞，和是不是最高效、是不是接近自然界的高效机制，是两回事。
用大量数据和算力让机器人性能提高，可能是可以的，但未必是最自然、最高效的实现方式。
程曼祺 Manqi Cheng
去年我们聊白盒模型时，概念相对容易理解：Transformer 从高维到低维的压缩过程中，有很多经验试出来的冗余，白盒模型是寻找更底层的数学解释，把冗余去掉、提高效率。
但闭环反馈和自主纠错，我当时感觉比较模糊。这一块有什么进展？
马毅
我们先把模型大幅简化，提高了效率。现在已经不太局限于这个方向。
我们发现，尤其是开环系统，即使尝试用单一模型实现 encoding-decoding 的闭环，也未必是最优的，至少不是自然界的方式。
人的大脑不是一个环，而是很多环，大量并行。大脑皮层有几十万个形态相似的 column，在并行处理不同信息。可能每一个 column 都在做自己的 encoding-decoding，形成局部闭环。
所以我们正在探索，如何实现更接近人脑形态的架构。
程曼祺 Manqi Cheng
这个架构现在还非常早期、非常前沿。
马毅
对，you never know。
概念可能很清楚，但真正实现时会遇到很多问题。比如有了 AlexNet 和 CNN，工程实现是否到位、方向是否正确，很可能决定后面能不能快速找到 ResNet，或者 Transformer。
科学进展很难预测。GPT 也花了 8 年，但现在大家抄作业，一年就能跟上。
探索过程可能很长，也可能突然突破。只要方向正确，就已经很幸运了。方向正确之后，大家再全力以赴。
程曼祺 Manqi Cheng
如果笼统总结，您们现在探索的是很多模型组合在一起，而且每个模型都是闭环的？
马毅
至少从大脑的形态来看，是这样的。
大脑处理不同模态，五官传入的感知信号是并行处理的，最后再汇总。大脑不同区域有非常清楚的功能，是分布式、并行、hierarchical 的结构。
大脑中每一层都在做预测和纠错。还有很多机制是现在的神经网络没有的。
比如神经元之间存在某种连接：不同神经元同时 fire 时，会加强彼此的 connection，帮助识别共同特征；有些神经元对一件事情 fire 后，又会抑制周围其他神经元。
这些计算机制现在还不清楚，当前神经网络也没有完全实现。
但我们肯定要向大脑学习。从原理上看，记忆要形成得简约、自洽，分布式、并行、hierarchical 的机制可能更合理。
所以未来未必是一个大一统模型。现在很多人想把所有功能放进一个模型，把不同模态、语言等全部砸在一起，是一种暴力方法。
当然，从工程角度看，既然这条路还能不断提高效果，就可能继续发展。它可能像飞机一样具有商业价值，但性价比未必高，能效可能也不高。
程曼祺 Manqi Cheng
易生科技作为一家商业公司，除了研究这些机制，业务上有什么进展和计划？
马毅
智能技术有很多不同点。在视觉、理解和推理等某些技术点上，功能提升本身就可能在特定场景中产生价值，不一定要把完整系统全部做出来。
另外，我希望做一家有 mission、有追求的公司。很多事情学校做不了，我希望公司和投资人有一定耐心，把一个好的、promising 的方向持续做下去。
中国确实缺少一些对 mission 追求的东西。一个好的方向需要耐心实现。
程曼祺 Manqi Cheng
投资人真的有耐心吗？他们应该不会催您吧？
马毅
OpenAI 也是一家公司，虽然最初不强调盈利，但最终还是要产生价值。它也做了七八年。
埃隆·马斯克其实也很厉害，他看 GPT 出来后，觉得这个东西没什么用，于是退出了。他认为这不靠谱。
微软留下来，可能觉得 OpenAI 做得比自己的团队更好。
你会发现，很多决策并不完全科学、逻辑化。尤其面对未知，即使方向正确，不同阶段的人对进展的认可也不一样。
埃隆·马斯克早期投了进去，后来却因为中间的结果退出，这说明即使非常成功的人，也未必能准确判断过程中的发展。
这又回到品味和信仰。做学问要有品味，做公司也要有一点品味。
如果一个方向重要、正确，完成之后肯定有价值。Sam Altman 在 GPT-3、GPT-3.5 出来时接受采访，有人问这个东西有什么用。他的回答很直接：他也不知道具体有什么用，但机器人理解自然语言非常重要，这件事做好之后肯定有用。
很多技术没有达到临界点时，可能什么用都没有；达到 GPT-4 的水平之后，几百万个用处会迅速出现。
现在大模型和机器人也是这样。你问机器人目前有什么用，可能很难回答，但如果机器人真的足够灵巧，应该会有价值。
这是一种信念。如果大家只在已经看到赚钱、已经看到明确商业模式之后才去做，那更像纯商业公司，不是科技公司，至少不是一个有 mission 的科技公司。
程曼祺 Manqi Cheng
投资人可能会担心，您还要处理学校很多事情。
马毅
这些事情其实比较一致。学校里的科研和公司里的工作，都是在不断加深我们对智能技术和智能方法的认识。
当然要平衡和协调。我们还有不错的团队，港大其他两位教授也在一线做相关技术。
现在人工智能前沿的研发和研究已经分不开。OpenAI、DeepSeek、微软、Google 等团队的核心架构，都有在读学生、老师或者刚毕业的博士参与。
程曼祺 Manqi Cheng
DeepSeek 也和您们团队有合作，去年年底发过一篇论文。
马毅
对，我们有一些合作，还和他们抢过人，但抢不过。
程曼祺 Manqi Cheng
是因为他们钱太多吗？
马毅
对。
但我们的重点不一样。他们可能想把现有技术实现得非常高效，我们不太想去争夺现有技术的第一名。
程曼祺 Manqi Cheng
DeepSeek 的出现，至少在创投圈带来一个好处：大家开始相信，现阶段最重要的还是技术能力提升。
2023 年大模型创业热潮开始之后，很多人讲“双轮驱动”，认为模型和应用要一起做，因为单纯技术好，似乎很难形成商业壁垒。DeepSeek 之后，很多人愿意相信，技术进展之后，很多应用自然会出现。
但这个商业逻辑是否持续成立，我也不确定。
马毅
AI 已经颠覆了很多过去的范式。学界不知道该怎么做研究，产业界也不知道这些公司最终是否成功，但至少它们已经成功融资。
很多文本、图像生成公司都非常小、非常早期、非常年轻，没有什么资产，甚至没有专利，完全开源，但估值很高。
比如 Hugging Face，估值几十亿美元。它甚至不一定创造了新的东西，只是组织开源资源，就已经有很大价值。
大家不知道商业模式在哪里。机器人、人工智能和大模型公司，商业模式都还不清楚。
虽然商业计划书可能写得很好，但大家心里明白，很多东西仍然处在技术革新和打造阶段。
现在大家也在探索哪些东西能落地，哪些还不能。Agent 也在不断尝试。早一步可能是先烈，晚一步可能是先驱，取决于技术成熟度。
很多东西很早就有了，只是还没有成熟到产生价值。什么时候成熟，大家都不一定判断得准。
但我们仍然要有技术信仰。看到一个可能创造现象级技术产业的机会，就要努力抓住。如果我们都不去做，谁去做？
我们愿意出来做这件事，是因为从学术和科研角度，看到了下一代更完整、更完善的智能系统可能具备什么特征，以及应该如何实现。
这不是去实现现有技术，而是推动下一代智能系统。无论最后是先烈还是先驱，我们都要尽力推动。
程曼祺 Manqi Cheng
商业组织或者公司，确实可能加速这个过程。
马毅
对。一方面可以加速，另一方面也能补充学校做不了的事情。
学校即使有好想法，也要申请经费、写 grant，不一定拿得到，而且时间慢。商业行动更快。
学校还要培养学生。学生可能还没 ready，培养好又毕业了。很多技术需要持续推进，公司可以保证团队和技术持续 push。
港大的科研资源很丰富，我们并不是单纯缺研究经费，而是需要更大算力、更多数据、更大规模的验证，以及熟悉技术的工程团队，把技术做成熟。
科研突破往往在一个个点上：视觉更好一点，某个功能更好一点。但智能系统是集成系统，需要同时具备识别、感知、认知、决策和执行。
公司更适合做这种集成系统，不可能让一个学生同时做所有事情。这是一个动态探索过程，也不是每个人都能认同。
程曼祺 Manqi Cheng
你们探索的是下一代智能架构，这个方向相对小众，也需要理解。招人时想吸引顶尖 AI 人才，会遇到什么挑战？
马毅
一方面，已有技术路线看起来比较热，资源很多，公司给的工资也很高。
但我们还是有信心，因为大学里有不少人才储备。前沿方向很多时候掌握在年轻学生手里，而不是所谓工作经验很多的人。
当然，我们也需要不同类型的人才，正在不断打造团队。
程曼祺 Manqi Cheng
现在研究前沿方向的博士生，还会像您当年毕业时那样找不到对应工作吗？
马毅
现在好一些。我们当时做比较冷门的东西，找工作非常困难，需要勇气。
现在人工智能已经比较成熟，甚至有点过热，情况相对好很多。
我们做产业公司，也是希望把人才逐渐聚到一起，而不是学生毕业后都去大公司做同质化的东西。
我自己也在公司待过。年轻人进入大公司，很难拥有独立的空间做自己的事情，尤其是做不一样的事情。
程曼祺 Manqi Cheng
您有不少学生去了大公司吧？
马毅
我在 Google 有 4 个学生，微软也有好几个，中国一些大公司也有，还有人自己创业。
有学生反馈，进入大公司之后，探索空间比较受限。想做的事情缺乏独立性，很难做不一样的东西，尤其是年轻人，自由度很少。
当然，初创公司也有风险，要看别人是否认可这件事，也要看你想要什么。
我以前和一些 Google 核心 AI 研究者聊过，他们有一个诉求：想成为第一批看到 AGI 到来的人。
但首先要定义 AGI。到底什么时候算 AGI？我在 Twitter 上也和杨立昆、李飞飞讨论过这个问题，但连科学定义都没有，就不要谈这种虚无的概念。
我们应该把智能的不同能力和阶段定义清楚，而不是笼统地谈 AGI。自然界的智能也分很多阶段，机制有相似之处，但并不完全相同。
程曼祺 Manqi Cheng
您自己似乎很少提 AGI，还是希望先把智能机制搞清楚。
马毅
对。把智能机制搞清楚，自然就会有通用性。没有必要区分“通用不通用”，只有对不对、完整不完整。
维纳的《控制论》副标题就是 “Or Control and Communication in the Animal and the Machine”。把这些机制搞清楚，实现到机器上之后，动物和机器就可能无法区分，何必再谈通用不通用？
关键是把机器智能背后的原理和机制搞清楚。
程曼祺 Manqi Cheng
最后一个问题。当您身边一些非 AI 研究者因为 AI 感到焦虑、兴奋或者困惑时，您会对他们说什么？
10. 理解人工智能才能不焦虑
马毅
很简单：焦虑来自不懂，兴奋至少要知道自己为什么兴奋。
现在很奇怪，包括学术界的人也经常说，我想了解智能的本质，想理解人工智能，想理解深度学习。
那我会问，你认真看过几篇论文？有没有坐下来，把东西系统地读一遍、梳理出来？
如果每天只在自媒体上刷来刷去，看到的都是肤浅的内容，当然吃瓜群众无所谓。但如果你是这个领域的人，有多少人真正把这些事情客观地梳理清楚？
我喜欢写书、教课，就是因为只有自己写、自己梳理，才会发现哪些地方有 gap，哪些地方自己不明白。
如果连历史都没有搞清楚，就稀里糊涂地开始焦虑，当然会这样。
所以少看一点自媒体，多看系统性的东西。理解之后，就不会那么焦虑。
我们做 AI Literacy，也是希望学生知道有哪些潜力，应该付出哪些努力，再形成自己的判断和结论。
critical thinking 的过程你有没有真正走过？结论可能会错，但只要用这个方法不断理解、形成概念，焦虑就会少很多，判断错误的概率也会降低。
很多人不愿意把事情搞明白，把任何东西都当成黑盒子。因为不懂，就会焦虑、恐惧。
于是所谓的权威说它是原子弹、是病毒，他就相信，却不知道为什么是原子弹、为什么是病毒。他不是自己建立的认识，而是别人灌输给他的。
很多人就会利用这种恐惧、焦虑和迷信。迷信就是这么产生的，权力也是这么产生的。
本期的零点呈现分享三个和之前节目的关联。一是这期开头不久，我们在聊智能的诞生时，马老师就提到他很喜欢的一句引语。就像熵增是宇宙的基本法则，生命的基本法则是不断变得更结构化和对抗熵增。这和第一百零一期中王小川提到他为什么在两千年做基因测序时开始对生命和生物科学非常感兴趣是同一个想法。当时王小川说，我们从父母的DNA结合的受精卵变成一个人，还长得很像爸妈，这在数学上是一件非常不可思议的事儿。物理世界很精确，但走向了熵增，生命看起来不精确，但走向了熵减。不过王小川认为宇宙是不是一直在熵增是一个未知数，因为我们尚不清楚这是否是一个封闭系统。总之这是对智能的一个很有趣的观察和定义。第二个联想是在本期和第一百零三期用注意力机制串起大模型优化史中，我们都讨论了生物的智能机制是否是智能机制的最优解，这确实是一个尚待发现的问题，但。有共识的一点是，生物确实是用了一种比目前的机器智能高效的多的方式实现了智能。如果我们把智能定义为能够学习，能够发现新的知识和规律，就像这期中马老师说的，“an open looped system is for a closed world, no matter how big it is”，一个开环的系统能应对封闭世界，不管它多大，就像现在的大模型。“a closed looped system is for an open world, no matter how small it is”，一个闭环的系统才能应对开放世界，不管它多小，哪怕小如一只蚂蚁。第三个联想是上一期中我们与戴雨森聊 agent，他在最后分享的两本书都与智能的历史有关，一本是 A Brief History of Intelligence 智能简史，这个还没有中文版，另一本是《第一只眼》，讲寒武纪物种大爆发中感光细胞和后来眼睛的诞生如何促进了智能的发展，这是在五亿年前，而我们今天在讨论智能在地球的起源时也提到了一个关键的转折点是在五点五亿年前神经系统的诞生，又过了。五千万年开始了寒武纪大爆发。这一次我们开头和结尾的 BGM 用了《银翼杀手》里的 Tears in Rain。如果说智能是在学习可学习的规律，那么根据我们现在对宇宙的观测，随着熵增，世界终有一天会变得无规律可学，就像银翼杀手里的那句台词，All those moments will be lost in time, like tears in rain。智能可能只是宇宙中的一个过程，但它是一个无比神奇、令人着迷的过程。本期节目就到这里，欢迎收听。如果你对今天聊的话题有观察、好奇或疑问，欢迎在评论区分享想法，这也会成为我们节目的一部分，让整个讨论更完整。你也可以把我们的节目分享给对这个话题感兴趣的朋友，欢迎推荐更多你想听的主题和嘉宾。你可以从小宇宙、苹果 Podcast 等渠道关注“晚点聊 Late Talk”，也欢迎关注我们的公众号“晚点 Late Post”，下期再见。