[BidClub_]
卫诗婕|漫谈 Light the Star · · 58 min

43.独家对话夸克:「大模型+高考」,AI 落地千万级用户的一次漂亮实验

卫诗婕蒋冠军

Podcast
TL;DR
  • 夸克高考志愿大模型今年生成了超过1,000万份免费志愿报告,6月25日单日峰值为200多万份。问答产品和原有志愿工具约每天上亿PV;蒋冠军确认,25日是夸克有史以来的最高峰。夸克内部可用GPU全部投入仍不够,又向阿里集团借卡,服务高考的GPU约有几万张,高考因此相当于夸克的“双11”。“全行业唯一做志愿报告生成”是主持人卫诗婕的判断,蒋未直接确认。
  • 为什么今年各家都更重视高考?蒋冠军给出的原因是:社会对高考的重视度和关注度提升,志愿填报师这一新职业出现,且需求足够垂直,各家公司都能通过资源组合服务这一场景。卫诗婕补充观察称,今年Agent成为趋势、模型底座能力更成熟,技术正从尝试走向应用;去年大模型结合RAG仍以尝试为主,幻觉、推理和回答质量尚不理想。
  • “四个9”不是模型准确率,而是高校、专业及分数数据的覆盖比例。主持人提到三千多所高校、两千个专业的数据,蒋确认数据侧做了大量整理;学校、专业和历年招生分数来自志愿工具,只有录取概率是预测的,并会人工核对。历年数据可留档复用,每年主要做招生计划、新专业、新学院的增量整理。
  • 个性化比准确性更难。当志愿填不满时,补充的学校和专业未必完全符合用户需求,团队要在地域、专业、就业、考研等优先级之间取舍,再结合用户特点做综合平衡,并通过多维度打分迭代。报告策略“不激进,也不保守”;蒋强调夸克是辅助决策,不替用户做最终决定。去年一例投诉中,蒋称报告本身没有问题,考生因填报志愿较少而滑档。
  • 项目的初心是整合分散信息、逐步升级服务。蒋回溯称,约在2018、2019年,夸克就希望成为个人智能助手,并发现高考信息分散、考生难以据分数和需求选择学校专业,于是从信息服务发展到筛选和概率预测工具,再到今年用大模型生成免费报告。超过50%的报告来自三线以下考生;“信息平权”等表述主要来自主持人的观察。
  • 高考报告依赖数据、模型和专家的反复协作。项目筹备三个多月,涉及好几百位专家、外包数据清理人员以及内部算法和工程团队。模型先生成结果,专家评审并提出建议,团队再迭代数据和模型,使输出接近专家经验。报告输入很长、输出约一万字,还包含规划、搜索、反思、决策和执行过程,因此非常耗GPU。
  • 夸克与通义千问是基座与应用场景的协作。千问提供通用能力较好的基座,帮助节省算力;夸克围绕问答、RAG等业务能力做持续预训练和优化,并把应用中的问题、数据和技术方案反馈给千问。主持人将其称为“阿里兄弟打群架”,蒋表示“可以这么算”。夸克从2023年底的焦虑,到2024年从零预训练约半年后形成方法论,再持续迭代基础效果。
  • 大模型让应用门槛降低,却提高了个人能力要求。蒋认为,应用侧因训练框架、基础模型和实现方式不断开源而更容易,但要做出差异化体验,算法人员需要更准确地判断模型能力、补数据、调训练方法。AI写作是一个无标准答案场景,夸克通过模型学习和结构调整开展大规模RLVR,最终效果有显著提升;RLHF则通过专家标注,让模型对齐人类偏好。
  • 面对人人都想做超级助手,夸克选择自己的路径。蒋用“到罗马的路有很多”“一百个哈姆雷特”形容不同路线,夸克会围绕工作、学习、生活三类场景,以大模型串联原有工具和能力,把用户过去手动完成的链路改造成一条指令驱动的过程。高考报告就是需求升级的例子。商业化方面,蒋没有给出明确方案,只说高考场景不适合广告和卖货,“还没有想清楚”如何商业化。
Digest · the substance, structured for research

1. 千万份报告:夸克的年度算力峰值

  • 夸克问答产品和原有志愿工具约每天上亿PV,今年新推的免费志愿报告刚超过1,000万份;6月25日单日生成200多万份,蒋冠军确认这是夸克有史以来的最高值。卫诗婕随后概括为“每年高考都是这一年的峰值最高值,但是今年的峰值又是历史以来的峰值”,蒋表示确认。
  • 卫拿到的一份样本有几十页、上百行志愿栏,包含AI推荐的志愿排序、录取概率和专业介绍。她将其定位为Deep Research深度与具体场景结合的高难度案例,并认为夸克虽不能直接替用户填报志愿,但已经提供了大量决策信息和辅助判断。“全行业唯一一家做志愿报告生成”是卫的提问和判断,蒋没有直接确认。
  • 与往年相比,今年的变化不是简单调用大模型,而是用大模型帮助用户完成一份相对专业的志愿报告,并邀请许多高考专家共同迭代。

2. 超过一半报告来自三线以下考生:从信息整合到免费报告

  • 1,000万份报告中超过50%来自三线以下考生的需求。卫引用一份调研称,许多考生,尤其是三线以下考生,在填报时缺少辅助决策的信息,家长和老师也未必了解相关学校与专业;她还提到“暖芒行动”中有孩子甚至不知道该问什么。
  • 卫引用一位高考专家的说法称,从分数公布到填报完成只有4天。她据此将免费报告理解为帮助考生获得信息、实现辅助决策和信息平权;这些“信息平权”的价值判断主要来自卫的补充。
  • 蒋回溯称,约在2018、2019年,夸克希望成为个人智能助手,并看到高考信息分布分散,考生不知道该填什么学校、不了解专业和行业,也未必能据分数选到合适的学校。夸克凭借搜索能力先整合基础信息,之后做筛选工具和概率预测,再在大模型出现后生成免费志愿报告。
  • 对低线地区的高考咨询服务,卫指出收费较贵且很多人并不知道这一职业,因此认为免费报告可以提供更多信息来源;蒋没有对“获客抓手”作出表述。

3. 为什么是今年:社会需求、垂直场景与技术成熟

  • 蒋对腾讯、微博等公司同时加大投入的解释有两层:一是社会对高考的重视程度和关注度提升,志愿填报师这一新职业的出现反映了家长和学生的需求;二是高考需求足够垂直,各家都能通过自己的资源组合来服务它。
  • 蒋补充,前几年也有公司在做高考,只是投入的资源没有今年多。对竞争,他的态度是各家参与会带来迭代,用户也能通过更多渠道获得更准确的信息。
  • 卫补充自己的观察:今年Agent成为趋势,模型底座能力进入更可用的阶段,技术开始从尝试走向应用场景的精耕细作。高考是需求集中、高频且密集的社会事件,类似淘宝的“双11”大练兵场,可以检验产品、团队和运营能力。蒋认同高考是整合团队、锻炼能力的好场景,但没有把“深度思考”作为他对各家入场原因的双重解释之一。

4. 从专项模型到深度思考

  • 过去6年,夸克的高考信息问答和录取概率预测使用的是传统专项模型;当时还没有“高考大模型”这一概念。去年各家开始尝试把大模型与RAG资料结合起来回答问题,但主要仍是尝试,模型的幻觉和推理能力尚未达到理想水平,数据和回答质量也不够理想。
  • 蒋认为今年应用层面的本质变化来自深度思考能力:深度思考会在更多场景中应用,模型的规划能力更强,也能反思和判断自己过去的行为。Deep Research和Agent等方向都基于这些能力发展起来。
  • 卫将其概括为深度思考、规划和反思三个要素,蒋确认这些能力都体现在高考大模型中。
  • 在蒋举的例子里,考生输入分数、省份、学科、就业目标、地域偏好和考研需求后,模型先规划符合需求的城市,再调用搜索工具或搜索引擎获取学校、专业等信息,随后反思是否遗漏并检查结果,最后整合生成报告。卫认为这就是Deep Research。

5. 数据工程是地基:“四个9”是覆盖率

  • 卫提到夸克整理了三千多所高校、两千个专业的分数信息及各地录取政策,蒋确认基础数据侧做了大量工作:整理权威网页资源、剔除低质量内容并交叉验证;获取网页上找不到的专业数据;收录教育部、省教育厅、学校等不同来源的分散录取数据。
  • 对“准确度达到99.99%”的说法,蒋明确纠正:这不是模型准确度,而是全国高校、专业和分数数据的覆盖比例。志愿表来自原有志愿工具,其中学校、专业和历年招生分数是准确的,录取概率则是预测值。
  • 蒋确认数据会人工核对,但没有把“99.99%”表述为单靠人工核对达成。历年录取分数、人数和分数线区间等数据可以留档复用,每年主要整理当年的招生计划、新专业和新学院,再做对齐。
  • 卫认为持续迭代会形成有厚度的能力积累,蒋确认积累既包括数据,也包括对用户需求的理解。

6. 与几百位专家反复迭代

  • 在模型侧,夸克会加强高考相关专业知识,使模型内化的知识更强,并让专家评审模型先生成的结果、提出不足,再反复迭代数据和模型,使输出接近专家经验水平。
  • 项目筹备约3个多月,人力难以准确统计:外部力量包括好几百位专家和参与数据清理、专业资料整理的外包人员,内部还包括算法和工程团队。
  • 蒋印象较深的一类摩擦是专家觉得要求苛刻,且技术人员和专家使用的语言体系不同。卫举例说,与一位志愿填报专家的访谈可能持续两三个小时,并将这种过程视为对耐心、细心和线下沟通能力的考验;蒋的回答是“耐心沟通”。

7. 几万张GPU与线上保障

  • 志愿报告有很长的输入、约1万字的输出,中间还包含多次反思、决策和执行,因此非常消耗GPU。夸克把内部能够使用的GPU全部投入高考项目仍不够,又向阿里集团借了很多卡,约有几万张GPU服务于高考。
  • 蒋称高考时段是夸克每年资源消耗最大的时段,相当于夸克的“双11”,核心是集中需求对峰值的考验。
  • 工程团队针对高考各环节做了大量压力测试、工程和系统优化,尽量保证填报几天的线上服务保持相对平稳。卫观察到作战室挂着横幅,桌面还留有同事们集中投入项目的痕迹。

8. 从焦虑到“心里有底”

  • 蒋将夸克的大模型发展分为几个阶段:2023年底,整个中国互联网都感到焦虑;到2024年中旬,夸克从零开始做预训练,约半年后虽然模型效果仍比较一般,但已经掌握了方法论,知道持续迭代可以获得更好结果。
  • 2024年底到2025年初,团队主要迭代模型的基础效果,大模型也开始逐步在夸克端上线。夸克希望成为个人助手,因此需要围绕大模型改造原有产品和业务。
  • 卫将夸克在此过程中形成的能力概括为大模型全栈能力,蒋表示认同。

9. “原有业务加大模型”与“以大模型为核心”

  • 通用搜索排序仍使用原有技术体系,但大模型可以生成样本、进行语义判别,优化原有业务的各个环节,这属于原有业务加大模型。
  • 深度搜索则直接向用户输出答案,检索链路和Query CoT都要围绕大模型改造,属于以大模型为核心。
  • “超级框”有其历史原因:早期AI多为专项模型,一个工具对应一个模型,一个搜索也对应一个模型,因此夸克积累了许多垂类模型。如今用户可以输入文本、语音、图片、视频和文档,核心趋势是多模态输入、多模态输出。
  • 对未来是否把垂类模型整合进一个基础模型,蒋先确认“会有很多垂类模型”,随后强调以大模型为核心串联已有工具和能力,形成一个能覆盖不同需求的超级框;原文并未明确确认“整合成一个基础模型”。

10. 个性化比准确性更难

  • 志愿工具主要按概率呈现,用户自行筛选;志愿报告则可能要给出80到100个志愿。填不满时需要补充,但补充的学校和专业未必百分之百符合用户需求,于是团队要在地域、专业、就业和考研优先之间取舍。
  • 蒋认为个性化更难。准确性可以依靠数据和原有资源工具积累优化,但不同考生的偏好不存在一条绝对正确的路径。团队会结合用户特点,例如偏理工科的考生可能推荐理工科更强的学校和专业,再从多个维度给报告打分,迭代出分数最高的版本。
  • 卫回忆,作战室几乎每天都在争论:做出一版后发现“不太行”,不同成员再去和不同专家沟通,回来继续调整;“专家也是不同意的”是卫对这一过程的描述。
  • 对去年一例投诉,蒋称报告本身没有问题,考生因填报志愿较少而滑档。夸克遵循相对平衡的策略,不激进也不保守;它不是替用户做决定,而是提供更专业、准确的参考,由用户自行作最终判断。

11. 与通义千问的分工

  • 卫提到这次使用通义千问基础模型并继续预训练,蒋随后解释,通义千问可以提供通用能力较好的基座,帮助夸克节省算力;夸克把围绕产品和业务的训练放在持续预训练阶段,并优化问答、RAG等能力。
  • 夸克也会把应用场景中的问题、需求、基础数据和模型优化方案反馈给千问,使千问能够从具体场景中抽象基座模型需要改进的工作。
  • 卫将这种协作称为“久违且振奋人心的阿里兄弟打群架”,蒋回应“可以这么算”。

12. 细节与创新:RLVR、RLHF及应用门槛

  • 蒋认同“模型大家都能训练,好坏在细节”的判断:应用要做好,需要在数据、RLVR和RLHF样本、训练方法、策略以及产品需求匹配等细节上持续打磨。但基础模型能力要实现较大突破,不只是精细化,还需要新方法、新结构、创新实验和经验积累。
  • AI写作是一个用户规模较大的场景。传统RLVR适合有标准答案的问题;在写作等没有标准答案的场景,夸克尝试通过模型自身学习、训练和结构调整,实现大规模RLVR,最终效果取得显著提升。蒋也强调,这不是夸克独有的做法,其他公司也会做。
  • 蒋解释,RLVR让模型针对有标准答案的问题生成多个答案并与正确答案比对,通过自动化强化学习提升;RLHF则由专家或资深人士在多个都基本正确的答案中标注更符合人类阅读习惯的版本,例如“总—分—总”结构,从而实现人类偏好对齐。

13. 算法变简单了还是更难了?

  • 蒋认为,从应用角度看,大模型降低了门槛:训练框架、基础模型和实现方式大量开源,小团队也能快速搭建有创意的产品。但个人能力要求反而更高,否则难以做出差异和体验优势。
  • 技术人员的工作方式没有太大变化,核心仍是把产品设计语言翻译成技术可实现的范围,说明什么能做、什么暂时做不到,以及如何通过增加数据、调整训练方法来增强能力。最终是产品能力和技术能力取最大公约数。
  • 团队管理上,蒋强调两点:面对快速变化的技术,要有定力,区分模型基础能力和宣传,统一团队究竟聚焦预训练、PPO还是业务适配;同时要有明确的实验路径,知道如何验证、什么算成功,因为任何单点技术投入都可能无限扩大。
  • 团队情绪方面,蒋说夸克“好像不太需要”专门管理情绪。团队相对稳定,成员之间以及产运和技术之间信任度较高;从2018年开始做个人助手的大目标也比较统一,因此虽然会辛苦,但专门安慰情绪的情况较少。

14. 超级助手的不同路径与后续计划

  • 面对Agent和超级助手热潮,蒋用“到罗马的路有很多”“一百个哈姆雷特”形容不同路径。夸克会围绕工作、学习和生活三类场景,依托原有工具和产品积累,把用户过去手动串联功能的过程,改造成由大模型根据一条指令完成中间链路。高考报告就是需求升级的例子。
  • 被问及未来几年是否商业化,蒋没有给出明确计划,只说大模型时代的商业逻辑应发生变化,而高考场景不适合广告和卖货,“还没有想清楚”如何商业化。卫提出可以考虑类似打赏的模式,蒋表示可以内部讨论。
  • 高考用户留存比较不错:部分年轻用户在填报前已经使用夸克的学习产品,进入大学后又可能使用学习资料产品。蒋认为这是围绕用户不同生命周期持续提供场景的可能性。
  • 对明年,蒋认为今年只是围绕更复杂决策做了初步实践,距离全面解决用户的志愿填报需求仍有很大差距。下一步要更好引导那些不知道如何提问、相关知识和信息接近空白的考生,改善模型交互,提供更专业的经验,生成真正更个性化的报告,从而减少内部在志愿取舍上的反复争论。卫将其概括为“一年一年迭代”,蒋表示认同。
卫诗婕

6月30日,我参加了夸克的内部技术分享会,并在结束后对算法负责人蒋冠军进行了一场独家专访。在刚刚过去的高考月,夸克的高考志愿大模型共计生成了1,000万份高考志愿深度研究报告。

在我拿到的一份样本里,多达几十页、上百行的志愿栏,清晰呈现了结合每位考生个性化需求、由AI推荐的志愿填报排序、录取概率、专业介绍等信息。这是一个将Deep Research的深度与具体场景结合的高难度案例。

高考无小事。为了训练好这个高考大模型,需要录取分数线、招生信息等数据语料的绝对准确,并服务好千万考生的个性化需求。而且在高考前后的封闭时间段内,这个产品要经受海量用户的使用,每次使用的上下文都很长,需要消耗巨大的算力。

为了托举这个项目,夸克不仅投入了自己的全部算力资源,还从阿里集团内部调度了大量算力支持。这是夸克做高考项目的第7年,首次深度结合大模型技术,重构了自己的高考产品。

对于被称为“00后原生产品”的夸克来说,高考毫无疑问是属于他们的“双11”。不过值得注意的是,今年腾讯、微博等头部互联网公司也不约而同地在高考这个社会大事件上集体发力。

现象背后,其实是大模型的深度思考与推理能力已经进化到了一定阶段,具备了场景化产品应用的基础和实力。但即便如此,在Agent到处涌现的2025年上半年,这仍然是一个做得足够深、体现了足够产品力的稀缺案例。

低调的夸克罕见地深度发声。我们围绕高考志愿大模型产品背后的构思、积累、技术细节、训练过程、产品理念等角度展开了对话。

今天很荣幸邀请到冠军老师。冠军老师,跟大家打个招呼吧。

蒋冠军

大家好,我叫蒋冠军,是夸克的技术负责人。

卫诗婕

您就是从Day 1就在夸克的吗?

蒋冠军

是的。

卫诗婕

我们现在录制的场景,是刚刚围绕你们这个高考项目的群访结束后,冠军老师来到我们这边进行单独专访。您可以大概给大家讲一下,今年这个高考项目对你们来说意味着什么吗?

1. 大模型重做高考报告

蒋冠军

今年这个高考项目跟我们往年做的最大的一个不同,其实就是我们用大模型去帮用户真正完成一份相对比较专业的志愿报告。

这个过程不是简单地应用大模型能力。因为在志愿报告的生成过程中,我们邀请了很多市场上比较有名的高考专家,跟我们一起迭代。这是今年跟往年最大的不同。

卫诗婕

我的理解是,因为今年Agent很火,当然我们行业里面对Agent的定义,还是用AI的能力影响物理世界。

我的理解是,夸克的高考产品肯定不能直接帮用户填志愿、报志愿,但是你们其实做了一半:你没有直接影响物理世界,但是你给考生提供了大量的决策信息和辅助判断。

而且我留意到一件事,今年高考有点像各家大厂的兵家必争之地。包括你们、腾讯,以及刚才提到的微博,都在做高考项目。

你们目前应该是在数据上表现最好的。首先,你们应该是全行业唯一一家做志愿报告生成的,对吧?其次,刚才你提到的峰值,以及你们现在总的一些数据,可以给大家分享一下吗?

蒋冠军

我们的问答产品和原来推出的志愿工具,差不多每天有上亿的PV。

今年推出的新产品,也就是免费的志愿报告,今天刚刚超过了1,000万份。

卫诗婕

我们刚才还聊到一些蛮感人的数据。这1,000万份报告里面,超过50%的报告,其实都是三线以下考生的需求,对吗?

蒋冠军

是的。

卫诗婕

我觉得这其实还蛮体现技术普惠和平权的。你们可以讲一下,为什么要去做这么一件事情吗?

2. 夸克为何做高考服务

蒋冠军

对于我们来说,一开始是想把夸克做成一个个人智能助手,大概在2018、2019年左右,其实那会儿我们就看到,市面上高考相关的信息分布得非常分散。

这对于用户来说其实很不友好。特别是对于考生来说,很多时候他不知道自己应该填报什么学校,也不了解市场上有哪些专业、各行各业是怎么工作的。他不一定能够根据自己的分数,选到最好的学校。

我们就觉得这件事情比较有价值。因为我们原来是做搜索引擎的,有能力把这样的基础信息做一个比较好的整合。整合以后呈现给用户,用户就可以非常简单地获取这些信息。这就是我们最初的出发点。

后来在慢慢发展的过程中,我们发现了用户更多的需求。比如学校、专业的填报,应该给他一个非常好的筛选工具,而不仅仅是提供基础的信息服务,所以后来我们又做了高考志愿填报工具。

大模型出现以后,我们觉得还可以更进一步。大模型的通用能力很强,所以今年我们也邀请了很多专家跟我们一起迭代,最终给用户生成一份免费的志愿报告。

卫诗婕

我可以补充一下,因为我之前阅读资料的时候,有几个特别感人的点。

首先,一份调研指出,中国绝大部分考生,尤其是三线以下的这些考生,在填报志愿的过程中,根本没有任何信息能够辅助他们做决策。因为他们的父母不懂,老师也不是特别懂,信息相对闭塞。

你们不是做了“暖芒行动”吗?你们去一些边远地区跟孩子们交流,其实他们连问题都问不出来。

之前有一位高考专家讲过,从分数出来到填报完成,区间只有4天。对于家长和孩子来说,他们不知道该怎么做。

所以我的理解是,你们最新的做法,就是用大模型技术去帮助这些孩子实现信息平权和辅助决策。这件事情其实还蛮功德无量的。

3. 夸克押注高考七年

我另外想讲的一点是,我知道你们这个高考项目对于夸克来说已经做了7年。为什么夸克会做一个高考项目做7年?

我先说一下我的猜测。因为我很早就对夸克非常感兴趣,原因是我听说夸克是真正的“00后原生产品”。因为我是“90后”,我听说“00后”在夸克上面做各种各样的事情。

这两年“00后”也陆续步入高考了,从“90后”到“00后”这一代。所以我觉得,这个项目是不是你们抓住用户、提升用户黏性、破圈和打开市场的一个关键抓手?这是我的猜测。

蒋冠军

我觉得有两个方面。

一方面,我们觉得高考是一个全民热点,是一个关注度非常高的事情。把这件事情做好,对我们自己的产品肯定会有非常大的帮助。

另外,我们原来是做搜索引擎的,想提供一个个人智能助手。既然如此,市场上大家关注的事情,比如高考信息很分散、决策不方便,用户甚至不知道怎么提问,这些问题我们就应该通过一步一步的努力,逐步解决。

我们希望帮助用户真正把自己的分数用好,在填报志愿的时候,报到理想的学校。

卫诗婕

你怎么看今年包括你们在内,腾讯、微博等公司都在做高考项目?

蒋冠军

这是市场上的一个大需求,大家都在做,我觉得挺好的。大家都在做,就会有一定的竞争,每家都可以把自己的产品迭代得更好。

迭代得更好以后,对于用户来说,就可以有更多渠道获得更准确的信息,最终报上一所更好的学校。

4. Agent引爆高考竞争

卫诗婕

为什么各家做这件事情,会发生在今年?

我觉得这里有几个背景信息需要捋一捋。一个是,应该只有你们做高考这件事情做了7年,对吧?

蒋冠军

对。

卫诗婕

而且这应该是第一年,除了你们之外,也有越来越多的公司开始认真做这件事情。我可以这么判断吗?

蒋冠军

其实前几年大家也在做,但是前几年可能没有用这么多资源,也没有像今年这样投入得更多。

我觉得有几个方面的原因。

第一个还是社会层面的原因。现在整个中国社会对高考这件事情的重视程度和社会关注度都在提升。这两年发展出来的一个新职业,就是高考志愿填报师。

卫诗婕

对,像张雪峰这样的。

蒋冠军

对,有这样的一个新职业出现。背后的原因其实还是需求:家长和学生非常重视、关注这件事情。

互联网公司其实也是一样,大家都会关注到这个点。这个事情已经变得越来越热了。

第二个是,在这个场景下,需求比较垂直,大家都有能力通过自己的资源组合,把这样的垂直需求相对做得比较好。

卫诗婕

我补充一个我的观察。我一直觉得,为什么发生在今年,大家在高考项目上投入特别多的资源和精力?我是觉得,因为今年Agent成为一个趋势了。

第一,模型底座的能力已经到了一个可用,并且被用得更好的状态。很明显能够感受到,从去年跨到今年,其实是从技术走向应用的一个大爆发,而且要走到应用场景里面去精耕细作。

我的理解是,高考就像您说的,是一个社会事件,是一个需求集中化、高频、高密集的场景,有点像双11之于淘宝的那种大练兵场。

刚才群访也聊到这一部分。在6月初高考的这几天,以及高考结束之后的几天,会有密集的考生和家长搜索、生成报告。

对于一个团队来说,无论是前期产品层面的打磨,还是集中需求下的运营,等等一系列工作,都是一个大考。

围绕高考,特别是现在以大模型为核心能力的创新性产品,确实是一个非常好的场合,可以整合自己的团队、锻炼自己的能力。

我听说你们之前的高考大模型用的还是BERT。什么时候开始不用BERT的?

蒋冠军

之前没有所谓的“高考大模型”这个概念,因为那时候大模型本身还没有出现。

之前做高考的信息服务问答也好,志愿填报预测工具也好,都是用一些传统模型,是专项模型。你刚才提到的,参数小一些,专项模型就可以解决。

主要是考生有很多问题要问夸克,夸克就给他回答。

卫诗婕

好像还有概率预测。比如我想报哪些方向、哪个专业,以我现在的分数,有多大概率能够被录取?

蒋冠军

对。这些都是大模型出现之前,用专项模型就能够实现的功能,也是我们过去6年都在做的。

卫诗婕

去年其实各家也已经开始用大模型,在高考相关问答上做一些比较浅的尝试。

蒋冠军

对,但是去年模型还没有那么成熟。

卫诗婕

能举个例子吗?

蒋冠军

去年大家开始尝试把大模型和RAG资料结合起来,回答用户的问题。但是去年还是以尝试为主。

去年的模型本身,包括幻觉和推理能力,其实都还不具备理想水平。不管是基础数据,还是回答质量,都没有那么理想。

但是今年,不管是对话类产品,还是搜索类产品,我觉得这在应用上是一个比较大的区别,因为模型能力更成熟了。

卫诗婕

简单概括一下,今年模型对于用户语义和问题的理解应该更深度了,完成度也更高。

另外一点就是我们提到的免费生成报告。我也翻了一下,你们会问一些比较基础的问题,比如“你喜欢哪些专业?”“对于地区有没有偏好?”“对于学费有没有要求?”

因为这些对于偏远地区的考生来说,都是填志愿时的刚需。根据这些问题,你们会用大模型能力,帮他们做志愿匹配和个性化推荐。

难点主要在于,听说你们整理了3,000多所高校、2,000个专业的分数信息,以及各地的录取政策。这些数据的清理和模型训练,既要保证准确,还要做到个性化。我不知道我的理解对不对?

5. 高考数据必须准确

蒋冠军

对,高考无小事。在基础数据上,我们做了非常多的工作。

一方面,对于网页资源里面比较准确、权威,以及有各种数字化表达、事实性表达的数据,我们完全整理了一遍,把里面的低质量内容去掉,并进行了大量交叉验证,保证表述相对准确。

第二,我们通过各种手段获取了很多相对专业、但在网页上找不到的数据,也做了大量整理。

第三,各个学校历年的录取情况,其实在市场上非常分散。有些是教育部、省教育厅公布的,有些是学校公布的,有些甚至数据不全,或者存在各种各样的问题。

我们做了大量的整理和收录,这是数据方面的工作。

模型这一侧,因为通用模型本身存在比较多的幻觉,我们会加强高考相关专业知识,让模型本身内化的高考知识变得更强。

另外,我们会跟专家一起迭代。最开始由模型先生成一些结果,然后让志愿填报专家去看:这样的结果行不行?有什么不足?

专家会给我们很多建议,我们再迭代数据。这样反复跟专家迭代,最终让模型的输出能够比较接近专家的经验水平。

卫诗婕

我知道你们是先用了通义千问的基础模型,然后拿这个基础模型去做继续预训练。

刚才你讲到的、让专家帮忙校准的部分,我们是否可以理解为优化推理的一个过程?

蒋冠军

其实它分成几个过程,但总结起来都可以叫作推理。

第一个是规划。根据用户的需求,我要去做一些规划:应该怎么帮这个考生填报。

第二,我调用夸克搜索,得到一些专业信息,然后对答案做反思:这个答案到底对不对?这样写行不行?

模型如何进行反思,这也需要跟专家一起反复迭代,最终生成一个答案。

卫诗婕

筹备今年这个大型高考项目,全程耗时多久?

蒋冠军

3个多月。

卫诗婕

大概投入了多少人力?

蒋冠军

这个比较难统计,因为还有很多外部力量。

比如专家,我们就有好几百位。还有很多外包的同学配合我们做数据清理,以及前面讲到的大量专业资料和数据的整理,这又是其他同学和部门去做的。

拿到数据以后,我们还有内部的算法和工程同学,最终把这些能力变成模型内化的能力。

所以我无法给出一个准确数字,但我们在这上面的投入还是比较大的。

卫诗婕

我听说这次应该是把夸克自己的算力都用上了,还向阿里集团借了算力。因为高考填报的流量高峰差不多是在24号、25号,25号是最高峰的那天。

6. GPU扛起高考峰值

蒋冠军

志愿报告本身非常消耗GPU资源。因为它有很长的输入,最后输出一个差不多1万字的报告,中间又有很多反思、决策和执行的过程,所以非常耗卡。

我们基本上把夸克内部能够使用的GPU全部放在高考项目上,但还是不够,于是又向集团借了很多卡。差不多有几万张GPU服务于高考。

卫诗婕

这个项目的资源投入程度,是不是在一年当中也很罕见,在这几年当中也很罕见?

蒋冠军

对。我们每年在高考这个时间段消耗的资源都是最大的,相当于是夸克的“双11”。

主要还是因为这个时间段内需求集中爆发,是对峰值的考验。

卫诗婕

大模型浪潮来了之后,夸克的反应是什么样的?

蒋冠军

夸克的反应分成几个阶段。

7. 夸克进入超级助手时代

第一个阶段,肯定是2023年底。那个时候我感觉整个中国互联网,不光是夸克,其实都很焦虑。

但是基本上到2024年中旬,因为那时我们自己从零开始做预训练,差不多花了半年时间,基本上心里就有底了。我们知道这个事情应该怎么做。

卫诗婕

你刚才提到了一个词,就是你们现在其实拥有大模型的全栈能力,是在这个过程中探索出来的。

蒋冠军

对。基本上半年时间,虽然那时模型效果还比较一般,但是我们已经知道方法论是什么。只要持续迭代,就能拿到一个比较好的结果。

差不多2024年底到2025年初这段时间,我们主要的精力还是在迭代模型的基础效果。

这时候,因为大模型在夸克端已经开始逐步上线,我们还是比较紧张的。因为要做的事情很多。

我们希望把夸克做成一个个人助手,所以要围绕大模型,对夸克原有的产品功能和业务做很多改造。

有些是直接以大模型为中心,有些是原有业务加大模型。

卫诗婕

能举个例子吗?哪些业务是加大模型,哪些是直接用大模型做?

蒋冠军

比如通用搜索的结果,怎么样让整个搜索排序更好?

这个时候用的技术体系还是原来的体系,但是大模型能够帮我们生成很多样本,做很多语义判别等等。这就是加大模型:在原有业务系统里面,用大模型的能力去优化每个环节。

但是有些场景,直接就是大模型的输出。

依旧是在搜索框里面,比如深度搜索这样的场景,我直接给用户输出一个答案。这个时候其实是以大模型为核心的,我们的整个搜索系统都要围绕大模型做改造。

用户提出一个请求,我们要围绕大模型,让检索结果更符合这个需求,更专业、更准确。检索链路,以及Query CoT的过程,其实都是以大模型为核心。

卫诗婕

您所谓的“超级框”,就是你们的搜索框里面包罗万象。现在里面的功能特别多了。

蒋冠军

对。

卫诗婕

为什么要用这样一种方式?

蒋冠军

我觉得这还是有一个整体的发展过程,也有一定的历史原因。

最开始做夸克的时候,我们希望它成为个人助手。那时市面上的AI技术都是专项AI技术:我要做一个工具,就有一个模型;我要做一个搜索,也有一个模型。

但是我们又希望把夸克做成一个覆盖工作、学习和生活的通用个人助手。所以从那时开始,我们就用这样的AI技术,在工作、学习等场景里,把每个场景中的核心需求用一个模型去完成。

卫诗婕

所以夸克上堆了很多模型,有很多垂类模型。

蒋冠军

对,有很多垂类模型。

卫诗婕

今天群访也聊到了这个问题。未来你们会考虑把各个垂类模型打通吗?也就是说,会保留各个垂类模型,但是试图把它们整合到一个基础模型里,是这个意思吗?

蒋冠军

对,会有很多垂类模型。

到了今天这个时间点,因为有了大模型的基础能力,用户整个输入和输出的方式都会发生变化。

原来用户习惯输入文本,现在比较理想的状态是,他可以输入任何东西,问任何问题。不管是语音、文本、图片,甚至视频和文档,都可以。

卫诗婕

多模态输入,多模态输出。

蒋冠军

对,多模态输入、多模态输出,这是核心趋势。

在需求变化和产品形式演变的过程中,夸克原来做了大量能力和工具的积累。以大模型为核心,把这些工具和能力串联起来,就会成为一个超级框。

这个超级框里面有很多按钮,点进去以后能够解决不同的问题。这是一个逐步发展的过程。

卫诗婕

作为一名技术人士,您觉得到了今年,比如今年跟去年相比,在大模型的技术应用层面,发生了什么本质变化吗?

蒋冠军

我觉得应用上的本质变化,还是深度思考能力的出现带来的模型能力提升。

进一步到用户产品这一侧,产品需求可能还是原来的那些需求。比如我要获取知识,我要搜索一个问题。但是产品的构造方式和最终的用户产品效果,其实已经完全不一样了。

今年第一个变化,是深度思考能力会在所有场景里得到广泛应用,模型能力和产品效果都会显著变化。

第二,因为有了这样的能力,模型的规划能力会变得特别强,而且模型能够对自己过去的一些行为进行思考和判断。

所以逐步地,市面上出现的Deep Research、Agent等方向,都是基于这样的能力持续发展起来的。今年大家非常看好Agent这样的方向,这是必然的。

卫诗婕

所以三个要素就是深度思考、规划和反思。

蒋冠军

对,这些其实在你们的高考大模型里都有体现。

卫诗婕

能不能给听友举个例子?规划体现在高考大模型的哪些动作上?

蒋冠军

比如用户填了一个分数,他来自哪个省,选了哪些学科,希望将来更好就业,并且有一些地域需求,比如想去沿海地区,或者有考研需求。

在这样的需求下,我们首先会根据用户的指令生成一个规划。比如用户希望去沿海地区,那沿海大概有哪些城市,是相对符合这个用户需求的,我们会先生成一个初步计划。

根据这个初步计划,模型就可以访问我们的搜索工具,或者搜索引擎,获得对应的信息。比如学校、专业,以及跟用户指令相关的基础信息。

拿到这些信息以后,模型最后还要做反思:在这个过程中有没有遗漏的信息?再检查、确认一遍。确认没有问题以后,模型把前面的内容作为输入,最终生成一份报告。

卫诗婕

它把所有确认好的信息消化、总结、提纲挈领地呈现在你面前,其实就是Deep Research。

蒋冠军

对。

卫诗婕

刚才我们已经大概把这次夸克做高考大模型到底做了些什么介绍了一下。

接下来可以聊一聊,虽然你们做了7年,但今年应该是投入资源最大的一年。过往可能也很重视,但今年又跨了一个台阶。

如果今年要重推高考这个项目,背后应该也有很多考量。高考对于中国人来说太重要了。对于信息输出的质量和精确程度,要求其实非常高。一旦输出了不准确或不好的信息,可能会引发很大的负面舆论。

大家决定要做这么一个高难度项目的过程中,内部是怎么讨论的?

8. 高风险项目值得投入

蒋冠军

内部其实也没怎么讨论。对我们来讲非常简单:我们看到现在的数据和技术能力,认为可以把高考产品的体验做得更好,能够给用户带来更大的帮助,所以就会在高考这个方向上投入更多资源。

我觉得这是站在用户层面考虑的问题。

另外,实话实说,也会有竞争的视角。我们觉得在高考这个方向上,对于用户需求的把握、对于这件事情的理解,以及对于产品的认知,我们其实可以做得更深入,可能会比其他友商有更多自己的想法。

卫诗婕

这里有两个层面。您刚刚提到,一个是你们觉得自己的洞察更深入,第二个是你们觉得能提供更多新的想法。

所谓“更深入”,是不是因为只有你们做了7年?是这7年的积累吗?还是说这个“深入”应该怎么理解?

蒋冠军

很大一部分还是过去产品经验的积累。

我们跟用户沟通得比较多,也会跟市场上高考志愿填报行业相关的专业人士沟通得比较多。我们大概了解用户在关注什么,希望得到什么样的结果,以及在使用产品过程中遇到什么问题。

卫诗婕

你说你们可以提供更多产品上的想象和新的能力,这也是基于刚才讲的产品经验吗?

蒋冠军

对,我觉得也是基于产品经验。然后我们再对齐大模型的能力:这样的产品形式,或者说我们想给用户提供的东西,是不是当前模型能力足以支撑的?

我们一看,觉得今年其实是可以做好的。

卫诗婕

问一个您的专业问题。您是夸克的算法负责人,从最早的PC时代,到移动互联网时代,再到现在,对于算法这件事情,包括对于算法技术人员来说,大家在技术和产品匹配上的切入点,以及工作方式,会有什么大的变化吗?

蒋冠军

我觉得工作方式其实没有太大变化。

我们今天要聊的是技术和产品之间的配合。对于技术同学来说,最重要的是完成从产品设计语言到技术的翻译过程。

有没有大模型,或者AI处于什么样的能力水平,其实关联性不大。

最早做通用搜索的时候,我们用一些很简单的机器学习模型。但是产品提出需求以后,你要把它转换成模型能力能够覆盖的范围,准确告诉产品哪些需求能做,哪些需求以当前的能力水平还做不到。

到了BERT时代,其实也一样。大模型时代还是一样。只不过越到大模型时代,产品同学能够发挥的想象空间越大,需求或者产品功能会更强。

但其中有些事情还是做不到。你要把产品的想法和思路翻译成技术能够实现的东西,再反过来跟产品同学沟通:什么事情当前能力能做到,什么事情做不到。

归纳起来,其实就是产品能力和技术能力取一个最大公约数。我们的产品既要满足用户需求,又要规避技术能力的短板。

卫诗婕

我比较好奇,大模型来了之后,算法到底是更好做了还是更难做了?它是更复杂了还是更简单了?

蒋冠军

从应用角度来讲,我觉得它其实会变简单。

现在的基础设施很强,训练框架、基础模型,以及很多实现方式都已经开源。所以现在经常可以看到,一个小团队很快就搭建、完成一个很有创意的产品。

从应用角度来讲,应用门槛会降低。

但是对于算法个人能力的要求,我觉得变高了。因为事情的门槛越低,对个人能力的要求其实越高。不然就做不出差异性,也做不出好的体验优势和差异。

还是以刚才技术和产品合作为例。今天我们做一个大模型产品,比如搜索问答或对话产品,如果你能很好地理解模型的能力水平在哪里,能清晰告诉产品同学哪些能做、哪些不能做,并且知道根据产品需求增加数据、调整训练方法,能够让模型持续加强哪些能力,就非常重要。

从这个角度来讲,我觉得其实是变难做了。

卫诗婕

我最近刚好跟一家中型互联网公司的创始人聊到招聘算法人才的问题。他讲,大模型浪潮刚来的时候,要搭建高级算法工程师团队,对他们来说非常难,因为市场上懂大模型的人很少。

你们在这方面是完全不缺人,还是也有一些痛点?

蒋冠军

市场上的优秀人才永远是稀缺的,我们非常欢迎他们加入夸克。

但是夸克跟一个初创团队不太一样。我们原来做的是通用搜索,通用搜索的核心就是NLP能力。大模型的能力,其实就是从NLP能力变成多模态能力。

所以我们原来在这些方向上的基础人才积累,还是比较不错的。

卫诗婕

我们现在录制的地方,包括刚才群访的现场,都是你们这次高考项目的作战室。

这里确实非常有“夸克双11”的氛围,到处都挂着横幅。刚才我们走进采访间的时候,桌子上还很乱,零星留下着你同事们在这里奋斗的印记。

整个项目对您来说,印象最深的有哪些画面和节点可以分享?

蒋冠军

还是比较多的。

第一个是今年的新产品——志愿报告。因为我们其实不太知道,志愿报告怎么填才是一个比较好的报告。这个时候就要跟专家反复迭代。

这里会出现一个问题:专家其实也很烦你。虽然你愿意给他付一定报酬,但有些时候他会觉得,为什么要求这么苛刻?

卫诗婕

而且你们各自擅长的语言,完全是不同的体系。

蒋冠军

是的,所以要进行大量沟通。

第二个是从今年的志愿工具到最终志愿报告的过程,这件事我印象也很深刻。

志愿工具只按照概率呈现,用户自己去翻、去筛选就可以了。到了志愿报告,它可能要给出80到100个志愿,选择方法其实很多。

有些同学觉得这样选更好,有些同学觉得那样选更好。但是站在用户角度,我们就会很纠结,因为其实不知道该怎么替他选。特别是一些边界条件比较临近的时候,内部会有很多争论,作战室里面有些同学加班也非常多。

第三个就是今年GPU资源消耗很大,我们要保障线上的服务。

整个工程团队针对高考的每一个环节,都做了大量压力测试。

卫诗婕

因为流量比较大,怕系统崩溃,是吧?

蒋冠军

对。我们做了非常多的压力测试,也做了很多工程和系统优化,至少保证在高考填报的这几天,线上服务还算比较平稳。

卫诗婕

25号当天生成了200多万份报告。我还挺好奇的,夸克平时每天也在被大家使用,这个峰值对于历史上的夸克来说,大概处在什么位置?

蒋冠军

这是夸克有史以来的最高值。

卫诗婕

每年高考都是这一年的峰值最高值,但是今年的峰值又是历史以来的峰值。

蒋冠军

对。

卫诗婕

祝贺你们到达一个新高峰。

你们之前有一项数据,每年高考用户在高考结束之后,好像还有一部分会持续使用夸克,对吧?

蒋冠军

对。高考用户的留存还是比较不错的。

卫诗婕

您刚才讲到作战室里大家产生过很多争论。有没有哪些决策比较难的具体问题可以分享?

9. 个性化比准确更难

蒋冠军

最难的其实还是用户产品这一侧:到底应该给用户呈现什么样的志愿表,才是最适合用户的?

可选空间其实很多。比如填不满的时候要给他补充,但补充的志愿一定不是百分之百符合他的需求,因为完全符合他需求的学校和专业可能填不满。

所以我们就要讨论:地域优先、专业优先、就业优先、考研优先,到底怎么替这个用户选?

卫诗婕

这个听起来好难选,那怎么选?

蒋冠军

对,非常难选。

最后我们还是会看每个用户的特点。比如他偏理工科,我们可能就给他推荐理工科更强的学校和专业,做综合考虑和平衡。

我们会从很多维度给志愿报告打分,最终迭代出一个分数最高的版本。

卫诗婕

我理解你们今年这个项目最大的难点,可以大体分为两类:一类是准确度,一类是个性化。您觉得哪个更难?

蒋冠军

我觉得还是个性化更难一些。

刚才我们讲过,好像A、B、C、D四条路都可以,也说不上来哪条路绝对正确。

准确性方面,我们通过数据和原有资源工具的积累去做优化,相对还好一些。

但个性化确实更难。很多考生可能会拿着这份报告做参考,所以压力挺大的,责任也很大。

卫诗婕

您怕不怕报告出来之后,有学生骂你们?

蒋冠军

有学生骂,其实还是会有的。

比如去年就有一个投诉案例。但其实我们给他生成的报告没有问题,是他自己滑档了。他填的志愿相对比较少,所以自己滑档了。

我们还是比较严格地遵循一个相对平衡的志愿报告:不会很激进,也不会很保守。

还是那句话,我们不是帮用户做决策,而是辅助他做决策。我们要给他一个好的、更加专业、更加准确的参考,他可以根据这个参考自己做最终判断。

卫诗婕

比如一些低线城市或者小县城,虽然现在有一个职业叫高考咨询师,但收费其实也比较贵,很多人甚至不知道有这个职业。

所以我们能够生成一些相对专业、准确的报告,帮助这些学生获得更多信息来源,我觉得其实也挺好。

刚才在访谈开始之前,您提到一个数据:你们最终测试出来的高考志愿填报模型的准确度达到了“四个9”,也就是99.99%,是吗?

蒋冠军

不是模型的准确度,而是我们对于全国所有高校专业数据和分数的覆盖比例,这个比例非常高。

数据层面的覆盖比例非常高。我们的志愿表其实是根据志愿工具来的,志愿工具里的数据都是准确的,只有概率是预测的。

它里面的专业、学校,以及历年的招生分数,都是准确的。

卫诗婕

明白。那99.99%是怎么做到的?我听你们刚才介绍,是有人去人工核对吗?

蒋冠军

对,我们会人工核对。

卫诗婕

这个投入对于夸克来说也蛮大的。因为这不是今年统计完以后就能永久留存的信息,明年分数线又变了,可能要重新做一遍,是这样吗?

蒋冠军

每年只需要做增量,数据是可以留档复用的。

比如去年的学校录取分数、录取人数,包括分数线区间的探测,都可以留档。

到了今年高考,因为去年的数据已经整理完了,我们只需要把每个学校今年的招生计划再整理一遍,包括其中的新专业、新学院,然后再做对齐。

卫诗婕

这个每年持续迭代的项目,会给你们带来很多有厚度的能力积累,我是否可以这么认为?

蒋冠军

是的,包括数据,也包括用户需求。

卫诗婕

我问一个数据方面的问题。刚才我们聊到了年轻人对于这款产品的黏性和复用。

但是高考填志愿这件事情,很多中年家长也会参与。这部分人群的复用情况,你们在后台有观测到一些数据吗?

蒋冠军

也会比较好。当然相对来说,年轻人的留存还是更好一些。

这些年轻人,第一,在填报之前可能就是夸克用户,因为我们有很多学习相关的产品。

第二,报完以后他去了大学。我们围绕大学生,其实还有很多学习资料相关的产品。

卫诗婕

很有意思。围绕黏性用户和核心用户,随着他们人生经历不同的生命周期,围绕全生命周期有很多场景可以做。

蒋冠军

对。

卫诗婕

这次你们用的是通义千问的技术。夸克和千问两个团队在这个项目里紧密合作,毕竟是同一个集团的两个兄弟团队。合作的感受,以及双方能够带给对方的价值,是什么样的?

蒋冠军

千问对我们来说,需要它提供一个比较好的基座。

卫诗婕

你们自己也做基座模型,为什么还要用千问的呢?

蒋冠军

这样可以帮我们节省很多算力。

对于基座模型的训练,我们会放在持续预训练阶段。围绕产品和业务场景,我们可能对基座模型有更高的能力要求,比如问答能力、RAG能力等。

我们会围绕这些能力去优化。通义千问会给我们提供一个通用能力比较不错的基座。两者结合以后,就可以得到一个更好地为夸克用户服务的模型,资源效率也能最大化。

这是通义千问对我们的帮助。

我们也会把应用场景里遇到的问题、可能的需求,甚至基础数据,以及解决具体业务问题时采用的模型优化和技术方案,跟千问团队沟通。

相当于我们是一个比较大的应用场景,千问则可以根据这些应用场景,进一步抽象出基座模型需要做哪些工作。这样对通用基座也可能会有帮助。

卫诗婕

我个人做一个不负责任的总结。在我看来,这是一个蛮久违、也蛮振奋人心的“阿里兄弟打群架”案例。

蒋冠军

可以这么算。

通义千问在国内肯定做得比较好。我们借助兄弟团队的能力,让用户产品做得更好,我觉得这样就比较好。

卫诗婕

而且离得也近,可以经常开会。

蒋冠军

对。

卫诗婕

我刚好两周前采访了智源研究院院长王仲远,他也是国内大模型领域非常积极的人物。他早年经历过微软、Facebook、美团和快手,所以产学研都经历过。

他提到,今天模型大家都能训练,但是决定大家做得好坏的一个关键点,就在于对细节的追求。

不知道您有没有同感?在夸克内部,是否也会在细节方面有这样的追求?您觉得这最终决定了给用户提供的服务和价值吗?

蒋冠军

我比较认同这个观点。

10. 细节决定模型体验

这跟您刚才问我的产品和算法如何协同工作,其实是类似的问题。

今天上手用模型搭建一个应用,或者其他服务,其实很简单。但是要把服务搭好,要满足用户需求,充分发挥模型能力,难度就比较大。

因为模型非常发散,要解决很多细节问题。这些细节包括数据、RLVR、RLHF里的样本建设、训练方法、策略,以及具体做的事情和用户需求是否匹配。

如果在这些细节上把事情做得非常极致、非常精细,站在应用角度来看,体验就会比较好。

但是站在基础模型能力的发展角度,我觉得还需要做一些能力创新。比如通过什么新的方法、新的结构、新的技术,让模型本身的能力实现比较大的突破。

这项工作不只是细致的问题,还需要很多创新意识和创新实验。要靠大量实验和经验积累,才能让模型能力显著提升。

卫诗婕

夸克业务里面有哪些具有创造力和创新性的部分?可以举几个例子吗?

蒋冠军

我们对于基础模型能力的迭代工作其实做得比较多。

比如AI写作、文本创作,这是用户规模相对比较大的一个产品。在这个产品里,我们会研究RLVR、RLHF的方法。

原来只能对有标准答案的题目做RLVR,但写作场景其实没有标准答案。在这样的场景里,我们要通过模型自己的学习和训练,通过一些结构调整,让没有标准答案的结果也能够进行大规模的RLVR训练。

卫诗婕

您刚刚提到,RLVR和RLHF这两种方式在训练模型的过程中都要用到。能不能帮听友解释一下,这两种方式的本质区别,以及分别会应用在什么场景?

蒋冠军

RLVR是通过模型自我进化的能力,去学习市面上有标准答案的问题。

很典型的就是题目。题目一定有标准答案。模型可以针对一个题目生成很多答案,再跟正确答案进行比对。

这样它就知道,回答问题、做强化学习的时候,什么样的问题、什么样的路径能够把问题答对。通过这种自动化方法,模型就在自我提升,最终具备思考和推理能力。

RLHF则是有一个问题和几个答案,这些答案可能表述都对,但是其中一个答案更符合人的阅读习惯。比如文章采用“总—分—总”的结构。

这时我们可以让专家,或者行业资深人士,标注一些样本,区分哪些答案更符合人类习惯。这实际上就是让模型完成人类偏好的对齐。

卫诗婕

一个是AI自主迭代和写作,另一个是AI需要跟人一起协作。

蒋冠军

对。

卫诗婕

所以您刚才讲到,AI写作这一块,RLVR不能完全适用,也需要RLHF。

但这对于夸克来说,是夸克创新的部分吗?这个行业里应该也有其他公司在做吧?

蒋冠军

大家肯定都会做。

但是至少在学习场景里面,我们通过没有标准答案的RLVR,对最终效果还是取得了非常显著的提升。

卫诗婕

所以你们很擅长在具体场景里做这种创新体验。

蒋冠军

这还是属于模型的基础能力。

我的意思是,在一些具体场景里,我们还是有很多方法,可以在基础模型的结构或训练方法上做创新,提升模型的通用能力。回到具体场景,效果可能就会更好。

卫诗婕

您刚才提到,RLHF需要和物理世界里的专家协作。这让我想到,虽然大家都是互联网公司,但是在上一个时代,互联网公司和互联网公司也不太一样。

有些公司特别擅长做运营、用户分析,以及跟线下世界对话;有些公司可能更擅长做线上的产品。

前者需要很多耐心和精耕细作。比如在高考模型里,找那么多专家来跟技术语言对齐,可能您跟一个志愿填报专家一访谈就是两三个小时。

这其实很考验大家的耐心、细心,以及我们刚才讲到的对细节的追求程度。我不知道我的理解对不对?

蒋冠军

对。跟专家沟通的时候,确实会出现相互听不懂的情况。

卫诗婕

这个时候怎么办?

蒋冠军

耐心沟通。

卫诗婕

所以这就回到了我们刚才讲的:好像大家都能做模型,但最终做出来,还是会有应用效果上的优劣差别。

您带的算法工程师团队年轻吗?

蒋冠军

还是比较年轻。

卫诗婕

现在大模型来了,就像您刚才讲的,对算法工作人员的要求都变高了。

在带领大家成长和学习,包括团队管理方面,您有什么痛点、问题或者心得体验可以分享吗?

蒋冠军

我觉得第一点是,大家的目标要聚焦和统一。

大模型出来以后,技术在市场上日新月异,每天都会发现很多新东西。但这个时候要有定力,要分清哪些是模型的基础能力,哪些只是宣传。

在分清的基础上,整个团队要形成比较好的共识。这个阶段,我应该聚焦预训练,还是聚焦PPO训练,或者应该聚焦模型应用和业务适配?先形成这样一个大的共识,非常重要。

不然每个人都会对新出现的事情、新的新闻有自己的想法和判断,注意力就会被稀释,不利于整个团队的工作状态。

第二,大模型出现以后,很多技术都是新的。对于这些新技术的学习和应用,应该有统一的规划和路径。

卫诗婕

什么叫统一的规划和路径?

蒋冠军

围绕前面讲到的大目标,具体实现方式可以有很多。

虽然有些是探索性、尝试性的工作,但要有非常明确的实验路径。比如今天要验证一种强化学习方法,大家都应该知道我们按照什么路径去探索,以及怎么样算成功、怎么样算不成功。

因为在任何单点技术能力上,投入都可以是无限的。这样做,可以比较快速地归约到一些有效的方法上。

卫诗婕

现在大模型来了,算法团队的伙伴们是不是都加班加得很厉害?

蒋冠军

加班肯定是必须的。

卫诗婕

那怎么管理好大家的情绪呢?

蒋冠军

我觉得夸克这个团队好像不太需要专门管理情绪,因为我们团队还是有一些比较好的优点。

大家在一起的时间比较长,团队也比较稳定。我从2011年开始,虽然公司名字换了几家,但其实一直都在这个团队里。

内部的信任比较好,产运和技术之间相互信任,这是第一点。

第二是目标感。我们一起做夸克,我也说过,2018年的时候,虽然AI技术还没有到位,但我们仍然有一个目标,就是想做一个个人助手。

这种大的目标感比较统一。所以大家确实可能会比较辛苦,但要专门花时间去安慰大家情绪,这种事情在夸克好像比较少。

卫诗婕

您刚刚提到,2018年其实就想做智能超级助手了。现在大家都在提Agent,这半年特别火。你们怎么看现在Agent这么火的现象?

大家人人都想做超级助手,怎么办?

11. 超级助手各有路径

蒋冠军

人人都想成为超级助手,那到罗马的路有很多。

每个人其实都有自己的理解。对于我们来说,还是要想清楚:围绕工作、学习和生活这3个场景,到底想给用户提供什么样的助手,或者什么样的超级框。

对我们来说,第一,我们原有的工具和产品厚度相对比较厚,因为上面已经做了很多事情。

所以我们会围绕原有体系,先去升级用户需求。原来用户可能是人工、手动串联这些功能,去解决一个具体任务。

今天我们能不能把它变成以大模型为中心?用户直接发一条指令,由大模型帮他完成中间链路的过程。

卫诗婕

你们生成报告就是一种需求升级。他本来可能只是问一个高考相关的问题。

蒋冠军

对。所以超级助理这个概念其实很泛,因为什么都可以处理,可以说有一百个哈姆雷特。

我觉得夸克还是有自己的路,有自己的思考和路径。我们认为,覆盖工作、学习和生活的助手应该是什么样,短期应该是什么样。

聊长期其实没什么意义,因为最终长期目标可能像人一样,但现在显然还做不到。

所以我们会有自己的路径。

卫诗婕

我留意到,你们这个高考项目未来几年也不打算商业化,为什么?

蒋冠军

怎么说呢?商业的逻辑,特别是大模型出现以后,应该发生变化,而不是现在大家提到的商业化——简单来说,就是做广告和卖货。

但是在高考这样的场景下,做广告和卖货都不是特别合适。所以我们还没有想清楚要怎么商业化。

我觉得可能比较适合打赏的模式。就像我们写公众号文章一样,如果你看了这篇文章,觉得它给你带来了特别大的帮助,想感谢作者,就可以打赏一下。

卫诗婕

打赏,夸克可以内部讨论一下。

要不最后试图用一个场景收尾吧,因为其实刚才聊到了很多在这个作战室里面的回忆吧。我觉得还是那个,就是我刚才说的,就是围绕着具体应该怎么样子。给用户去推荐那些资源是一个比较好的一个资源排序结果,就这个争论就非常多啊,其实基本上每一天都在争论。今天我有这样的想法,就是大家觉得这样子,哎呦,就是跟专家沟通了以后觉得这样吧,因为专家也是不同意的,嗯,对对不对?我可以想象专家也是不同意的,嗯,对吧?今天觉得哎呀这样子比较好,然后回来我们就实现了一版,我们实现一版一看,我靠,这个不太行,就是回去就不同的人可能又跟不同的专家沟通,沟通回来以后又这样,这里面其实有些时候大家争吵的还是会比较激烈,嗯,就是没有一个具体的场景说特别。特别印象深刻。

明年如果再做这个项目,有什么期许吗?

蒋冠军

明年的话,我觉得高考产品还有非常多可以改进的地方。

最初它只是一个非常基础的信息服务,后来提供了概率预测和志愿推荐工具,可以做一定筛选。今年围绕大模型,我们又对更复杂的一些决策进行了初步实践和完成。

但是,距离真正全面帮助用户解决高考志愿填报需求,我觉得差距还是很大。

所以明年我希望大模型在高考志愿填报这个应用上能够更进一步,更好地引导用户表达真正的需求。

因为很多用户、很多考生其实不知道怎么提问,对于相关知识和信息是一片空白。我们要帮他做更好的引导,实现更好的模型交互,提供更专业的经验,生成一份真正更个性化的报告。

这样在给用户选择专业的时候,我们就不需要那么纠结,内部也不需要反复争论了。

卫诗婕

一年一年迭代。

蒋冠军

对。