[BidClub_]
十字路口Crossing · · 45 min

开源怎么赚钱?向量数据库有未来吗?搞 AI 需要技术理想主义吗?|对谈 Zilliz 创始人/CEO星爵

星爵KojiRonghui

Podcast
TL;DR
  • Zilliz 的增长显示,向量数据库正在走出“荒漠”,但这不是一夜风口。 公司创业 8 年、全球约 130 人,过去 12 个月营收增长 3.3 倍,具体收入和利润未披露;星爵把 2023 年 GTC 点名视为品类高光而非命运转折,因为 infra 靠的是“每一天、每一年复利去叠加”。

  • 需求端真正的跃迁,是非结构化数据从千万、上亿条扩大到百亿乃至千亿,并同时进入模型推理、训练数据清洗与行业场景。 向量数据库不只服务 RAG,还被用于自动驾驶多模态数据、电商推荐和反欺诈、AI 制药及基因筛选;规模上升后,降低向量数据库成本已成为迫切需求。

  • Zilliz 下一阶段要从单一在线向量数据库扩展为数据库加 Vector Lake 的数据平台。 在线系统继续承担高准确度、低延时查询,离线系统则按天、周或月扫描百亿至千亿全量数据;一个全球最大 IT 公司之一的客户希望把互联网每个网页都转成向量,为大模型提供“互联网规模的语义查询”。

  • “我们没有对手”说的是 2018 年曾经无人同行,而非今天不存在竞争。 Pinecone 估值 7.5 亿美元、Zilliz 估值 6 亿美元,星爵称自家性能领先 3—5 倍,却强调“技术都会平权”;真正可持续的差异是开源带来的开发者反馈、road map 清晰度与迭代速度。

  • 开源不是低成本捷径,而是一座必须与商业化连续跨越的双重大山。 Zilliz 从 2018—2019 年就选择 dual core:开源与闭源内核在体验、接口和产品形态上兼容,商业内核重写并动态领先 12—18 个月,以无缝迁移和更好性能回答“为什么付钱”;代价是两套团队、两套产品和持续移动的领先窗口。

  • 一项直接的经营压力,是 AI 客户自身能否活到下一轮。 2024 年 10—11 月,首批 AI 创业公司因没有 PMF、产品同质化且融不到第二笔钱而集中倒闭;Zilliz 过去 18 个月也经历了前十大客户流失,其中包括一家美国头部 AI 公司,只能填补客户流失留下的缺口,再争取更多客户维持增长,像“一边开飞机,一边还要换引擎”。

  • 星爵的世界观已从纯技术理想主义转向“领先一点、足够好”,但仍把理想主义视为产品优势的源头。 他的 AI 投资判断集中在拥有能源与基础设施资源的公有云、头部大模型和较好的 AI 应用;个人用得较多的 AI 工具包括 ChatGPT、DeepSeek 与 Cursor,甚至以 Cursor 取代 Word 写作和管理知识库。

Digest · the substance, structured for research

1. 向量数据库的高光不是转折,八年复利才是

  • 星爵给出的经营快照是:Zilliz 已创业 8 年,全球约 130 人,过去 12 个月营收增长 3.3 倍;收入与利润的具体数字则选择不披露。

  • 对 2023 年黄仁勋在 GTC 点名 Zilliz,他首先想到的不是公司命运改变,而是“更多的是向量数据库这个品类的一个高光时刻”。2018 年入场时,市场、用户与场景都不确定,甚至无法判断它能否成为大市场。

  • Infra 没有一次算法灵光闪现就反超对手的捷径。星爵的描述是耐心打磨产品,让“每一天、每一年复利去叠加”;Gen AI 创新持续加速,但 2024 年 10—11 月,不少首批创业公司因没有真正 PMF、产品同质化且无法再融资而集中倒闭。

2. 向量是神经网络的数据单位,不是 Gen AI 的附属品

  • 星爵用图书馆解释数据库:文字时代靠图书馆管理信息,IT 时代由关系型数据库保存金融、ERP、电商中的数字和字符;AI 时代要理解语言、图片和视频,深度学习便把它们转换成 embedding,也就是特征向量。

  • 向量数据库的作用,是大规模存储这些向量,并让开发者以自然语言和语义方式检索非结构化数据。它早于生成式 AI,因为 embedding 是神经网络内部及其与外部数据交换的基本格式,“并不是大语言模型所独有的”。

  • Zilliz 在 2018 年已服务上一代 AI 公司,当时主流可能是卷积神经网络和 RNN。Gen AI 把向量数据库推上风口,却没有创造其底层需求,只是扩大了向量数量和应用范围。

3. 百亿到千亿数据把数据库推向 Vector Lake

  • 五六年前,几千万乃至上亿条向量已算大规模;现在客户谈的是百亿甚至千亿。用途也从知识库、RAG 扩展至训练数据清洗、自动驾驶多模态数据、电商推荐与欺诈检测,以及蛋白质三维结构和基因序列筛选。

  • Zilliz 的下一步不是只放大在线数据库,而是把向量数据库与 Vector Lake、面向非结构化数据的数据湖结合。前者服务低延时、高准确度查询;后者按天、周或月对百亿、千亿全量数据做离线分析,以应对对每条数据实时查询的挑战。

  • 星爵举出的最大数据规模场景来自一家全球最大的 IT 公司之一:把互联网上每个网页转换成向量,为 AI 搜索提供“互联网规模的语义查询”。大模型查询若要尽可能精确,理想状态是能在线检索互联网全部信息。

  • 企业知识库面对的是另一种规模:每名客户只有 1 万条知识,但服务 1 万家客户就是 1 亿条,10 万家就是 10 亿条。此时难点不只在容量,而在租户隔离、数据独立性和安全性。

4. “没有对手”只属于荒漠期,今天的胜负在迭代速度

  • 星爵为那句强势标题补上限定语:“我们曾经没有对手。”2018 年全球尚无向量数据库概念;而如果长期没人跟进,“大概率的话,你走错一条路了”,所以后来出现友商反而让他感到喜悦。

  • 与 Pinecone 的竞争“咬得很紧”:对方估值 7.5 亿美元,Zilliz 为 6 亿美元,核心路线差异是闭源与开源。星爵称自家当前性能领先 3—5 倍,但不愿把它当永久壁垒,因为“技术都会平权”,领先身位仍源自开放社区形成的反馈循环。

  • 对 Qdrant、Weaviate 等开源项目,星爵把 Milvus 的优势归纳为性能、可扩展性和 TCO。FAISS 则不是同类数据库,而是向量检索算法集;Zilliz 自称是 Facebook 之外最大的参与者和贡献者,Milvus 也大量以其作为算法底座。

  • 传统数据库增加向量插件,在星爵看来像燃油车加电池的“增程式汽车”:数据少、场景单一时可用,关键业务放大后仍会迁移到原生系统。LangChain、LlamaIndex 属于应用层框架,与数据库处于不同层次,双方实际是战略合作伙伴。

5. Milvus 的产品优势最终要落到全生命周期 TCO

  • 硬件成本首先由性能决定:相同任务所需机器越少,前期投入越低。Milvus 过去七八年又持续适配 AI 框架和大语言模型,以现成整合降低开发成本。

  • 产品边界也已超出向量近邻搜索:它能做标量过滤、标量与向量混合查询、聚类、分类和 re-ranking,并支持更多数据类型与查询方式,减少开发者另行拼装组件的工作。

  • 上线后的成本同样进入竞争:Zilliz 提供可视化和运维工具链,并与数据采集、权限管理及企业 access control 系统打通。星爵因此不把注意力押在某个特定对手身上,真正担心的是公司“能不能以更快的速度去创新”。

6. 开源不是捷径,Dual core 要跨两座大山

  • 即使重来一次,星爵仍会选择开源。关于 Reynold Xin 认为应一开始闭源的说法,他回应没有开源就没有 Databricks;早期开源社区的影响力帮助 Databricks 融资并获得首批用户,开发者生态也可能使它拥有比 Snowflake 更大的长期成长空间。

  • 但“这肯定不是个捷径”。开源让产品低成本进入开发者工具栈、允许直接下载和检查实现,却也意味着找到商业 PMF 时像二次创业;星爵反而认为,两座山越难跨,竞争者复制这条路径也越难。

  • 传统 open core 只在开源核心外增加企业服务,研发效率高,却逃不开客户的“灵魂拷问”:商业版与免费版到底有什么区别?Databricks 的 dual core 则维持两个核心,在接口、体验和产品形态上兼容,但商业执行引擎以 C++ 重写,开源执行引擎使用 Java。

  • 商业内核必须在设计、功能和性能上保持领先,而且是“动态的好”:开源版本也持续前进,闭源版本便要维持约 12—18 个月的移动窗口。Zilliz 在 2018—2019 年已决定走这条路,代价是两套人马、两套产品,以及更高的工程、产品和组织执行要求。

7. 开源争夺的是透明度、退出权和开发者时间

  • 星爵认为,今天开源的核心价值不一定是吸引大量外部人员编写核心代码,而是把技术“展开来”、避免黑盒。工程师可以研究架构和实现细节,也能在不再合作时转向社区或自建团队维护升级。

  • 海外企业采用开源项目,往往不是为了不付钱,而是防止技术锁定:即使将来不再与商业公司合作,也能退回社区,或自建团队维护升级。这份可退出性本身就是采购价值。

  • Milvus 社区有 300 多名开发者,其中约 20% 在 Zilliz,却贡献了 80%—90% 的代码;外部开发者更多修复 bug、开发周边工具、增强功能和整合。星爵接受商业公司主导方向的现实,因为数据库核心开发者需要很长的成长周期。

  • DeepSeek 的开源则承担另一种任务:后发者迅速占领用户心智和“最宝贵的开发者时间”。星爵的判断是,一名开发者或一家公司安装 DeepSeek 后,大概率不会再安装其他家的模型,开源因而成为抢占位置的竞争策略。

8. 先驱者要试一千次,创新却“不能靠管理”

  • 星爵对成功的定义要等到退休时回看:Zilliz 不仅是非结构化数据和向量数据库的先驱者,还要成为“集大成者”和最终成功者。他承认最深的恐惧正是做了先驱,却没摘到最后的果实。

  • 创新者可能尝试 1,000 种方法、排除 999 种,追随者却只需照着成功答案再做一次。在 AI 加速迭代的环境里,长期领先只能依赖持续创新和快速迭代产品,而不是早期进入者身份。

  • 星爵的文化判断很直接:“创新是不能靠管理的,一管就死。”公司的办法不是设计流程制造创新,而是招入本身有创新精神、愿意快速迭代的人。

9. 商业化比技术更痛,客户消失会直接打穿增长

  • 如果能对八年前的自己说话,星爵“也许会劝八年前自己就不要创业”。问题永远解决不完;选择这条路,就必须把它当作 lifestyle 和一辈子想做的事,否则“你可能会崩溃”。

  • 最困难的是过去约两年:团队此前专注产品、开源和技术,都在工程师舒适区;第一次做商业化,既缺经验又给自己设定高增长目标,组织、架构和流程只能边做边搭。

  • 2024 年市场调整时,一家美国 AI 领域最头部的客户迅速陷入困境,流失与数据库产品做得好坏无关。过去 18 个月经历回调后,Zilliz 的前十大客户流失,团队既要填掉客户消失留下的坑,还得争取更多客户维持增长,“一边开飞机,一边还要换引擎,还要做组装”。

  • 星爵得到的方法论并不花哨:永远多花时间招合适的人,从错误中快速恢复,靠“打胜仗”修复士气,不重复犯错,更要避免原则性错误。他最后把竞争压缩成耐力题:“你的对手可能比你多犯了两个错误”,前提是先与自己的不完美和解。

10. 理想主义褪成灰色,AI 投资押注云、模型与应用

  • 八年创业让星爵从“彩色的外衣”褪到“灰色的内衣”。他曾相信团队应该完全透明、最好的公司不需要管理,也把管理与官僚画等号;规模扩大后,他承认透明度取决于对象、场景和阶段,“管理真的是一门科学”。

  • 技术审美也从永无止境地追求更好,转为商业世界里的“足够好就可以了”:比对手好一些,但不必好太多。他以英特尔和英伟达“挤牙膏”为例,认为优秀公司恰恰懂得协调创新节奏与商业化节奏。

  • 这种现实主义没有否定起点。纯粹追求技术卓越,正是 Zilliz 今天产品和技术优势的根;即使公司变得更 business savvy,星爵仍认为自己从哪一边出发很重要。

  • 星爵点名认为亚马逊的云平台“肯定会有更好的增长”,并判断 AI 已走到能源与基础设施能力竞争的临界点,大规模数据中心会成为云基础设施,拥有资源的大公司和公有云可能因此受益。其后是头部大模型与较好的 AI 应用公司;他个人用得较多的 AI 工具包括 ChatGPT、DeepSeek 和 Cursor,甚至用 Cursor 管理知识库、写文章并取代 Word。

Ronghui

欢迎收听十字路口,我们关注新一代 AI 技术浪潮带来的行业新变化和创业新机会。十字路口是乔布斯对苹果公司的一个比喻,形容它站在科技与人文的十字路口,伟大的产品往往诞生在这里。AI 正在给各行各业带来改变,我们寻找、访谈和凝聚新一代 AI 创业者和 AI 时代的积极行动者,和他们一起探索和拥抱新变化、新的可能性。我是十字路口的科技联合创办了街旁、新世相和糖岛,发起了 AI Hacker House 这个新一代 AI 创业者的社群空间。我相信科技,尤其是 AI,是我们这一代人最大的价值创造机遇。欢迎大家找我聊天,碰撞想法,链接下一个可能性。

本周《十字路口》的嘉宾星爵,是向量数据库 Zilliz 的创始人和 CEO。我第一次听说 Zilliz,是在 2023 年的英伟达 GTC 大会上。当时黄仁勋点名推荐了这家公司,让我印象深刻,因为这也是一家中国人创办的公司。

真正让我对星爵产生好奇的,是两个月前硅星人的一篇访谈。当时文章有一个很霸气的标题,叫做“我们没有对手”。我看到这个标题时心想:这是谁,如此嚣张?因为在商业世界里,这种断言式的宣言真的很少见。我想,一定是这位创始人有极强的信念感,或者他们的产品有某种独到的优势,才让他做出这样的宣言。

在对 Zilliz 和星爵有了更多了解之后,我发现这确实是一家很有实力、同时也很有故事的公司。所以今天我们邀请到了星爵,也感谢他来到我们在上海发起的 AI Hacker House,和我们一起线下录制这一期播客。这也是《十字路口》第一次尝试录视频播客,我们的视频播客随后会发布在我的小红书、B站、视频号。

按照《十字路口》的惯例,我们先和星爵来一场快问快答。你的毕业院校?

星爵

华中科技大学。

华中科大的人才好多。Zilliz 创业几年了?

星爵

到现在为止,8 年。

那在创业前你做过什么?

星爵

做过一件事情:数据库工程师。

你的 MBTI 和星座?

星爵

ENTP,星座是天蝎。

可以用一句话介绍一下公司和产品吗?

星爵

我们是一家 AI 时代的数据基础设施公司,要打造一个在 AI 时代为非结构化数据构建的数据平台。

你们现在的收入和利润情况怎么样?

星爵

具体数字我就不提了,但是在过去 12 个月里面,我们的营收增长了 3.3 倍。

12 个月增长 3.3 倍。现在团队的规模呢?

星爵

目前全球大概有 130 个人。

刚才一开始提到,英伟达创始人黄仁勋在 2023 年 GTC 大会上直接提到了 Zilliz,有一种点名推荐的意思。当时这个高光时刻发生的时候,你的心情是什么?

星爵

1. 向量数据库走向前台

我第一个感觉是,这其实更多的是向量数据库这个品类的一个高光时刻。你想,我们在 2018 年开始做向量数据库的时候,这个赛道是完全不被大家熟悉的。其实我们自己也会有一点疑问:这个场景到底在哪里,用户到底在哪里?它以后能不能成为一个有广阔市场前景的产品,市场到底有多大?

所以我觉得,2023 年那个 moment,更多是把向量数据库推到了全球科技的前台。大家认识到,做 AI,尤其是做现在的生成式 AI,一定需要一个向量数据库。

所以对你来说,那确实是一个类似命运转折点的时刻吗?

星爵

坦白来讲,不是命运转折点。做基础设施这个赛道,其实是比较苦的。比如 AI 的一些新算法,可能一个灵光一闪,算法的改进和创新就可以让你突破一个性能瓶颈,形成一个转折性的突破。

但是做数据库这样的基础软件,我们觉得不太可能今天突然发生一件特别好的事情,然后我们就可以超越竞争对手、赢得更多客户。这里面更多的是有耐心地打磨产品,然后把每一天、每一年的复利叠加起来。

回到 2023 年 GTC 大会上黄仁勋点名你们的那一刻。从那时到现在,整个生成式 AI 已经发生了翻天覆地的进步和变化。当时有哪些事情到今天仍然没有变?哪些事情又发生了很大的改变?

星爵

我觉得没有改变的是,AI 的创新一直在加速。随着 AI 加速,对于向量数据库、对于数据的需求也一直在增加。

但是在这个过程中,我也看到了一些小的波折。比如 2023 年的时候,大家曾经认为生成式 AI 出来以后,GenAI 会马上迎来爆发性的增长。我们看到,2023 年确实有很多公司拿到了投资,也有很多人离职出来创业。

但是到了 2024 年 10 月、11 月左右,我们看到,第一批获得投资的很多 AI 创业公司,产品其实没有找到真正的 PMF,开始面临同质化,也融不到第二笔投资了。所以很多公司集中倒闭了。

因为《十字路口》的用户里,不是所有人都有技术背景。我们有很多用户是产品经理或者投资人,可不可以先给大家科普一下什么是向量数据库,再介绍一下 Zilliz 和 Milvus 这两个公司和产品?

星爵

2. 向量数据库承载非结构化数据

好。我可以先讲一下什么是数据库。本质上来说,就是你有更多的数据,需要找一个方法、一个系统把它存起来,以后还可以使用。

早在几千年前,人类主要通过文字来记录和交流信息。那个时候,如果你的数据很多,要把数据管理起来,就需要图书馆。到了 IT 时代,所有数据都被数字化了,于是出现了上一代的结构化数据库,其中最具代表性的是关系型数据库,广泛应用于金融、ERP、电商等领域。

到了 AI 时代,我们要用计算机理解一些对人来说很自然的信息,比如语言、图片和视频。传统意义上,这些数据计算机比较难识别。这时候出现了深度学习模型,深度学习模型会把这些数据变成一种 embedding,也就是特征向量。

特征向量是一种数据类型。在过去五六年里,随着 AI 的兴起,它迎来了很大的发展。有了这么多特征向量,广大的 AI 开发者需要一个系统把这些数据存起来,这时候向量数据库就应运而生了。

本质上,数据库系统就是用来存储大规模数据的系统。传统上,我们有图书馆;四五十年前,我们发明了关系型数据库,用来存储数字和字符。而到了 AI 时代,我们用向量数据库保存图片、视频和文本,让我们能够用自然语言、用语义的方式,高效检索这些非结构化数据。

所以向量数据库其实早于生成式 AI,并不是只在生成式 AI 这个场景中发挥作用,对吧?你创业 8 年前,那个时候看到了向量数据库怎样的前景?

星爵

向量这个概念,是在这一波生成式 AI 革命里把我们推到了风口浪尖,因为它变得更加重要了。但其实早在七八年前,向量数据库就已经在很多 AI 领域被使用了。

向量这种基本的数据类型,并不是大语言模型所独有的,本质上是神经网络所独有的。神经网络之间、神经网络内部,以及神经网络和外部数据交互时,使用的基本数据交换格式和单位,就是特征向量,也就是 embedding。

所以早在 2018 年开始,我们就服务了很多上一代 AI 公司。那个时候大家使用的可能是卷积神经网络、RNN 等技术。

从生成式 AI 发展到现在,过去 3 年时间里,向量数据库这个领域发生了哪些很大的变化?

星爵

3. 向量数据库进入规模时代

第一个变化是数据量变得更大了。第二个变化是应用场景越来越多。

数据量方面,五六年前大家谈到几千万、上亿条数据,就觉得规模比较大了。现在已经到了百亿甚至千亿级别。

应用场景方面,除了大语言模型、知识库和 RAG 之外,我们也看到向量数据库不仅在模型推理阶段使用,在模型训练阶段的数据清洗中也会用到。自动驾驶领域要处理各种多模态数据,包括从雷达、摄像头获取的各种数据,也会需要用到向量数据库。

此外,在电商领域可以做推荐、风控和欺诈检测。在 AI 制药领域,我们可能需要分析蛋白质的三维结构、基因序列。现在有越来越多的算法用向量的方式,把这些数据转换成特征向量,再用向量做新药研发和基因筛选。

随着数据量增大、应用场景增多,我们也看到了第三个趋势:降低向量数据库的成本,成为大家迫切的需求。

接下来你们非常重要的 milestone 是什么?是支持更大的规模、把成本降得更低,还是其他事情?

星爵

我们有两个方向。一个方向是帮助更多用户解决更大规模的数据场景。

过去几年,我们看到的更多是数据库在线服务。现在数据量增大,出现了很多离线场景,这也是我们正在做的一件很重要的事情:从单一的向量数据库系统,变成向量数据库和 vector lake,也就是基于非结构化数据的数据湖相结合的产品。

数据库还会继续承载在线服务。这些服务对性能和延迟比较敏感,对准确度要求也很高。但是当数据量非常大的时候,对每一条数据进行实时查询就会很有挑战,收益比也没有那么高。

这时候就会变成针对海量数据做离线分析。它不需要每天,甚至每分钟跑一次任务,可能以天、周,甚至月为单位运行,但是需要跑全量数据。而全量数据可能不再是几亿、几十亿,而是几百亿、几千亿。

刚才你提到,过去 3 年一个很大的变化是大家的数据规模越来越大。现在你见到的最大数据规模的公司或产品是什么?它为什么需要这么大的数据规模?

星爵

我们有一个客户,是全球最大的 IT 公司之一。它要做的一个产品,是用向量数据库检索互联网上的所有信息,也就是做互联网规模的语义查询。它要把互联网上的每一个网页都变成一个向量。

它做这个的原因是什么?它提供什么样的服务?

星爵

最终是提供 AI 搜索。

类似 ChatGPT 的搜索,或者 Perplexity 这样的服务?Perplexity 之前也做过这样的 Search API。

星爵

对。现在基本上每一个大语言模型的查询,都会有在线搜索的过程。如果想达到最好的精确程度,就希望能够检索互联网上所有的信息。

所以这样的客户对数据量的要求几乎是无限的。

星爵

对,而且数据还在持续产生。AI 搜索和 RAG 使用的技术其实差不多。RAG 可能是一个私有的知识库,AI 搜索则更多是把在线的公有信息变成一个公有知识库,也就是把互联网变成一个公有的知识库。两者使用的技术底座其实是类似的。

AI 搜索的数据量特别大,但是对于知识库来说,单个知识库的数据量可能没有那么大。一个企业可能要服务 1 万个、10 万个,甚至 100 万个客户,每个客户都有一个比较小的知识库。

比如每个客户有 1 万条知识,1 万家客户就是 1 亿条;如果有 10 万家客户,就是 10 亿条。这里提出了更多要求:可能不只是数据规模的问题,而是需要在数据管理层面,把 1 万个、10 万个客户的数据隔离开,保证数据的独立性和安全性。

我之前看到一篇硅星人的报道,标题就是“我们没有对手”。当时你提出这句话,是在什么样的场景下?我稍微做了一些研究,发现好像也并不是没有对手,还是有不少竞争的。可不可以讲一下背景?当你说“没有对手”的时候,有没有特定的时间段或限定语?

星爵

4. 没有对手的荒漠时代

第一层含义是,我们曾经没有对手。曾经在这个赛道里,是真的没有一个友商,是一片荒漠。

2018 年我们做向量数据库的时候,全球还没有这个概念。那时候真的挺难,像是走在一个无人区里。如果一直没有竞争对手,大概率说明你走错了一条路,对不对?

是啊。如果一直没有竞争对手,可能这条路肯定就错了。

星爵

所以过去几年里,我们看到越来越多友商进入这个赛道,也看到向量数据库成为大家追逐的热点。其实我们心里是很喜悦的。

我自己的理解是,这个竞争其实还是比较激烈的。我稍微梳理了一下,觉得它来自 4 个方面。

第一个是以 Pinecone 为代表的公司,在商业策略上和你们选择的路线不一样。你们是开源路线,他们是闭源路线,而且他们现在估值 7.5 亿美元。你怎么看?

星爵

我们两家公司的确咬得很紧。刚才你提到他们的估值是 7.5 亿美元,我们是 6 亿美元。

我们最大的区别点是开源和闭源。如果让我重新选择一次,我还是会做一家开源公司。因为我对开源有很好的信念。开源本质上可以促进知识传播和技术交流,也可以反过来促进技术更快地迭代。

所以今天你们和 Pinecone 最大的竞争优势,你认为是来自开源吗?

星爵

我觉得开源肯定是我们最大的、最长期的优势。如果具体比较产品和技术,我们的产品在性能层面领先 Pinecone 3 到 5 倍。

但是我并不想说,我们和它的竞争差异在于 3 到 5 倍的技术领先。因为技术领先最终都会平权。我们现在的技术和产品虽然领先一个身位,但这个身位的来源是开源和开放。

因为开源和开放,我们能够在全球拥有更多开发者使用我们的产品。更多开发者又能够反馈更多需求,让我们去迭代产品。所以在之后的竞争中,我觉得其实不取决于你现在处在什么位置,而取决于通过开源和开放,能不能拥有更多开发者,拿到更多企业需求,更快地迭代产品,形成更清晰的 roadmap,少走弯路、少犯错误。

这可能是我们和其他闭源公司比较时的底气。

待会儿我们可以再多聊一聊开源和闭源路线的选择,包括开源到底意味着什么样的优势,以及它的商业机会要怎么实现。

我们先回到竞争的角度。除了开源和闭源路线的选择,你们和 Pinecone 绞得很紧,我也看到有一些同样在开源赛道上的竞品,比如 Qdrant、FAISS,还有一家叫 Weaviate。你认为他们有没有带来冲击,或者蚕食掉你们的一些市场?

星爵

首先我想指出一下,FAISS 确实是向量检索方面很有名的项目。我们 Zilliz 是这个项目除 Facebook 之外最大的参与者和贡献者。

FAISS 有点像一个算法集,是一套向量检索算法集合。我们的开源项目 Milvus 其实大量和 FAISS 合作,也大量使用 FAISS 作为算法底座。

我们也确实看到现在有更多开源项目出现,大家可能都有自己的切入点。对于 Milvus 来说,第一个特点是性能特别好,第二个特点是可扩展性特别好。第三个特点和前两点相关,就是 Milvus 整体的 TCO 最优。

TCO 既包括用户前期使用时在机器和硬件上的投入成本,也包括整体开发成本。数据库性能越好,意味着需要的硬件设备可能越少。

Milvus 在过去七八年里,和全球 AI 生态中的各种框架、各种大语言模型都做了很好的整合。用户开发起来会更方便,我们也支持更多数据类型和更多数据查询方式。

所以今天的 Milvus,已经不只是做向量数据的近邻搜索了。它还可以做基于标量的过滤,做标量和向量的混合查询,也可以做数据聚类、分类和 re-ranking。

星爵

对。我们降低了开发者的使用成本。第三点也是我们一直在做的,就是降低用户的维护成本。

产品生产上线以后,我们提供整套运维工具链,包括数据可视化、和传统运维数据采集系统的整合,也可以和企业的数据权限管理系统打通,和企业内部的 access control 系统打通。这样一来,后续运维和维护的成本也会比较低。

第四个方面的竞争,我理解还是来自传统数据库。比如 MongoDB 可能会加入向量数据库的能力,PostgreSQL 也可能会加入。另一方面,不管是 LangChain 还是 LlamaIndex,也可能把向量数据库整合成它们生态系统中的一部分。

在这个情况下,一个独立的向量数据库项目、公司或产品,会不会有一天被人吞掉?你会有这种担心吗?

星爵

其实你刚才提的是两个问题,我一个一个回答。

第一个,对于传统数据库加上向量数据库,我认为这其实是一个临时的过渡方案。在数据量比较小、场景比较单一的时候,它是可以用的。但等场景变得更关键、数据量变得更大之后,用户会迁移到专用的向量数据库系统上。

举个类比,在传统数据库里加一个向量搜索模块,有点像在燃油车里加一块电池,也就是新能源汽车里的增程式汽车。我觉得这是一个过渡方案,它永远不能和原生方案相比。

第二个,你刚才说的一些开发框架,比如 LangChain、LlamaIndex,天然就是从第一天开始处于不同的产品层次,不存在竞争。我们没有看到一个开发框架会把数据库系统包住,甚至取代数据库系统。

我的判断是,AI 时代的开发者框架会进一步细分。除了现在知名的框架,还会出现越来越多细分的框架。

过去几年我们讲 Web 开发框架时,一般会说应用层。刚才提到的这些框架都属于应用层框架。后面还有 middleware,也就是中间件层,最下面才是数据库和操作系统层面。

我们和 LangChain、LlamaIndex 都是战略合作伙伴,也经常和它们的生态合作。

刚才提到的各种竞争对手里面,有哪一个是你最担心的?

星爵

与其关注竞争对手在做什么,不如关注我们自己最担心的事情:我们能不能以更快的速度创新。

在录这期播客之前,我们中午吃饭时,和另外一位朋友聊到了开源。他最近见到了 Databricks 的联合创始人 Reynold Xin,就问他:如果可以重新选择,你一开始还会开源吗?

Reynold Xin 告诉他,如果可以重新选择,他不要再做开源,而是上来就做闭源。想问问你怎么看?如果可以重新选择,你还是会在一开始做 Zilliz 的时候选择开源吗?

星爵

5. 开源不是一条捷径

如果让我重新选择,我还是会选开源。

如果没有开源,就没有 Databricks。它曾经通过开源社区的影响力成功融资,也拿到了第一批用户。

时至今日,在 Databricks 和 Snowflake 的竞争中,因为有更多开发者在使用它的系统,加上生态位的定位,我觉得 Databricks 以后可能会有比 Snowflake 更大的成长空间。

你认为开源对于 Databricks、对于 Zilliz 来说,是一条捷径,还是不得不做的选择?可能没有第二条路?

星爵

首先,这肯定不是捷径。开源其实需要你付出更多耐心。开源可以成为中间的一道护城河,你要掌握开发者的心智。

你希望以很低的成本进入他们的工具栈,也希望他们低成本地学习你的产品。一个开源产品可以在 GitHub 上直接下载、部署和使用,用户还可以查看你的实现细节。

所以我觉得,开源天生更加招人喜欢。Reynold Xin 之所以说如果再来一次一定不会选择开源,是因为他们虽然开源做得不错,但后来发现,为了找到 PMF,好像还要再创业一次,重新做一个闭源产品。这样就把创业要跨越的一座大山,变成了要跨越两座大山。

这个你怎么看?

星爵

这恰恰是它今天成功,以及它形成商业壁垒的一个很重要的原因。它跨越了两座大山,你跨过去很不容易,竞争对手要跨越过去也很不容易。

我也和微软聊过。他们创造性地摸索出了一种新的开源商业模式。传统的开源商业模式是 open core:做一个开源核心,商业化产品在上面增加一些企业级服务,但核心部分没有太大区别。

这样做的好处是基本上只需要做一次研发,但弊端是商业化的时候很难回答用户的灵魂拷问:你的商业化产品和开源产品有什么区别?我为什么一定要花这么多钱买你的商业化产品?

Databricks 走出了一条完全不同的道路,它的模式叫 dual core。它有一个开源的 core,同时也有一个商业化的 core,商业化的 core 是闭源的。

它会把商业化 core 设计成和开源 core 在用户体验、接口和产品形态上都一模一样,所以两边完全兼容,用户可以很好地迁移过来。但是商业化 core 是完全重写、重新设计的。

它的商业化执行引擎是用 C++ 写的,开源执行引擎则是用 Java 写的,所以它实际上要由两套人马写两套东西。最重要的是,要保证商业化 core 在设计、功能和性能等各方面,都比开源 core 领先一个身位。

这样就解决了用户的疑问:我为什么要为商业化产品付费?你可以告诉他,我提供和开源产品一样的用户体验。你今天跑在开源产品上,明天就可以无缝迁移到我的闭源产品上,迁移成本基本可以忽略,但产品体验和性能会更好。这样就解决了差异化问题,用户也会有更好的付费动力和意愿。

第二个挑战是,本质上你在做两个产品:一个开源产品面向开源社区,另一个闭源产品面向商业化。同时,你还要保证闭源产品和开源产品既兼容,又比它更好。

而且这个“更好”是动态的。因为开源产品也在不断迭代,所以你要维持一个移动的时间窗口,让闭源产品永远比开源产品好 12 个月或 18 个月。

这对工程能力、产品设计以及整个组织架构的能力,都是很大的挑战。

所以你们现在也是选择了 dual core 的路径吗?

星爵

对。其实在 2018 年、2019 年的时候,我们就决定走 dual core 的模式。挺不容易的,它要求工程师团队和产品团队都有很强的执行力,也要有很快的迭代速度。

你怎么看 DeepSeek 的开源,以及开源给它带来的价值和帮助?

星爵

DeepSeek 和我们这种数据库公司可能不在同一个维度。它要追求的是,作为一个后发者,如何迅速占领用户心智。

它用开源解决了用户获取、占领心智,以及占领开发者最宝贵的时间这几个问题。一个开发者既然安装了 DeepSeek,或者一家公司安装了 DeepSeek,大概率就不会再安装其他家的模型了。所以我觉得,它解决了一个占位的问题。

现在你会认为,大家选择开源已经不像一开始那样纯粹了吗?一开始,开源可能是为了吸引更多开发者加入生态,帮助把产品一起做得更好。现在开源更多是为了某种竞争、某种美誉度,或者获得更多人的喜爱,从而获得竞争优势?

星爵

我觉得更多的是,开源的协作方式现在也在发生很多变化。开源确实可以引入更多外部开发者,这是比较好的一点。

但是引入太多外部开发者之后,项目管理和项目方向的引导也会出现很多问题。所以我们现在看到,很多开源公司背后都会有一个商业化公司,由它来引领社区和项目,为项目做出更大的贡献。

我觉得开源最大的一点,是把技术展开来、透明化,而不是做成一个黑盒子。很多工程师参与一个开源项目,并不是一定要成为项目贡献者,更多时候是因为他们觉得自己可以获得成长。

当我看到一个项目时,如果对其中某些架构是怎么做的感兴趣,就可以自己去看代码,了解项目的架构、设计方式,以及某个功能是如何实现的。用户需要的时候,可以获得这样的透明度。

第二,在海外,大家选择开源项目,大概率不是为了不付钱。很多人的想法是,我要防止技术锁定。如果用了一个完全闭源的项目,以后可能只能一直走下去,而且没有任何 visibility。

使用一个开源项目,至少还保留了一条退路。哪一天如果我不再和这家公司合作了,我可以转向开源社区,也可以自己建立团队,基于开源项目进行维护和升级。

所以现在你们的开源项目里,有多少核心的、有价值的代码,是真的来自团队之外的其他开发者?

星爵

我们现在社区里的开发者有 300 多个,其中只有 20% 的项目开发者在我们公司,但他们贡献了 80% 到 90% 的代码。

对于外部社区开发者来说,他们可能更多是在修 bug,做一些周边工具、增强功能和整合工作。这也比较符合我们的预期。

因为对于一个数据库系统来说,成为核心开发者需要很长时间。

你如何定义这段创业的成功?做到什么样的水平,你会觉得这一次满意了?

毕竟现在已经是第 7 年、第 8 年了,在这段青春里已经投入了非常多时间,接下来可能还要投入更多时间。你对它的期待是什么?你觉得怎样才算成功?

星爵

6. 创业的代价与坚持

我希望我们有幸成为全球第一个探索非结构化数据处理、探索向量数据库的公司。到我退休那一天,回顾这段旅程时,我希望我们不只是一个先驱者,还是一个集大成者,也是一个成功者。

那你有这样的恐惧吗?成为了先驱,但最后没有成为领先者、集大成者,没有摘到最后的果实?

星爵

有。首先,走在一个无人赛道上,作为第一个创新者,你要面对技术更新迭代的长期压力。而在 AI 时代,所有东西又被加速了。

基本上在任何一个领域,创新者可能都要尝试 1,000 种方法,然后排除其中的 999 种,留下那一种能够 work 的方法。但 follower 只需要照着你成功的事情再做一次就好了。

所以,唯有长期保持创新,迅速迭代产品,才是长期竞争力。

你在公司内部会用什么方式,不管是管理、文化,还是其他层面,来保证一家已经成立 7、8 年的公司还可以持续创新和迭代?

星爵

我觉得创新不能靠管理,一管就死。如果要做一家创新公司,就去招那些有创新精神、愿意创新、愿意快速迭代的人加入。

到现在创业 8 年了,有什么特别想对 8 年前刚开始创业的自己说的话吗?

星爵

我也许会劝 8 年前的自己不要创业。创业的确比你想象的难太多太多了,而且你基本上停不下来。

你解决了一个问题,第二天就会有新的问题;你解决了一个层次的问题,又会出现新的问题。公司的每个阶段、每个发展阶段、每个轮次,以及商业化的不同阶段,都会有不同的问题。

所以如果你选择了这条路,我会对自己说,希望创业成为你的一种 lifestyle,是你一辈子想做的事情。要不然你可能会崩溃。

你最接近崩溃的时间是什么时候?

星爵

这种事情,最坏的情况下可能每天会有几次;好的情况下,至少每一两个星期会有一次。

其实公司已经做到 6 亿美元估值了,在很多人看来已经是很好的成就了,但你还在如此频繁地陷入崩溃。可不可以讲一个最近一次感到崩溃的故事?

星爵

过去差不多两年,是整个创业过程中经历困难最多的阶段。两年之前,我们基本上是在做产品、做开源、做技术,处在自己的舒适区里。

过去两年,公司第一次做商业化。对于我们这样工程师背景很强的团队来说,大部分同学之前都没有接触过商业化,而且我们还要给自己设定比较高的增长目标,所以压力特别大。

2024 年,市场发生了一些调整。有些公司自己倒闭了,这件事和我们做得好不好没有什么关系,但我们的客户突然消失了。

当时有一个客户,是美国 AI 领域最头部的公司之一,规模也很大,但它很快陷入了困境。所以过去 18 个月里,我们经历了一波回调,前十大客户流失了。

你既要增长,又要填补客户流失留下的坑,还要获得更多客户,维持增长趋势,真的非常痛苦。整个团队又是第一次做商业化,很多组织、架构和流程都在一边做、一边搭建,基本上就是一边开飞机、一边换引擎,还要做组装。这段时间相当痛苦。

做到现在,有什么心得吗?作为工程师背景的创始人,可能以前不需要面对客户,也不需要做销售,但现在开始有了一些技巧或方法论。有什么可以分享的吗?

星爵

首先肯定是要找到合适的人。我们可以在招人上花更多时间。虽然我们在招人上已经花了很多时间,但我觉得你永远不要认为自己在招聘人才方面已经花了足够多的时间。

第二,商业化也没有什么好恐惧的。如果让我再做一次,我可能还是会经历这个痛苦阶段,只是犯的错误不一样。我会坦然接受。

更重要的是,要能够在错误中迅速恢复,快速调整,既调整自己的心态,也调整整个团队的心态,不要让团队失去士气。

怎么让团队在遭受打击时不至于士气低落?你有什么办法?

星爵

最终还是要打胜仗,而且不要重复犯错误,一定要尽快从错误中找到经验,跳出来。

第二,我们最终的目标就是少犯错误。现在我们的技术和产品都有领先优势,增长也不错。这个时候要有更好的战略定力和思考,决定什么事情要做、什么事情不要做,避免犯太大的原则性错误。

每个人都不完美,我们要学会和自己达成和解。否则你会把自己击垮,从内部把自己击垮。

所以首先要接受自己的不完美。我看历史上很多竞争,最终不在于你做了什么,而可能是在极度压力下,你的对手比你多犯了两个错误。

现在有什么道理,或者有什么话,是你 8 年前特别相信,但现在已经偷偷不相信了吗?

星爵

7. 理想主义正在褪色

创业之前,我绝大部分时候是一个理想主义者。但过去 8 年的创业,慢慢褪去了我作为理想主义者的彩色外衣,现在留下来的更多是一件灰色内衣。

一个比较明确的例子是在团队建设和管理层面。曾经我觉得,完全透明、无话不说,是最好的管理方式。现在看来,这要针对不同的人、不同的场景,也要针对不同的团队规模和不同的发展阶段。

曾经我也觉得,最好的公司是不需要管理的,不应该有管理。但团队越来越大以后,你会发现管理还是需要的。

过去作为理想主义者,我会把管理和官僚 somehow 画上等号,觉得少一层管理就少一层官僚。但现在看来,管理真的是一门科学。

如果回到技术层面,作为工程师,你追求的是内心的愉悦感,觉得创新永无止境,要不停地把事情做得更好。但在商业世界里,足够好就可以了。你比对手好一些,但也不需要好太多,就可以了。

我们以前会觉得英特尔是在挤牙膏,它的 CPU 创新在迭代中不断挤牙膏。现在英伟达基本上也在慢慢挤牙膏。

但我觉得,这两家公司曾经可能都是硬件芯片领域最成功的公司之一。它们能够把握商业化节奏和技术创新节奏,在某个时间节点做到足够好,领先于所有竞争对手,就可以了。

不过我个人觉得,在技术世界里还是应该多一点理想主义。虽然我现在的理想主义外衣已经所剩无几了,可能只剩下少量,但我觉得你是从哪一边出发的,还是很重要。

几年前我从纯粹的理想主义出发,除了追求技术卓越,其他东西都不去想。这反过来也成为今天公司赖以成功的根本,所以我们现在有更好的技术和更好的产品。虽然现在我们要把整个公司打磨得更加商业化、更加 business savvy。

当彩色的理想主义慢慢褪去,灰色的现实主义越来越多地左右你的决定时,你还是会在内心深处、在公司某个角落,保留一片小小的天空吗?那里还是彩色的、浪漫的,还是有情怀的?

在整个 AI 基础设施领域,从大模型到基础设施再到数据库,在这个比较宽泛的领域里,你目前最看好哪些公司?如果自己买股票或者做一级市场投资,你会投哪些公司?

星爵

8. AI 投资押注基础设施

整个 AI 赛道里面,我觉得亚马逊的云平台肯定会有更好的增长。AI 现在到了一个临界点,最终比拼的是能源和基础设施能力。

像这些大公司有自己的资源,所以这一波 AI 对公有云的发展是有利的,公有云可能会越来越重要。接下来建设的大规模数据中心,都会成为云的基础设施的一部分。

另外,大模型肯定是底座,这一点不用说,尤其是头部的几家大模型公司。

还有一些已经出现的、比较好的 AI 应用公司。像我自己用得比较多的 AI 工具,一个是 ChatGPT,一个是 DeepSeek,第三个是 Cursor。

我发现用 Cursor 管理自己的个人知识库、写文章都很好。现在我基本上写东西都不用 Word 了,而是用 Cursor 来写。

好,今天谢谢星爵的时间。十字路口录了一期非常硬核的播客,听到结尾的应该都是真爱。也希望 Zilliz 可以继续有很好的发展,继续保持 300% 的增长率,也希望星爵有机会可以再来做客《十字路口》。谢谢,谢谢。如果你认为有朋友也会喜欢本期《十字路口》的内容,请转发微信推荐给他们。最后,欢迎你加入《十字路口》的会员群,我们鼓励大家在群里聊天互动、交朋友,寻找未来的同路人。

开源怎么赚钱?向量数据库有未来吗?搞 AI 需要技术理想主义吗?|对谈 Zilliz 创始人/CEO星爵 | BidClub