AI 落地最大的障碍不是模型，是运维｜对话 Datadog 首席产品官李严冰
- 李严冰的核心判断：AI 落地推广、大规模采用的最大障碍是“如何对它进行运维管控”。 企业关注点从 AI 能否 work，转向能否信任和控制它，再到 token cost 超预算；大家关心 AI 能否给出正确结果、可控可信，并真正带来商业 ROI。背后的关键环节是 observability。
- Datadog 年初随 SaaS 板块市值大规模滑落，但率先从低谷中脱颖而出，年初至今市值已翻倍。 她给出的依据是，世界上最大的十家 AI 公司都需要使用 Datadog 帮助实现可观测性；市场共识已变成“AI 需要更多的 observability”。
- 对 Datadog 护城河的追问，她给出三层答案：问题复杂度、数据、自研智能。 她以自己在 Aurora 做自动驾驶卡车的经历类比：开车只有加速、减速、打方向盘三个控制，而大规模生产系统运维的复杂度远远超过自动驾驶；Datadog 拥有世界上最大的运维数据，用 observability 数据训练的专属模型质量与最前沿模型非常接近，成本至少降低一个量级。
- 一家排名前列的 AI lab 曾询问能否购买 Datadog 标注好的运维数据。 这说明即使最前沿的实验室在专业化场景也缺少积累。她认为，post-training 已很常见，能让自有数据成为护城河；Datadog 去年还收购了 RL 公司 Adaptive ML，以加速相关投入。
- Datadog 做明年研发或 AI 预算时发现投入增长远超预期；工程师使用 coding agent 的支出可能是最大预算支出之一。 公司能把 token 使用与 PR 速度、产品稳定性、feature shipping 和产品安全性等 outcome 对应起来，衡量投入是否转化为 engineering velocity。
- 她担心的企业级 AI 风险不是“世界末日”头条，而是业余 agent 的基本功失守。 销售、HR 等非工程师用 vibe coding 做出的工具，可能没有优化 token 使用或充分考虑安全，存在泄露商业数据、暴露 API key 等风险；这是企业进一步采用 AI 的重要障碍。
1. 华人已成 AI 圈的重量级力量：NeurIPS 作者 57% 本科来自中国
- 李严冰引用一项刚出炉的 Carnegie Mellon 研究：对 NeurIPS 作者的统计发现，57% 的作者本科教育来自中国，其中包括在中国、美国及世界其他地方的作者。她还提到，来自中国的 founder 或 co-founder，已在美国有 41 家十亿美元量级以上的公司。
- 她将今年 HYSTA 的 AI 大会定位为关注 AI 真正 scaling：议题既包括最前沿的研究与企业应用，也包括取得商业成功的 founder。
2. AI 落地的三阶段焦虑：从“能不能 work”到“ROI 在哪”
- 李严冰描述了企业关注点的变化：最初想知道 AI 能不能 work；很快转向能否信任它的安全保障；到了今年，又发现 token cost，也就是 AI 预算成本，远远超出预算。大家关心 AI 能否产生正确结果、是否可控可信，以及能否带来商业价值，而不是只是在“token maxing”。
- 这些问题背后的共同点是 observability：深入了解 AI 在做什么、agent 之间是什么关系，以及它产生了什么价值。她认为，AI observability 是 AI 量产化、大规模采用的重要环节，Datadog 正处在风口。
3. 市值翻倍的背后：产品从“给人用”变成“人和 agent 共用”
- 年初 SaaS 板块市场状况复杂，各家市值大规模滑落，Datadog 也在其中，但“率先从低谷中脱颖而出”；从年初到现在，公司市值已翻倍。她强调，世界上最大的十家 AI 公司都需要使用 Datadog 帮助实现 observability。市场共识已从“AI 会取代 observability”转为“AI 需要更多的 observability”。
- 产品形态也在变化：过去 Datadog 有丰富的用户体验、UI 和 dashboard，主要为人设计；未来将由人和 agent 共同使用。交互从以网页和 mobile 为主，变成“我们在哪里工作，工具就应该在哪里”：在 CLI 里编程可以访问，在 Slack 里和团队交互也可以访问。她认为，AI 改变了用户对产品原有边界的认知。
4. 护城河三件套：运维复杂度、运维数据、自研智能
- 面对“模型会写代码了，Datadog 不可替代性在哪”的追问，李严冰先用自己在 Aurora 做自动驾驶的经历作比。她称 Aurora 是美国第一家、并认为目前也是世界上唯一一家能在公共高速公路运营自动驾驶商用卡车的公司。驾驶只需了解视线所及的本地场景，控制方式只有加速、减速和打方向盘三种；相比之下，大规模生产环境中的软件、硬件和基础设施系统，还有复杂的 AI agent，运维复杂度远远超过自动驾驶。要实现大规模生产运维的完全自动化，还有很长一段距离。
- 她补充说，coding 虽然也有技术难度，但相对而言主要是产生 code；运维则非常多元化。因此 Datadog 不担心被 AI 取代，而且公司自己也在研发很多 AI。
- 她给出的另外两层护城河是多年的 domain expertise、世界上最大的运维数据，以及对 research 和 foundation model 的投入。通用大模型能解决很多问题，但有时速度慢、成本高，在非常专业的领域也不一定给出最好的答案。她举例说，Datadog 用 observability 数据训练自己的 observability frontier model，质量与最前沿模型非常接近，成本至少降低一个量级。
- 她前几天访问的一家排名前列的 AI lab 也是 Datadog 的客户，双方互为客户。对方询问：“严冰，我们非常想在运维场景上做得更好，你能不能把你们标注好的数据卖给我们？”她以此说明，即使最前沿的 lab，在专业化场景也可能缺少积累。她认为未来不会由最前沿的 model 一统天下，也不会只有几家 frontier model 提供所有模型；post-training 已经很常见，可以把自有数据变成护城河。Datadog 去年还收购了一家领先的 RL 公司 Adaptive ML，以加速相关投入。
5. 内部 AI 账本：预算增长超预期，现实安全风险在业余 agent
- 李严冰刚为明年的研发经费或 AI 经费做预算时“大跌眼镜”，因为增长远超直觉和预期。产品方面，客户对 AI-enabled 产品的使用率越来越高，使用量成倍增长；research 投入则需要长期回报，因为 GPU、AI 基础架构和 training run 都成本很高。
- 内部效率方面，工程师使用 coding agent 的开支可能是目前最大的预算支出之一。Datadog 的优势是能看到 token 用量和使用位置，也能追踪 outcome：PR 速度、产品稳定性、feature shipping，以及产品安全性的提升，从而衡量投入是否转化为 engineering velocity。
- 她更担心面向 knowledge work 的 AI 使用：不少人还处于 vibe coding 状态，例如销售人员自己写销售工具，或 HR 团队为自己的场景写工具。这类 agent 可能比较业余，token 使用没有优化好，安全方面也可能考虑不足。
- 她指出，企业实际考虑的安全风险比“AI 杀死人类”或“几千个 agent 从 sandbox 跑出来攻击其他公司”这类头条更基本：例如 agent 不小心泄露商业数据，或未经充分 AI review 和控制的工具暴露 API key。她认为，这些都是企业进一步采用 AI 的重要障碍。
Full transcript
AI 落地推广最大的障碍，就是如何对它进行运维管控。今年年初，整个 SaaS 板块的市值都大规模滑落，Datadog 也在其中，但我们应该是率先从低谷中脱颖而出的。现在市场上的共识是，AI 需要更多的 observability。我们在哪里工作，工具就应该在哪里。
严冰你好。今年的 HYSTA，你觉得跟往年的会议有什么不一样？
卿云你好。我觉得 HYSTA 的会议每年都会上升一个新高度，尤其是最近几年，我们的主题都是 AI。随着中国人在 AI 方面的影响力越来越大，我感觉今天的盛会无论是参与者、话题还是嘉宾，质量都有了质的提升。
今年的会议主要讲哪些主题？
今年我们主要关注 AI 真正 scaling 的主题。我知道卿云你也很关注华人在 AI 行业的影响力。前几天我看到一个非常令我惊讶的数据：一项刚刚出炉的 Carnegie Mellon 研究对 NeurIPS 的作者进行了统计，发现 57% 的作者本科教育来自中国，其中既包括在中国的作者，也包括在美国和世界其他地方的作者。大家可以看到华人在 AI 圈的分量。
我们华人不只是做 AI 研究，也把 AI 转化成创业项目和企业。我还看到另一个让我非常惊讶的消息：来自中国的 founder 或 co-founder，已经在美国有 41 家十亿美元量级以上的公司，其中很多公司今天都会参加我们的盛会。所以，HYSTA 今年 AI 大会的主题不仅包括最前沿的研究和企业应用，也包括很多真正取得商业成功的 founder。
您是 Datadog 的首席产品官，也是硅谷华人女性中非常杰出的代表。我想向您请教，在 AI 时代，您看到 AI 运维会有什么样的发展趋势？最好的机会会在哪里？
我觉得这个问题问得非常好。从我作为 Datadog 首席产品官的角度来看，AI 落地推广、大规模地被广泛采用，最大的障碍就是如何对它进行运维管控。最开始，大家对 AI 感到兴奋，只是想知道它到底能不能 work。很快，大家又意识到：“哇，我们知道 AI work 得非常好，那我能不能相信它的安全保障？”到了今年，大家又意识到，即使我能相信 AI，它的 token cost，也就是 AI 预算成本，还是远远超出预算。
所以，无论是 AI 能不能产生正确的结果，我们能不能觉得 AI 可控、可信任，还是 AI 能不能真正提供商业价值，而不是大家都在 token maxing，最终能不能 deliver 商业 ROI，我觉得这些都是大家最关注的问题。这些问题背后有一个很重要的点，就是 observability，也就是深入了解 AI 究竟在做什么、agent 之间是什么关系，以及它究竟产生什么样的价值。
所以 Datadog 现在正处在一个非常好的风口上。AI observability 是 AI 量产化、大规模采用的重要环节。
我们看到 Datadog 的市值一路飙升，现在也处在历史高位。以前可观测性可能是给工程师用的，让他们观测系统；未来则要给 agents 观测，而且可观测数据量也变大了。未来这样的产品形态会有什么变化？
今年年初，整个 SaaS 板块出现了复杂的市场状况，大家的市值都大规模滑落，Datadog 也在其中，但我们应该是率先从低谷中脱颖而出的。从年初到现在，我们的市值已经翻倍了。当然，这其中很多并不是大家主观上认为“AI 需要更多 observability”，而是有真实数据支撑的。比如，世界上最大的 10 家 AI 公司都需要使用 Datadog 来帮助他们实现 observability。
大家已经完全抛弃了“AI 会取代 observability”这个观念。现在市场上的共识是，AI 需要更多的 observability，这也是我们的机会。从产品形态的角度来看，以前 Datadog 的产品有非常丰富的 user experience，有很漂亮的 UI 和 dashboard，是设计给人使用的。我觉得未来会由人和 agent 共同使用这样的产品，产品交互也会从以网页和 mobile 为主，变成“我们在哪里工作，工具就应该在哪里”。
如果你在 CLI 里编程，就可以访问它；如果你在 Slack 里和团队交互，也可以在那里访问它。我觉得 AI 完全改变了我们对产品原有边界的认知，让用户在任何时候、通过任何工作方式都可以访问产品。
今年早些时候，大家觉得 OpenAI 可能会自己做这些产品，而且现在模型能力这么强，还会自己写代码。您觉得 Datadog 未来的护城河在哪里？它的不可替代性是什么？
我觉得护城河有几点。首先，运维不只是 mission critical，它的复杂度也非常高。我之前做过自动驾驶，在 Aurora 工作过。Aurora 是一家自动驾驶卡车公司，是美国第一家——我认为现在也是世界上唯一一家——能够在公共高速公路上运营自动驾驶商用卡车的领先公司。我们做自动驾驶的时候，觉得从有人驾驶到无人驾驶的突破是一个非常难的问题。
但仔细想想，自动驾驶比起运维大规模生产环境中的软件和系统，复杂度其实低得多。开车时，你只需要了解视线所及的本地场景，而且只有 3 种控制方式：加速、减速和打方向盘。而在一个软件、硬件和基础架构都非常复杂的大规模系统里，还有很复杂的 AI agent，复杂度远远超过自动驾驶。所以，要真正实现大规模生产运维的完全自动化，还有很长一段距离。
我想说的是，运维的复杂度非常高。相比之下，coding 虽然也有很多技术难度，但相对来说是一件简单的事，就是产生 code；运维则是非常多元化的事情。所以我们不担心自己被 AI 取代，因为我们自己也在研发很多 AI。
回到你的问题，第一，这个问题非常复杂，所以我们积累了多年的 domain expertise。第二是数据，我们拥有世界上最大的运维数据。第三，我们也在 invest in intelligence。通用大模型可以解决很多问题，但有时候比较慢、成本很高，而且在非常专业的领域里不一定能给出最好的答案。
比如，我们有自己的 AI research。我这周刚看到一个结果：我们用 observability 数据训练自己的 observability frontier model。和最前沿的模型相比，我们特制的模型质量非常接近，但成本至少降低了一个量级。所以我们认为，自己的数据、对 research 和 foundation model 的投入，以及专注这个领域所积累的经验，都是我们的护城河。
所以您觉得像 Datadog 这样的 enterprise，最后还是会选择用开源模型，再用自己的数据训练自己的模型，不一定需要用 frontier lab 的 API？
我觉得……
API。
我觉得这是各取所需，因为不同的 model 有不同的强项。我相信现在业界的共识是，未来不会是最 frontier 的 model 一统天下，也不会是几家 frontier model 就提供世界上所有的 model。大家做 post-training 已经非常常见，因为这样可以把自己的数据变成真正的护城河。
前几天我去访问了一家世界上排名前列的领先 AI lab，因为我们是它的客户，它也是我们的客户。但讨论中最有趣的话题是，对方说：“严冰，我们非常想在运维场景上做得更好，你能不能把你们标注好的数据卖给我们？”所以可以看到，即使是世界上最前沿的 lab，在某些非常专业化的场景里，也缺少这方面的积累。
当然，即使大家有数据，我觉得通用大模型也很难最好地服务所有应用场景，所以我们在这方面有自己的投入。去年我们还收购了一家领先的 RL 公司，叫 Adaptive ML，以加速这方面的投入。
Datadog 在企业内部采用 AI 时遇到过什么样的挑战吗？你们现在的 AI adoption 比例大概有多少？
我觉得我们遇到的挑战和很多企业都类似。作为一家开发工程师产品的公司，我们可能起步早一些。但我刚刚为明年的研发经费或 AI 经费做预算时，真是大跌眼镜，因为增长远远超出了我们的直觉和预期。
AI 投入一方面是提升内部效率，另一方面是把 AI 放进我们的产品里。这两方面都有非常大幅度的提升。产品方面的提升是个很好的现象，说明客户对我们 AI-enabled 产品的使用率越来越高，使用量都在成倍增长。大家觉得这方面的 AI 投入非常值得。
产品投入还包括 research。这方面的投入需要长期回报，因为无论是买 GPU、搭建 AI 基础架构，还是进行多少次 training run，成本都非常高。内部效率提升则有两方面。一个是工程师使用 coding agent，我觉得这可能还是目前最大的预算支出之一。我们主要要看如何把这方面的投入真正转化成 engineering velocity。好在我们就是做这方面的，所以不仅知道大家用了多少 token、在哪里用，也知道最后的 outcome 是什么。比如 PR 的速度、产品稳定性、feature shipping，以及产品安全性的提升，我们都看得很清楚，也能看到 AI 投入产生了什么结果。
我现在比较担心的是面向 knowledge work 的 AI 使用，因为很多人还处在 vibe coding 的状态。比如销售人员不是工程师，却自己写了一个销售工具；或者 HR 团队为他们的场景写了一些工具。我觉得这类 agent 现在非常多，也比较业余，很多时候 token 使用并没有优化好，更重要的是安全方面可能没有充分考虑。
安全是 AI 现在非常热门的话题。大家想象的都是世界末日的场景，比如 AI 杀死人类，或者几千个 AI agent 一起从 sandbox 里跑出来，攻击其他公司。最近的头条新闻很多都是这种性质。但从企业 AI 的实际情况来看，我们考虑的安全问题要现实得多。比如，一个比较业余的 AI agent 不小心泄露了商业数据，或者一个不专业、没有经过充分 AI review 和控制的工具暴露了 API key。我们现在考虑的很多安全问题都更基本，还不是世界末日那样的问题。我觉得这也是企业进一步采用 AI 的一个重要障碍。
谢谢您今天的分享。
谢谢，你的问题非常专业。