# AI 落地最大的障碍不是模型，是运维｜对话 Datadog 首席产品官李严冰 硅谷坐标 Silicon Valley Vector · 2026-10-19 · 16 min · https://www.xiaoyuzhoufm.com/episode/6ad5a9820e4e410a05beffc3 ## 逐字稿 李严冰 AI 落地推广最大的障碍，就是如何对它进行运维管控。今年年初，整个 SaaS 板块的市值都大规模滑落，Datadog 也在其中，但我们应该是率先从低谷中脱颖而出的。现在市场上的共识是，AI 需要更多的 observability。我们在哪里工作，工具就应该在哪里。 曹卿云 Qingyun Cao 严冰你好。今年的 HYSTA，你觉得跟往年的会议有什么不一样？ 李严冰 卿云你好。我觉得 HYSTA 的会议每年都会上升一个新高度，尤其是最近几年，我们的主题都是 AI。随着中国人在 AI 方面的影响力越来越大，我感觉今天的盛会无论是参与者、话题还是嘉宾，质量都有了质的提升。 曹卿云 Qingyun Cao 今年的会议主要讲哪些主题？ 李严冰 今年我们主要关注 AI 真正 scaling 的主题。我知道卿云你也很关注华人在 AI 行业的影响力。前几天我看到一个非常令我惊讶的数据：一项刚刚出炉的 Carnegie Mellon 研究对 NeurIPS 的作者进行了统计，发现 57% 的作者本科教育来自中国，其中既包括在中国的作者，也包括在美国和世界其他地方的作者。大家可以看到华人在 AI 圈的分量。 我们华人不只是做 AI 研究，也把 AI 转化成创业项目和企业。我还看到另一个让我非常惊讶的消息：来自中国的 founder 或 co-founder，已经在美国有 41 家十亿美元量级以上的公司，其中很多公司今天都会参加我们的盛会。所以，HYSTA 今年 AI 大会的主题不仅包括最前沿的研究和企业应用，也包括很多真正取得商业成功的 founder。 曹卿云 Qingyun Cao 您是 Datadog 的首席产品官，也是硅谷华人女性中非常杰出的代表。我想向您请教，在 AI 时代，您看到 AI 运维会有什么样的发展趋势？最好的机会会在哪里？ 李严冰 我觉得这个问题问得非常好。从我作为 Datadog 首席产品官的角度来看，AI 落地推广、大规模地被广泛采用，最大的障碍就是如何对它进行运维管控。最开始，大家对 AI 感到兴奋，只是想知道它到底能不能 work。很快，大家又意识到：“哇，我们知道 AI work 得非常好，那我能不能相信它的安全保障？”到了今年，大家又意识到，即使我能相信 AI，它的 token cost，也就是 AI 预算成本，还是远远超出预算。 所以，无论是 AI 能不能产生正确的结果，我们能不能觉得 AI 可控、可信任，还是 AI 能不能真正提供商业价值，而不是大家都在 token maxing，最终能不能 deliver 商业 ROI，我觉得这些都是大家最关注的问题。这些问题背后有一个很重要的点，就是 observability，也就是深入了解 AI 究竟在做什么、agent 之间是什么关系，以及它究竟产生什么样的价值。 所以 Datadog 现在正处在一个非常好的风口上。AI observability 是 AI 量产化、大规模采用的重要环节。 曹卿云 Qingyun Cao 我们看到 Datadog 的市值一路飙升，现在也处在历史高位。以前可观测性可能是给工程师用的，让他们观测系统；未来则要给 agents 观测，而且可观测数据量也变大了。未来这样的产品形态会有什么变化？ 李严冰 今年年初，整个 SaaS 板块出现了复杂的市场状况，大家的市值都大规模滑落，Datadog 也在其中，但我们应该是率先从低谷中脱颖而出的。从年初到现在，我们的市值已经翻倍了。当然，这其中很多并不是大家主观上认为“AI 需要更多 observability”，而是有真实数据支撑的。比如，世界上最大的 10 家 AI 公司都需要使用 Datadog 来帮助他们实现 observability。 大家已经完全抛弃了“AI 会取代 observability”这个观念。现在市场上的共识是，AI 需要更多的 observability，这也是我们的机会。从产品形态的角度来看，以前 Datadog 的产品有非常丰富的 user experience，有很漂亮的 UI 和 dashboard，是设计给人使用的。我觉得未来会由人和 agent 共同使用这样的产品，产品交互也会从以网页和 mobile 为主，变成“我们在哪里工作，工具就应该在哪里”。 如果你在 CLI 里编程，就可以访问它；如果你在 Slack 里和团队交互，也可以在那里访问它。我觉得 AI 完全改变了我们对产品原有边界的认知，让用户在任何时候、通过任何工作方式都可以访问产品。 曹卿云 Qingyun Cao 今年早些时候，大家觉得 OpenAI 可能会自己做这些产品，而且现在模型能力这么强，还会自己写代码。您觉得 Datadog 未来的护城河在哪里？它的不可替代性是什么？ 李严冰 我觉得护城河有几点。首先，运维不只是 mission critical，它的复杂度也非常高。我之前做过自动驾驶，在 Aurora 工作过。Aurora 是一家自动驾驶卡车公司，是美国第一家——我认为现在也是世界上唯一一家——能够在公共高速公路上运营自动驾驶商用卡车的领先公司。我们做自动驾驶的时候，觉得从有人驾驶到无人驾驶的突破是一个非常难的问题。 但仔细想想，自动驾驶比起运维大规模生产环境中的软件和系统，复杂度其实低得多。开车时，你只需要了解视线所及的本地场景，而且只有 3 种控制方式：加速、减速和打方向盘。而在一个软件、硬件和基础架构都非常复杂的大规模系统里，还有很复杂的 AI agent，复杂度远远超过自动驾驶。所以，要真正实现大规模生产运维的完全自动化，还有很长一段距离。 我想说的是，运维的复杂度非常高。相比之下，coding 虽然也有很多技术难度，但相对来说是一件简单的事，就是产生 code；运维则是非常多元化的事情。所以我们不担心自己被 AI 取代，因为我们自己也在研发很多 AI。 回到你的问题，第一，这个问题非常复杂，所以我们积累了多年的 domain expertise。第二是数据，我们拥有世界上最大的运维数据。第三，我们也在 invest in intelligence。通用大模型可以解决很多问题，但有时候比较慢、成本很高，而且在非常专业的领域里不一定能给出最好的答案。 比如，我们有自己的 AI research。我这周刚看到一个结果：我们用 observability 数据训练自己的 observability frontier model。和最前沿的模型相比，我们特制的模型质量非常接近，但成本至少降低了一个量级。所以我们认为，自己的数据、对 research 和 foundation model 的投入，以及专注这个领域所积累的经验，都是我们的护城河。 曹卿云 Qingyun Cao 所以您觉得像 Datadog 这样的 enterprise，最后还是会选择用开源模型，再用自己的数据训练自己的模型，不一定需要用 frontier lab 的 API？ 李严冰 我觉得…… 曹卿云 Qingyun Cao API。 李严冰 我觉得这是各取所需，因为不同的 model 有不同的强项。我相信现在业界的共识是，未来不会是最 frontier 的 model 一统天下，也不会是几家 frontier model 就提供世界上所有的 model。大家做 post-training 已经非常常见，因为这样可以把自己的数据变成真正的护城河。 前几天我去访问了一家世界上排名前列的领先 AI lab，因为我们是它的客户，它也是我们的客户。但讨论中最有趣的话题是，对方说：“严冰，我们非常想在运维场景上做得更好，你能不能把你们标注好的数据卖给我们？”所以可以看到，即使是世界上最前沿的 lab，在某些非常专业化的场景里，也缺少这方面的积累。 当然，即使大家有数据，我觉得通用大模型也很难最好地服务所有应用场景，所以我们在这方面有自己的投入。去年我们还收购了一家领先的 RL 公司，叫 Adaptive ML，以加速这方面的投入。 曹卿云 Qingyun Cao Datadog 在企业内部采用 AI 时遇到过什么样的挑战吗？你们现在的 AI adoption 比例大概有多少？ 李严冰 我觉得我们遇到的挑战和很多企业都类似。作为一家开发工程师产品的公司，我们可能起步早一些。但我刚刚为明年的研发经费或 AI 经费做预算时，真是大跌眼镜，因为增长远远超出了我们的直觉和预期。 AI 投入一方面是提升内部效率，另一方面是把 AI 放进我们的产品里。这两方面都有非常大幅度的提升。产品方面的提升是个很好的现象，说明客户对我们 AI-enabled 产品的使用率越来越高，使用量都在成倍增长。大家觉得这方面的 AI 投入非常值得。 产品投入还包括 research。这方面的投入需要长期回报，因为无论是买 GPU、搭建 AI 基础架构，还是进行多少次 training run，成本都非常高。内部效率提升则有两方面。一个是工程师使用 coding agent，我觉得这可能还是目前最大的预算支出之一。我们主要要看如何把这方面的投入真正转化成 engineering velocity。好在我们就是做这方面的，所以不仅知道大家用了多少 token、在哪里用，也知道最后的 outcome 是什么。比如 PR 的速度、产品稳定性、feature shipping，以及产品安全性的提升，我们都看得很清楚，也能看到 AI 投入产生了什么结果。 我现在比较担心的是面向 knowledge work 的 AI 使用，因为很多人还处在 vibe coding 的状态。比如销售人员不是工程师，却自己写了一个销售工具；或者 HR 团队为他们的场景写了一些工具。我觉得这类 agent 现在非常多，也比较业余，很多时候 token 使用并没有优化好，更重要的是安全方面可能没有充分考虑。 安全是 AI 现在非常热门的话题。大家想象的都是世界末日的场景，比如 AI 杀死人类，或者几千个 AI agent 一起从 sandbox 里跑出来，攻击其他公司。最近的头条新闻很多都是这种性质。但从企业 AI 的实际情况来看，我们考虑的安全问题要现实得多。比如，一个比较业余的 AI agent 不小心泄露了商业数据，或者一个不专业、没有经过充分 AI review 和控制的工具暴露了 API key。我们现在考虑的很多安全问题都更基本，还不是世界末日那样的问题。我觉得这也是企业进一步采用 AI 的一个重要障碍。 曹卿云 Qingyun Cao 谢谢您今天的分享。 李严冰 谢谢，你的问题非常专业。