让个人助理全天候运转需要什么
Ken LiuMartin CasadoJoel de la Garza
- Second 想成为个人上下文的长期存储层,供其他 AI agent 查询。 Ken Liu 描述的个人模型涵盖记忆、偏好、优先事项、价值观和承诺,并能在不同工具间流转。First Person Labs 希望用户只需信任一个 Second——“像一座保险库”——由它代表用户利益,专门 agent 则负责处理具体任务。
- 现阶段最有力的用例,是无需等待用户提示,就把事件和个人优先事项联系起来。 Joel de la Garza 说,Second 会自行追踪活动天气预报,判断是否需要搭帐篷。Ken 把这种面向更长时间跨度的“反思式”主动性,与 agent 让通知数量倍增区分开来:“人们总得先开口问。你本来不该需要问这些事。”
- Second 的安全性建立在用户对数据和推理的控制之上,但信息披露判断仍没那么确定。 本地存储、用户选择服务商、机密 GPU 推理构成了系统架构;零数据留存目前仍是“政策承诺”。Martin Casado 追问,角色扮演攻击能否诱导系统泄露隐私信息;Ken 表示,提示词注入无法被彻底解决。
- 持续在线分析让推理效率成为产品经济模型的核心。 Ken 举例说,10个 agent 以每秒60 tokens 的速度持续运行,按“Opus 5.5”定价每天要花1,000美元,使用 DeepSeek Flash 则为60美元。初期目标用户是忙碌的专业人士和频繁切换工具的人;要控制成本,“必须”采用多模型组合。
- 平台机会在于通过 API 输出对个人的理解,供应用调用。 Second 能提供近期活动、未来优先事项、提醒和人际关系等上下文。Ken 说,编程 agent 收到一张截图和“修好”就能开始处理;从笔记本切换到手机后,“上下文连续性”也能让工作接着进行,无需重建对话。
- First Person Labs 发现交互设计比预想更难,因而收窄了产品界面。 Ken 承认:“我们在交互上犯了很多错。”产品现在聚焦短信和 API。他的长期愿景是打造一个跨设备运行的个人模型,其他开发者则去探索哪些应用和交互界面能让它真正有用。
1. 一个个人模型,可以服务多个专门 agent
- Ken Liu 将 First Person Labs 的 Second 定义为“一个人的模型”:既包括记忆和活动,也涵盖优先事项、偏好、目标、价值观、承诺和意图。系统从用户做过什么、认识谁等记录入手,再根据用户说话和分享信息的方式逐渐建立理解。随着时间推移,“也许你会把其中一部分训练进模型”。
- Martin Casado 追问,Second 如何融入他现有的 agent 使用方式。Ken 的答案是“可迁移的上下文”:外部 agent 执行任务前,先向 Second 查询。比如“给我买张机票”,系统就应提前掌握用户的座位偏好、抵达机场的时间安排和舱位偏好,不必反复提问来还原用户需求。
- Martin 接着问,从架构上看,用户最终是否需要第二个、第三个、第四个个人代表。Ken 说,始终只会有一个 Second:它是一套一致的个人信息存储,负责维护用户利益,其他 agent 各自专精。临时子 agent 可以随任务结束而消失。他用 Alfred 和 Batman 打比方:Alfred 可以替 Batman 买芝士汉堡、说明偏好,但不必透露是 Batman 下的单。
2. 后台持续理解,让主动服务更有用
- Ken 所说的原始素材,是电脑已有的事件流:切换应用、打字、在网站上停留,以及 Apple、Microsoft 和 Linux 设备间的 Wi-Fi 连接。全天运行的 agent 会从这些轨迹中建立层级关系:一次打字变成一条消息;从浏览器切换到 Codex,可能意味着用户在做研究或写 Google Doc。连接器能加快系统学习。人们低估了“电脑已经知道多少”。
- Joel de la Garza 举了一个具体例子:活动期间有20%的降雨概率,Second 持续实时更新天气预报,帮助他判断是否需要搭帐篷。Martin 马上问,他有没有要求系统监测天气。“没有,我没让它这么做。”Martin 还说,Second 会主动发短信,提醒他跟进一些自己没想到要回头处理的对话,也同样有用。
- Ken 区分了响应式主动服务和“反思式”主动服务。他对前者的讽刺是:一封邮件收到10条提醒,因为另外9个 agent 也在提醒你。反思式辅助则会把几个月前说过的话,与眼下的工作、目标、优先事项和偏好联系起来。瓶颈在于所有事情都得由用户发起:“人们总得先开口问。你本来不该非问不可。这些事情属于超智能。”
3. 硬件隐私与模型的信息披露判断,是两道不同的题
- Joel 提出最直接的质疑:如果软件能看到一切,用户凭什么放心?Ken 的出发点是:“一开始你本来就不该信任它。”他认为,这是一种更被动、更融入日常环境的新型 AI,架构必须同时考虑数据和推理。Second Local 把数据留在笔记本上,只发送给用户选定的服务商,并采用用户选定的推理方式。原则上,用户还应能自带 token 来分析本地数据。
- Ken 介绍的机密推理,是在启用机密计算的 GPU 中运行模型,并通过硬件检查和签名提供保障。信任基础由模型运营方转向硬件厂商 NVIDIA。Martin 指出,这和零数据留存不是一回事;Ken 称零数据留存是“政策承诺”,但这类承诺有法律效力。硬件方案的目标,则是让安全性能够通过技术手段验证。
- 对于云端托管,Ken 描述的做法是先在本地加密数据,再上传存储。解密可以短暂发生在内存中,也可以在能够进行远程证明的机密容器内完成,把机密推理的思路延伸至存储环节。目标链路是:本地加密、云端存储、在安全环境内解密。
- Martin 追问,角色扮演式提示词是否可能诱骗 LLM 泄露信息。Ken 把确定性、强制执行的控制措施与依赖上下文的信息披露判断区分开来。应用不应保存密码;其他分享决定则要依赖模型结合上下文判断。提示词注入“不是一个能被彻底解决的问题”。Ken 预计,模型推理能力提升后,抵御攻击的能力也会改善;这与硬件防护提供的保障并不是一回事。
4. 真实度、延迟和模型路由决定经济账
- Ken 粗略估算的工作负载是:10个 agent 全天候运行,每秒处理60 tokens。按 Opus 5.5 的定价,他估算每天成本为1,000美元;改用 DeepSeek Flash,则约为每天60美元。这些是示例推理工作负载的成本,并非订阅报价。Martin 听到第一个数字后感叹:“天哪,每天1,000美元?”
- Ken 说:“现在还不是人人都能用。”初期适合忙碌的专业人士,以及经常在不同工具间切换的人。他说,公司成立以来 token 价格已经下降超过50%,因为产品不断换用更新的模型。产品目前已可使用,但推广取决于能否扩大推理算力,并增加支持人员,同时确保用户数据受控且安全。
- Martin 问,放宽服务时效要求能否减少 token 消耗。Ken 说原则上可以:模型表现与成本之间需要权衡,“缓存时间”和“测试时间”也需要取舍。持续分析已存储的数据,可以提前建立更深入的理解;如果只保留原始日志,就要等到用户提出请求时再推理,耗时可能会“比如说,长10倍”。
- Joel 质疑,前沿模型相比普通模型是否能带来足够多的额外价值。Ken 说要看任务:识别日历邀请是否被改期,不需要太多智能;推断 Joel 每周的目标,则值得偶尔调用昂贵模型。因此 Second 要解决的是“如何设计模型调度机制”,决定何时运行哪些模型。为了控制成本,“必须”采用多模型组合;同时保持模型可移植,也为未来转向本地推理留出选择。
5. 个人 API 为尚待发现的应用打开空间
- 安装、授予权限并配置 token 后,后台 agent 会开始生成关于用户的 API:10分钟前发生了什么、下周的优先事项、提醒,以及记录人际关系和工作流程的 wiki。其他 agent 可以查询这些可迁移的上下文;Ken 预计,未来会有更多 API 和应用在其上出现。
- 对开发者来说,Ken 说 Second 是“对我们想做什么的超好记忆”。编程 agent 收到一张截图和一句“修好”,就能开始处理,无需再听一遍解释。第二项实际好处是“上下文连续性”:合上笔记本、拿起手机,用户就能接着工作,系统对刚刚做过的事情仍了如指掌。
- 一位使用 Second 的设计师发现,系统记录下来的按钮位置和颜色偏好,减少了开发个人应用时的修改轮次。Ken 更宏观的类比是 Altair 8800:这台电脑最初用处有限,后来电子表格等应用出现,才变得实用。他认为,应用开发和交互设计仍有很大空间;围绕个人上下文打造的杀手级应用,也许还要由开发者继续探索。
6. 产品界面收窄,愿景则走向无处不在
- Ken 直言:“我们在交互上犯了很多错。”打造界面和个人页面的难度超出预期,公司因此决定赋能其他开发者,并收起已有的产品界面:“现在只有短信、只有 API,其他什么都没有。”现阶段优先做好理解能力和系统建设;更广泛的界面创新则是长期方向。
- Martin 希望在厨房里拥有一个能实体互动的助手。Ken 借 Jarvis 打比方,认为只谈智能会漏掉关键:它“无处不在”。现阶段,一台联网 iPad 上的 agent 只要理解 API,就能通过云端 MCP 访问 Second,但操作系统限制了更深层的集成。长期来看,Ken 希望每个人都有一个 Second,各种设备都成为同一套理解能力的输入端和输出端。未来也可能出现专用设备,但“做设备很难”。
完整逐字稿
人们严重低估了电脑已经掌握的信息有多少。你不再需要向编程智能体解释任何事情。你只要截个图,说一句“修好它”,它就会知道你要修什么。接下来的问题是:你能不能把这些信息彻底分析一遍?
Grok Bot 缺少哪些上下文,而 First Person Labs 能够提供?
眼下最大的问题之一是,人们还得开口询问。你本不该需要问这些问题,它们可是超级智能。但如果有一个会自行构建的用户模型,而这些东西又持续在后台分析,你就可以立刻把这些信息分享出去。我们的重点基本上是为一个人建立模型,然后让这个人掌握控制权。
人们想到这个东西能看到你做的一切时,第一反应往往就是“哇,等等”。
比如说,如果你不信任我们,那么原则上你应该可以自带令牌,在本地分析笔记本电脑上的数据。
能不能谈谈你发现的那些更出人意料的使用场景?
在开发方面,结果发现——
Ken,感谢你来参加节目。很高兴能请你来聊聊你在 First Person Labs 做的事情。
这是你第一次谈这件事吗?
是的。
那你们是做什么的?
1. 构建一个关于你的模型
我们的重点基本上是为一个人建立模型,然后让这个人掌握控制权。所谓一个人的模型,基本上就是理解这个人的记忆和行为,但还不止于此,也包括其优先事项、偏好、目标、价值观、承诺和意图。
我们把问题说得简单一点。我是 Grok Bot 的重度用户,经常用它。First Person Labs 会怎么融入我使用 Grok 的过程?
它的工作方式是,你只要把上下文带到 Grok 那里就行。这是可移植的上下文。你打开 Grok Bot,说:“嘿,你能和我的那个东西聊聊,弄清楚我想要什么吗?”然后它们两个就会开始交流。你可以发出“帮我买张机票”这样的提示,它就会知道你说的是哪趟航班。
Grok Bot 缺少哪些上下文,而 First Person Labs 能够提供?
我可能会反过来问:如果你为自己构建一个用户模型,First Person Labs 还缺少什么?比如说,你对飞机座位的偏好、你希望多早到机场,以及你要飞去哪里。你坐头等舱还是普通舱?就目前来说,你得把这些全都向 Grok Bot 解释一遍,还得来回问好几轮。但如果你有一个会自行构建的用户模型,或者说关于你的模型,这些东西又一直在后台分析,你就可以立刻把它分享过去。
比如,OpenAI 昨天发布了两个新的、具备网络安全能力的模型。
嗯。
我有一阵子没用 Codex 了,但一直在用 Second。所以我现在可以直接开始用 Codex,它就能拿到我之前做过的所有其他工作,以及已经保存好的所有额外上下文?
对。你只要打开 Codex 问:“我的 Second 怎么样了?现在是什么情况?”
太棒了。
Second 有没有可能变成一个第一人称?它最终会成为第一人称吗,还是永远都要通过智能体来完成?
这是个好问题。我觉得用户模型是一个逐步发展的过程。你得从某个地方起步。先从一份基础的初始资料清单开始:你做过什么、生活中有哪些人,也许还有你的偏好。随着时间推移,它会开始分析你说话的方式——
对。
——你展现自己的方式,以及你分享信息的方式。
对。
随着时间推移,你会积累更多资料,并在此基础上加深理解;也许还会把其中一部分训练进模型里。这样一来,你就会从可移植的上下文,逐步发展成更像是对你本人的一种呈现。我常想到一个例子:阿尔弗雷德和蝙蝠侠。假如蝙蝠侠想买个芝士汉堡,让阿尔弗雷德去办,阿尔弗雷德不会透露这是蝙蝠侠要买的。他只会把汉堡买回来,并说明这是偏好。
阿尔弗雷德就是蝙蝠侠的管家。
哦,对,对,对。就是管家的意思。对。
或者说他的智能体。
对,或者说他的智能体。
或者说他的智能体。
对,对。
我应该把我的智能体叫阿尔弗雷德。
这主意真不错。
对,对。他会直接去办,然后你会信任他,因为你知道他对你有很好的了解,也知道这对把事情办成意味着什么。
挺有意思的。你说 First Person Labs 有一个叫 Second 的东西。Second 了解你是谁,也掌握相关上下文,然后其他智能体会和这个 Second 交流,对吧?
对。
它多少能理解你的偏好、你正在做什么,以及你想做什么。但我觉得这没有凸显出你一直在努力做的另一件事,我认为也值得聊聊。你实际上能够获取一个人的数字上下文,比如消息、聊天记录和电子邮件,也能把这些信息提供出来。能不能谈谈你们在这方面做的事情?作为 First Person Labs 最早的一批用户之一,我印象最深的不是它知道我是谁,而是它能很好地访问我所有的信息渠道。结果发现这是个非常棘手的系统工程问题,所以也许可以聊聊你们在这方面的工作。
2. 电脑知道得更多
确实是个非常棘手的问题,尤其是要做到安全和保护隐私。大致来说,它的工作方式是:现在你的电脑上有一条源源不断、仿佛无穷无尽的事件流。你使用电脑时,操作系统本来就会提供信息,比如你切换到了哪些应用、在哪些网站上停留、如何打字,以及 Wi-Fi 是如何连接的。这适用于 Apple、Microsoft,甚至 Linux 系统。
接下来的问题是:你能不能全天候彻底分析这条原始数据流,并在上面全天候运行智能体?首先可以进行综合分析。比如,你在某个应用里输入的一段文字,可能意味着你正在发消息。接着,当你在浏览器和 Codex 之间切换应用时,你可能在做研究,或者在写 Google 文档。你可以层层构建起对这些行为的理解;再加上现有的连接器,就能很好地理解你想做什么。我觉得人们严重低估了电脑已经掌握的信息有多少。
对。
这些信息就在那里,随时可以被调用,可以这么说。
还有一点很有意思:我也是这个产品的早期用户,最近它已经变得不可或缺。它能捕捉到一些事情,现在会给我发消息提醒:“嘿,你和某人在这里有一段对话,看起来情况已经变了。”昨天我们在筹划一场活动,当时有 20% 的降雨概率。它一直实时更新天气预报,告诉我们是否需要搭帐篷,这种能力非常强大。
是你让它这么做的吗?
不,我没让它这么做。
对,对,对。
它——
我用自己的 Second 时也有这种体验。我真的会收到 Second 发来的短信,告诉我一些我确实需要知道的事情——
对。
——和某段仍在进行中的对话有关,而我自己甚至都没想到这一点。它真的很体贴。
对,而且太神奇了。我真的很好奇:你们是怎么做到的?那些我本来会忘掉的事,它确实能抓住。
这又回到了对一个人的建模:理解什么事情对他可能重要,以及此刻出现了什么相关情况。我觉得主动性是人们经常讨论的话题:AI 在你需要的时候主动提醒你、提供帮助。但主动性也有很多层次。我会从第一层说起,也就是我称之为“响应式主动”。意思是收到一封邮件,然后网上有个梗说,现在你会因为一封邮件收到 10 条通知,因为另外九个个人智能体也都来提醒你。响应式主动很直接,也很容易做到。更难的是我所说的“反思式主动”:它能把许多事件串联起来,并跨越较长时间跨度进行理解。它会意识到:“好,几个月前你说过这件事,而最近你一直在朝着自己的目标努力。”
这是你的优先事项。这些是你待办清单上的一些事情,顺便说一句,你更喜欢这样。把这些线索串联起来,就能让它更主动得多。我觉得这也暗示了未来人们与电脑进行个性化互动的方式。互动不会再侧重于对事情做出反应,而会更多地去问:“我能为用户采取哪些措施?有哪些事情我可以主动替用户做?”我觉得这正是目前最大的瓶颈之一。人们必须开口要求,但这些事情本来就不该需要你开口。它们超级智能。
是啊。你们做出了一个能在当下知道我需要什么的东西。这挺厉害的。
我想把它讲得非常具体,让听众都明白:First Person Labs 提供什么?然后我还有个问题。具体来说,它会创建一个叫 Second 的东西。你创建一个 Second,它就能访问你所有的数字上下文。这很不可思议。它能获取诸如击键记录、你所有的消息、所有频道、所有数据。它以非常安全的方式做到这一点,并以此成为你的私人管家,就像阿尔弗雷德,对吧?
对。
然后它会与你的智能体互动。
对。
所以它本身不是一个智能体。它不是 Claude、ChatGPT 或者——
对。
——Grok。它是一个独立的东西。或者说 Dot。它是一个独立的东西。
对。
然后它会把这些信息提供给智能体,对吧?这就是它的作用。这里有件挺有意思的事。我用 Grok,是 Grok 的重度用户,而且我有好几个 Grok。我有一个用来追踪我的合成器,一个用来追踪我的房地产,还有一个用来帮我处理家庭事务——但愿不会用到,不过我确实需要它。所以我有好几个这样的智能体。我有一个 Second,它们会和 Second 对接。你觉得随着时间推移,我会有第二个、第三个、第四个、第五个 Second 吗?还是你觉得最后它会成为你唯一的管家?
嗯。我觉得我们现在有很多个人智能体,这种情况大概只是过渡阶段。智能体会开始各自专精,就像人一样。有些智能体专注于一件事。比如,有些专门负责浏览亚马逊和购物。它们在这方面非常擅长,因为它们拥有相关数据和连接。有些智能体则会专门负责保护你的数据——
是啊。
——并确保符合你的利益。
是啊。
我觉得 Second 的定位就是这样。你应该可以把自己人生的全部上下文托付给它。
是啊。
它就像一个保险库。随着时间推移,当你与软件世界打交道,甚至与硬件世界打交道时,它会为你提供指引。
所以你觉得它会一直是一个 Second?
对,它会一直是一个 Second,不会有第三个。
不会有第三个,也不会有第四个。
对,不会有第三个。
所以,Second 就是你唯一信任的智能体,它掌握你所有的个人数据,真正了解你是谁,并且能与你所有其他智能体互动。
对。
它就像蝙蝠侠的保险库。
对。你可以临时启动一些子智能体,用完之后它们就会消失。但关键是,你需要一个一致、连贯的数据存储,而这个存储正是它能给你带来价值的地方。
我还是个对安全很谨慎的人,不过和我的——相比,我大概算是比较早采用这些技术的人了。
先说明一下,Joel 花了很久才开始用社交媒体。
我才刚上 Twitter。
那是几周前的事了,老兄。各位——
我可能——
你们在科技行业都待了 30 年了。
我已经——
先说明一下。
是啊,我是有点多疑。但我很喜欢 Second,不得不承认,你的背景和驱动你做这件事的原因,再加上我们之前关于安全架构的深入讨论,都让我真正放心了。很想请你详细讲讲,因为我觉得人们一想到“这东西能看到你做的一切”,马上就会觉得:“哇。”对吧?
是啊。一开始你本来就不该信任它。
你本来就不该信任它。
对。
我觉得你们在打造一个值得信任的产品方面做得非常出色。也许可以先聊聊它的架构是什么,以及是什么促使你们去打造它。
是啊。我觉得从某种程度上说,这是一种新型 AI,它的工作方式会和过去非常不同。以前,是你发起一次交互,然后得到一些结果。这一次,它会更被动、更融入环境,也会一直待在那里。你必须考虑该如何设计它的架构,以及数据会流向哪里。归根结底,AI 只有两样东西:数据和推理。你拥有这些数据,并希望确定能对这些数据进行什么推理。这是我们在 Second 中内置的功能。首先,你可以选择使用哪种推理服务。如果你不信任我们,原则上,你应该能够自带令牌。
嗯哼。
然后你就可以用这些令牌,让 Second 在你的笔记本电脑本地分析数据。
不过你们也为 Second 提供了一个使用可信执行的推理服务提供商。
是的。我们设想,随着时间推移,人们不会再自带令牌,因为现在自带令牌的人,大多用的是 OpenAI 或 Anthropic 的令牌。你会希望提供一个稳定的选择,并告诉用户:“如果你使用这些令牌,就不会有人查看你的数据。”有时这是通过政策保证,有时则是通过硬件保证。机密推理这个概念正在获得关注。它的意思是把模型放进某些 GPU 里,然后 GPU 上有一个叫作“机密计算”的特殊开关。你可以打开它。打开之后,基本上就能证明里面运行的只有这个模型。没有人能看到内部内容。这样,你就不必信任运行该模型的人。你信任的是硬件——
是啊。
——也就是 NVIDIA。
现在还有另一个经常被提及的概念:零数据保留。这和你描述的情况很不一样。
没错。零数据保留是一种基于政策的承诺。
嗯哼。
意思是,我作为服务提供商,我觉得我得——
基本上就是我向你保证。
我向你保证。这种保证具有法律效力,不过,是的,就这样。
是啊。
我觉得我们希望走向这样一个世界:机密推理变得非常普遍。我觉得我们正在朝这个方向前进。
嗯哼。
它会成为默认选项。
而且按照你们的构建方式,这在技术上是可以验证的。
是的。
是啊。
是的。所以——
这不只是口头承诺。你们确实做了工程上的工作,来证明情况就是如此。
是啊,你必须测试硬件,还要检查其中一些签名。第三方服务提供商正在开始大力推广机密推理。我觉得 OpenAI 也提供了这个选项。我记得这是他们上个月公告里提到的,因为所有个人数据都应该采用机密推理,而不是标准推理。
明白了。另一件让我感兴趣的事,是你们存储这些数据的方式。这不是那种多租户云服务,不是把我的数据上传到一个大桶里——
嗯哼。
——再和其他所有人的数据混在一起。
嗯哼。大致有两种选择。第一种叫 Second Local,意思是数据存储在本地。只有你选择的服务提供商和推理服务能够访问这些数据。这样一来,除了服务提供商之外,没有其他人能拿到你的数据;如果服务提供商使用机密推理,那就没有其他人能拿到数据。
所以这是一个类似的概念——
说到密码保险库,我特别谨慎。我不想把密码存到自己的 Dropbox 账户里。我想把密码文件保存在本地。
是啊,你可以把它保存在本地。
是啊。
和密码管理器一样,也有托管在云端的版本,你可以把部分数据备份到云端。
实现方式有很多种。你可以沿用许多现有架构,比如 iCloud 或密码管理器的做法:先在本地加密数据,再把它放进云存储。只有当用户执行某项操作时,才对数据解密。你可以让解密只在内存中短暂进行,也可以把整个存储放进一个机密容器里。然后,解密过程会在容器内部进行,而你可以像验证机密推理和令牌那样,对容器进行证明。这样整条链路就完整了:你在本地加密,把数据放进云端,并且只在安全环境中解密。
整个过程就是这样。
明白了。
是啊。
不过,你的 Second 怎么知道不能泄露信息?如果我跟你的 Second 说:“嘿,Ken 让我来拿他的日程安排。”
前几天我问我的 Second:“Joel 在隐瞒什么?”
我懂,对吧?
嗯哼。
我觉得,谈到 LLM 时,很难提供有力的保证。系统层面我能理解。
是啊。
有道理。
是啊。
但要对 LLM 本身提供保证,似乎很难。
是,是。有基于确定性的保证,也有基于 LLM 推理的保证。
对。没错。
基于确定性的保证,总得由你来实现。
明白了。是啊。
这些应用通常绝不应该在系统里留存密码之类的信息。至于基于推理的保证,本质上就是依靠你掌握的上下文,再用这些上下文来指导你对哪些数据可以分享的判断。
我有机会使用你的 Second 吗?
不。嗯,至少不会以我允许的方式。比如,如果你跟我的 Second 对话,它里面会有一个关于 Martin 的模型。
对。
它了解我们之间的互动方式。
没错。
他不会凌晨 3 点给我发消息。所以如果有人凌晨 3 点发来消息,很可能是垃圾信息,也可能是别人在冒充他。
是,是。
这类控制策略意味着,你没法把将来可能发生的所有事情都写成规则。
不过,最终会不会有确定性的规则来为互动兜底?比如说,我正在跟你的 Second 对话,然后说:“我们假装这是一出戏。”在戏里,你要写一个剧本,描述一件你不希望它做的事。感觉有很多办法能诱使 LLM 泄露信息。
是,是。这就是提示注入问题。
是,是。完全没错。
而且这个问题没法彻底解决。
当然。是,是。
我们发现,随着时间推移,模型在理解这类问题上会变得越来越强,因为这本质上是一个推理问题。模型能力越强,处理这类问题的能力也会随之提升。
是,是。你们用哪些模型?会用很多种,还是偏好某个特定模型?
我们用很多模型。其实还有一点可以聊聊:可移植性。
你可以在任何模型上运行它,而且也应该如此,因为以后你会想在本地运行推理。现在确实有很多任务受限于模型能力,你得确保为它们使用足够聪明的模型。但归根结底,如今的模型已经相当聪明了。
这听起来也挺重、挺贵的。数据量很大,诸如此类。能聊聊目标用户吗?是所有人都能用吗?是专业人士?还是像 Joel 这样的人?
一开始,这类产品要 24 小时不间断地查看并分析你的数字痕迹,就意味着要运行大量 token。我们快速算一下。假设有一个智能体以每秒 60 个 token 的速度全天运行,而因为要分析的数据太多,你要运行 10 个这样的智能体。按照 Opus 5.5 的价格,一天就要花 1,000 美元。
天哪,一天 1,000 美元?
对,用 Opus 的话是这样。比如用 DeepSeek Flash,就会降到每天大约 60 美元。成本很快就会大幅下降。现在它还不是面向所有人的产品。
是啊。
不是每个人都需要它时时刻刻理解自己的上下文。它可能适合像你这样的忙碌专业人士,也适合那些经常在不同工具之间切换的人。
对。是啊。
我想,随着时间推移,成本会继续下降。自从我们创办公司以来,token 价格已经下降了 50% 以上。新模型不断推出,能力更强,你把它们换上去,成本就会继续下降。
有没有可能做一个面向非专业用户的版本,减少 token 用量?不是降低质量,而是提供宽松一些的服务等级协议。这种方案行得通吗?
原则上可以做到。本质上,你要在模型的忠实度,也就是它对你的理解程度,和成本之间做权衡。这种权衡取决于你想在测试时计算和缓存时计算上投入多少。
缓存时计算,指的是你有这么多数据,不断分析它们,以便更深入地了解一个人,这会花很多钱。另一种做法是说:“这里是我今天做过的事情的原始日志。”根据原始日志回答问题,通常会在测试时花更多时间,比如长 10 倍,因为模型必须对这些内容进行推理。
什么时候能用?
现在就能用。不过目前我们还得稍微扩充推理能力,并增加支持团队。我们想确保产品以负责任的方式推出。我想确保人们的数据由他们掌控并且安全,因为这是一种会接触大量数据的新型工具。
作为用户,我发现它在一些我没想到的方面特别有用。你大概是最重度的用户吧?毕竟是你做出来的。
是啊。
也许你可以聊聊你发现的那些出乎意料、又很有用的使用场景。
对我们来说,在开发过程中,它成了非常好的记忆库,能记住我们想做什么。你再也不用向编程智能体解释任何事情。你只要给任何东西截个图——
哇。
——然后说:“修好它。”
对。
然后它就知道你在修什么,以及你想怎么修。我经常在外奔波,所以我把一种体验叫作上下文连续性:你可以在笔记本电脑上浏览某些内容,合上电脑后拿出手机,仍然处于同一个上下文里。它知道你截至那一刻一直在做什么,你可以接着在手机上做事,也可以用它来写那封邮件。我觉得,我们对各种使用场景的理解还处于非常早期的阶段。我们还远远没有充分利用系统所掌握的上下文。
要释放它的潜力,还需要大量探索、构建应用和设计交互——
是啊。
——这些都得做。
感觉这类产品获取的上下文越多,模型效果就越好,对吧?
是啊。
这就是它的切入点。我很好奇,因为我们刚才聊到了在模型之间切换、模型可移植性和模型成本。就我所见,使用顶尖的前沿模型和使用更通用的模型,差别并没有特别大。你们在用 Second 做很多这类事情时,也有这种体会吗?
对,这是个好问题。如果你想分析“你在电脑上做过的哪些时刻在语义上有意义”——比如说,你打开日历,把一个邀请的时间挪了挪——这种事不需要 Fable。
是啊。
这类任务有很多。本质上,你要理解的信息有不同层级。另一类信息是:“Joel 这周的目标是什么?”
嗯哼。
这类问题需要用很贵的模型,但不需要频繁运行。
嗯哼。
所以 Second 本质上需要一个模型编排框架。这是个编排框架的设计问题:什么时候用什么模型,诸如此类。这也是为什么从一开始就要构建一个可移植的系统。新模型总会不断推出。比如 Jeff 就推出了。结果发现,Jeff 在信息检索方面特别强,对吧?
真的吗?
是啊。
你们用 Gemini 吗?
用。
不错。
Gemini 几乎就是为信息检索量身打造的。关于你的数据非常多,而且测试时的查询是动态的,它能马上检索出相关信息。
所以你觉得,随着时间推移,这会变成一个由多种模型组成的组合吗?
是,是。
是啊。
基本上,出于成本效率的考虑,就必须这样。
那我们假设有人开始使用 Second,或者注册了账号。聊聊产品本身,以及他们能用到什么功能吧。说得具体一点:人们怎么跟它交互,能控制哪些内容,等等。
嗯哼。
是的。目前它的使用方式是先安装一个应用。
好。
应用会请求一些权限。
对。
然后你授予权限,指定你的 token,然后它就会开始在上面运行智能体。
是啊。
还有——
对,我记得安装时我心想:“连接 Slack,连接 Signal,连接 WhatsApp。”你说的是这个吗?
不是,我的意思不是那个。当然,那也是其中一部分。
噢。
还有原始的电脑数据流,基本上就是这个。
噢,对。是,是,是。
是啊。连接器会有帮助。这是一个样本效率问题,它们能让模型学得更快。
明白了,明白了。
然后它就开始运行后台智能体,接下来你基本什么都不用做。后台智能体会持续运行,然后你就开始把自己转化成这些 API,对吧?有一个 API 记录你 10 分钟前刚做过的事。
是啊。
还有一个 API,记录你下周要做什么、你的优先事项是什么。
是啊。
还有一个 API 管理你的提醒事项,还有一个 API 管理你的维基:你生活中的人,以及你生活中的流程。
是啊。
我最初设想的是,它可以随身携带——你可以把它带到任何地方。
是啊,是啊,是啊。
智能体可以查询它。
是啊,是啊。
不过随着时间推移,会加入越来越多的 API,人们也可以基于这些 API 构建应用。
哦,有意思。
是啊。
所以不只是让 Second 访问这些信息,你实际上还可以构建应用。应用会由 Second 来构建,还是由人来构建?
我觉得我们希望让人们发挥他们的——
或者让 Grok 机器人来构建,对吧?
让 Grok 机器人来做,是啊。好吧。
由 Grok 机器人来构建应用。
你告诉它去做就行。
是啊,是啊。
基于这些 API。是啊。
我们有个例子:一位设计师朋友一直在用这个产品。他有一套特定的按钮布局和配色习惯。这些东西在 Second 里多少都有记录。所以他自己开发应用时——
哦,这挺酷的。
——它就知道该怎么做。比如说,来回修改的次数就少得多。
是啊。
这让我想起几十年前第一台个人电脑问世的时候,比如 Altair 8800。它什么都做不了,你懂我的意思吧?你得自己给它编程。
是啊,是啊。
但没人会这么做。几年后,有人发明了电子表格,它才变得有用起来。
是啊,是啊,完全同意。
我觉得人们会想在它上面继续探索:“哇,我对自己有这么多了解。”
我喜欢这个想法。
然后我就能在上面随手构建各种东西。也许有人会碰巧找到突破口:在这个能告诉你“哇,真不错”的东西上,做出一个杀手级应用。
个人基础设施。
是啊。
你们计划改进界面吗?你花了很多时间谈它未来可能如何演进,但我一直把 Second 看作一个可以对话的智能体,至于 UI,那是别人的事。你们也打算在这方面创新吗?
我觉得这是我们长期会重点关注的方向,因为现在首先要解决的是系统问题,其次才是理解问题。
我能提个需求吗?
嗯。
我想回到家里,看到那种 70 年代科幻风格的 AI:屏幕上有个脑袋,我可以跟它说话。这很让人意外。我们有了这些智能体,它们非常聪明。我的 Second 也很聪明。我问它问题,它回答得很好。但它没有实体,真让我抓狂,老兄。要是将来 Alfred 真能成为一个实体化的 Alfred,我会非常开心。
是啊,是啊。我们在电影里经常看到这种设定,对吧?有个 Jarvis,人们总是在跟 Jarvis 说话。
可我们为什么还没有——
我们还没有 Jarvis,而且人们忽略了 Jarvis 的很多方面。关键不只是它聪明、能做事,更在于它无处不在:在你的门上,在你的盔甲里,也在你的屏幕上。这种无缝衔接、无处不在的体验很难——
我得说,我对科幻未来的想象,基本上是从开始用 Second 才真正开始的。我当时就想,终于有个东西真的掌握了上下文,感觉它了解我。我可以跟它聊事情,对话也切中要点。我确实觉得我们离那个未来又近了一步。但我们还是被这些设备束缚着,所以我不知道它最终会是个机器人、一个屏幕,还是别的什么。要是这个东西能在某种程度上脱离我的手机和我的——那就好了。
是啊。
是啊。
从长远来看,我设想每个人都会有一个 Second,所有设备都只是同一个系统的输入端。然后再把整个系统连接到其他输出端,比如你看的屏幕,甚至这个——
你身边漂浮着的这个球体。
是啊,是啊。还有门铃。
我只想要 Clapper 开关。有它我就满意了。
你读过 Iain Banks 的《文化》系列吗?
哦,读过,读过。
我超喜欢《文化》系列。
最棒的科幻系列。里面有最棒的具身 AI。它们会漂浮在你身边。总之,我想要的就是那样。
有意思的是,泛在计算这个概念已经被讨论了几十年,但至今还没实现。我们最接近的例子是 Apple iCloud,你的备忘录会同步,但它没有对应的——
我的意思是,iPhone 也算吧。
但我想说的是,只是——
我不想显得不知足,但这听起来确实挺让人失望的。
还有很多其他方面。Apple 做了大量工作,但还没有 AI 版本。你的上下文和它对你的理解无处不在。我觉得这会带来许多新的交互界面。
假设——我不是想抢话,这确实是我很自私地特别想知道的。如果我厨房里有一台 iPad,想让 Second 也在那儿,我该怎么做?
现在你能做的不多,因为操作系统把权限锁得很死。
我直接用 Grok 之类的就行吗?是这么回事吗?然后我通过 Grok 交互,由 Grok 再连接 Second?还是我直接给它发短信?
截至今天,你可以把它当作云端 MCP 来用。你在 iPad 上安装的任何软件,只要能联网,就可以作为智能体并理解这个 API。它就能在那里使用。之后会有一个应用,可以安装在你所有的交互界面上。也许再往后还会推出专用设备,不过做设备很难。
你可以让 Grok 给你打电话,然后开免提。直接跟它聊就行。
我一直就是这么做的。
有一种交互方式——
其实 Grok 的语音模式挺不错的。
真的很好用。
我用 Grok Bot 配合我的 Second,语音模式挺不错的。也许这就是办法:直接打开语音模式,让它和我的 Second 配合。
我开车时也想过这个。
是啊,确实很聪明。
一种很有意思的交互方式是散步时给 Grok Bot 打电话,然后说:“嘿,你能和我的 Second 聊聊吗?我们能不能一起把事情梳理一下?”
不,我真的就是这么做的。我把 Grok Bot 切换到语音模式,让它和 Second 对话,对吧?
是啊。
是啊。会有很多很厉害的人致力于让语音和聊天变得更自然。现在我们会专注于——
我再问最后一个问题。Joel 刚才提到了这一点:你是个非常硬核的系统工程师。你工作时——你的导师是 Percy?
是 Percy Liang。我和他是朋友。
他也和 Dan Boneh 共事过,Dan 是个非常硬核的安全专家。你走到今天,很大程度上是因为这些硬核的安全技术,而你们正在构建一个相当严肃的系统。它既非常安全,功能也很强。另一方面,我用它时,用户体验又很棒。这家公司内部会不会有点人格分裂:既要构建像诺克斯堡一样坚不可摧的基础设施,又要让它非常好用?还是说,大语言模型基本上解决了界面问题?
我们要解决两类问题:基础设施问题和交互问题。
这两者完全不同。你做的已经是技术栈里最底层的部分了。我是说,那可不是硬件。
我们在交互方面犯过很多错。我们曾试图把所有精力都放在交互上,结果发现这其实非常难。要打造令人愉悦的体验,需要处理很多细节。
你是说真的去设计一个 UI?
对。既包括 UI,也包括你可以在这个系统之上创建什么样的个人页面。我们意识到,要把这些做好需要很长时间,而现在正是每个人都想利用对自身的这种了解来构建东西的时候。所以我们希望让大家能够自己去做,而不是由我们来做。我们决定收缩现有的交互入口。现在只有文本聊天和 API,没有别的。严格来说,你也可以把它当作一个完整的智能体使用,比如在笔记本电脑上充当协作智能体。它可以运行 Bash 等工具,但我们的设计初衷是尽量精简,好让交互更顺畅。
明白了。Ken,谢谢你来做客。祝贺你们取得的一切成就,也祝贺产品发布。你有什么想留给听众的话吗?
今天就去试试吧。你可以在 to.computer 访问它。这是一个很短的网址,我们希望尽快让你用上。如果你认同我们的使命,欢迎加入我们。还有很多东西等着我们去打造。
太好了。非常感谢。
谢谢。