跳到正文
原文
虎嗅· Z Potentials©·· 1 小时前精选AI 评分70

OpenAI AI电脑使用产品进展

a16z对谈OpenAI产品负责人

AI 摘要

OpenAI的Computer Use Agent已能完成人类用电脑能做的所有事情,速度超过普通人并逼近专家水平,其增量体现在可靠性提升、抵抗prompt injection和对齐增强上。企业端应用包括ERP、采购、财务对账等

正文 · 中文整理稿

OpenAI正在赌一件听起来近乎失控的事:让AI像人一样使用电脑,然后比人更快。 在a16z播客的一场深度对谈中,OpenAI Computer Use产品负责人Ari Weinstein与James Sun首次系统拆解了这条产品线的现状与野心。 两人的判断毫不含糊——自Astra出现之后,Computer Use Agent已能完成一个人用电脑能做的任何事情; 速度上已超过普通人,正逼近"超人类"水平,也就是比一位电脑使用专家更快。

访谈里真正值得细看的,是那些"难以察觉"的增量:Astra在99%与97%可靠性之间那点微小却关键的差别,它在抵抗prompt injection上的对齐提升,以及dots如何主动发现你漏掉的外部会议邀请、登录Sentry提取日志再给出分析。 企业端的落地同样朴素得近乎无聊——ERP、采购、财务对账、市场调研,全是没人愿意亲手做的苦差事,却正是机会所在。 历史软件不会一夜消失,新软件也在同时生长。 他们给创业者的提醒反而克制:护城河仍在速度、执行节奏与行业纵深。

Ari Weinstein与James Sun都在OpenAI负责Computer Use产品,前者偏消费端,后者偏企业端,两人此前都创办过公司。 Seema Amble与Fabrizio Serafini是a16z投资人,此前合写过一篇Computer Use Agent的文章。 本期访谈于2026年10月发布。 我们给Computer Use的理解,并不是说你拿起一个单独的工具,然后说“我想用它做点什么”。 它更像是模型为了完成任何任务所需的通用API。

任务越复杂,它在推进过程中某个阶段接触到Computer Use的可能性就越高。 采购是我们看到的一个重要方向。 财务也是另一个很有意思的类别。 很多美国的财务软件没有能快速提取数据的API。 因此,财务团队可以让Computer Use查看这些账簿,进行对账,把值得关注的内容标记出来,交给某个人处理,或者继续展开调查。 如果你看看如今正在生产环境中运行的软件,很多都是10年、20年、30年、40年前写的,我不认为它们会在一夜之间消失。 我觉得我们将进入一个时代,任何软件都可以为一百个人,甚至一个人设计。

今天仍然存在的护城河之一,就在于速度与执行节奏。 在我看来,仍然有很多垂直行业对AI的扩散要慢得多。 如果存在需要大量彼此割裂的软件的复杂工作流,Computer Use就是把它们连接起来、完成整个端到端工作流的好方法。 现在用Computer Use,你还得花心思考虑怎么用它、记得去用它; 我非常期待一个世界: Agent能够适应你,而不是让你去适应它。 Astra的增量在“难以察觉”的细节里。 Astra是一个很惊艳的模型,很多事情都做得很好。

在Astra之前,我们的Computer Use模型其实已经非常出色了。 就我个人的零散经验而言,Astra真正带来的帮助主要体现在一些细节上。 第一,它平均来说快了一点,因为完成同一个任务所需的思考Token更少。 它在某些类型的创造性工作上更出色。 比如,我们在发布视频里做过一个演示:你可以和它对话,而它会在Microsoft Paint上画东西。 它在这类事情上好得多,我觉得这大概也能迁移到其他类型的创造性任务上。 最后一点是,我发现它在一些细节上就是更可靠。 我觉得自己对它更信任了一点。

Astra也是我们目前对齐程度最高的模型。 所以,回到信任这个话题。 如果你看看它的系统卡,就会发现它在抵抗prompt injection方面好得多,在避免采取任何非预期行动方面也好得多。 创造性方面也有一些有趣的表现。 我们内部让Astra跟5.6打游戏,它每次都赢。 网上还有一些很酷的推文,说Astra大概30小时左右就能打通Fallout之类的。 所以,它在玩电子游戏方面也确实非常厉害。 dots特别酷,有几个原因。

首先,它非常主动,所以无论在生活还是工作中,当dots提醒我一些完全被我遗漏的事情时,我常常感到很惊讶。 就在前几天,我们内部的邮件系统收到外部会议邀请时,邀请实际上不会出现在日历里,所以我漏掉了不少外部会议。 现在dots会帮我发现这些事情。 它会说:“你的收件箱里有一封邀请,但日历上没有。 让我在你的Gmail里接受它,让它显示出来? ”这简直帮了大忙。 虽然只是件小事,但影响很大。 我还让它主动查看一些事情。 我觉得它特别擅长主动寻找那些每次形式都不那么明确的任务。

举个我也设置过的例子:我们内部用Slack,任何时候都有大量消息。 以前我用Codex的自动化功能设置了一个Slack任务,每隔一小时或30分钟拉取信息。 结果我对很多通知都视而不见了,因为它们有时候有用,有时候没用。 有了dots,我可以给它一个高层目标,比如:“如果我汇报链上的任何人说了什么,提醒我。 如果有人对某些产品提出关键反馈,你自己判断一下,也帮我处理。 ”因为它有一台云电脑,我还建立了一个挺酷的工作流:有人报告情况时,通常会附上Sentry日志。 我可以让它使用云电脑,实际操作我本地的浏览器。

dots会同时控制你的本地电脑和云电脑,登录Sentry、提取并分析日志,再给我反馈。 这样就省掉了整个流程,不用我先判断哪条反馈重要,查看之后再去Sentry下载日志,把日志交给Codex并询问它的看法。 现在这一切都可以自动化。 速度才是产品问题:从“比普通人快”到“比专家快”。 OpenAI对Computer Use非常看好。 我们在这个领域投入了很多,我认为我们已经做出了速度最快、价格最低、可靠性最高的Computer Use产品。

来源:虎嗅 · huxiu.com

00