通信人家园

标题: 完整版: Sam Altman主旨演讲| OpenAI开发者日2025  [查看完整版帖子] [打印本页]
时间:  2025-10-7 10:34
作者: see122     标题: 完整版: Sam Altman主旨演讲| OpenAI开发者日2025


未经许可不得转载




文 - Web3天空之城

旧金山科技界的目光再次聚焦于OpenAI。距离上一次开发者日已近两年，人工智能的版图发生了剧烈变化。OpenAI的领导者们登上舞台，他们带来的不仅仅是产品更新，也是一份对未来软件开发、商业应用乃至创造力本身的全新蓝图。

从最初200万的开发者社区到如今超过400万的庞大生态，从每周1亿活跃用户到突破8亿的惊人数字，OpenAI展示了其平台无与伦比的增长势头。但这不仅仅是数字的胜利。正如奥特曼在开场所言，这次活动的核心议题是：“让使用人工智能进行构建变得更加容易。” 这家引领潮流的公司正在系统性地拆除开发者面前的障碍，旨在将从一个想法到一款可用产品之间的距离，从数月、数年，压缩到几分钟。


核心观点摘要

“人工智能已经从人们玩乐的东西变成了人们每天构建的东西。” “我们正在进入一个改变软件编写方式的新时代。任何有想法的人都可以为自己、家人或社区构建应用程序。” “我们希望从个人开发者到大型企业，每个人都能从中（AgentKit）获得很多价值。” “如今，OpenAI几乎所有新编写的代码都由Codex用户编写。我们使用Codex的工程师每周完成的pull request数量增加70%。” “构建软件曾经需要数月甚至数年，现在只需要几分钟。要用人工智能来构建，你不需要一个庞大的团队，只需要一个好主意。” “现在唯一的限制是你的想象力。”
开启ChatGPT“应用商店”时代：Apps SDKOpenAI的第一个重磅发布，瞄准了其拥有数亿用户的旗舰产品——ChatGPT。官方正式向开发者开放ChatGPT，推出了Apps SDK，意图将其打造成为一个类似于苹果App Store的全新生态平台。“这将催生新一代的交互式、自适应和个性化的应用程序，大家可以通过聊天方式使用它们。”

这一举措意味着开发者不再仅仅是API的调用者，而是可以直接在ChatGPT内部构建拥有完整前端UI和后端逻辑的原生应用。通过Apps SDK，应用可以连接数据、触发外部操作，并渲染完全交互式的界面。

现场演示生动地展示了其潜力。Coursera应用让用户可以在观看教学视频的同时，直接向ChatGPT提问视频中的内容，实现了“与应用对话”。Canva应用则能根据对话内容，即时生成符合要求的设计海报和演示文稿。而Zillow应用更是将房产搜索、筛选、地图浏览等复杂体验无缝嵌入到对话流中。

对于开发者而言，这不仅仅是一个新的技术栈，更是一个巨大的分发渠道。OpenAI承诺，“当大家使用Apps SDK构建时，大家的应用程序可以覆盖数亿Chat GPT用户。” 同时，平台将支持多种盈利模式，包括未来的“代理商务协议”，允许在ChatGPT内实现即时结账。这无疑是在宣告一个以对话为核心的全新应用生态的诞生。

从原型到生产：AgentKit赋能“智能体”开发

如果说Apps SDK是构建“人机交互”的新界面，那么AgentKit则是打造“自主任务”执行者的核心引擎。OpenAI观察到，尽管业界对AI代理（Agent）充满期待，但实际上很少有代理能够投入生产和大规模使用，其背后的复杂性——如编排、评估、工具连接和UI构建——让许多开发者望而却步。

为了解决这一痛点，OpenAI推出了AgentKit，一个旨在将代理开发从原型快速推向生产环境的“全家桶”工具集。它包含三大核心组件：

零售巨头艾伯森（Albertsons）和客户平台HubSpot的案例，展示了AgentKit的商业价值。艾伯森利用它构建了一个商业分析代理，当冰淇淋销量下降时，代理能自动分析季节性、历史趋势等所有相关数据，并给出调整建议，将过去漫长的报告流程压缩为一次简单的提问。

为了展示AgentKit的开发速度，OpenAI的工程师克里斯蒂娜在现场发起了一项挑战：在8分钟内为开发者日网站构建并部署一个交互式AI代理。她通过可视化的AgentBuilder，迅速连接了分类器、会话代理、文件搜索工具、安全护栏，并自定义了视觉小部件。最终，在倒计时结束前，一个名为“问问弗罗伊”的AI助手成功上线，现场观众可以立即扫码体验。“仅仅几分钟内，我们就以可视化的方式设计了一个代理工作流程……现在你们都可以使用它了。” 这一演示有力地证明了AgentKit正在极大地降低构建复杂AI代理的门槛。

重塑软件工程：Codex与GPT-5 Codex的进化

本次发布会的高潮，无疑是关于软件工程未来的演示。OpenAI宣布其AI编程助手Codex正式结束研究预览，进入正式发布（GA）阶段。更重要的是，它现在由一个专门为编码任务训练的全新模型——GPT-5 Codex——驱动。

Codex已经深度融入OpenAI自身的开发流程。一组惊人的内部数据显示：“如今，OpenAI几乎所有新编写的代码都由Codex用户编写。我们使用Codex的工程师每周完成的pull request数量增加70%，而且几乎每个OpenAI的PR都经过Codex的审查。”

现场演示将这一理念推向了极致。工程师通过自然语言，指挥Codex完成了一系列令人瞠目结舌的任务。首先，他要求Codex创建一个控制面板来操作舞台上方的索尼摄像机，Codex不仅搭建了界面，还自主学习了拥有30多年历史的VSCA协议，并生成了连接摄像头的Node服务器代码。

随后，任务难度升级：

<ol>
  • 1.  连接Xbox手柄控制摄像头 ：Codex自动制定计划、浏览文件并完成了集成。
  • 2.  通过语音控制全场灯光 ：工程师要求Codex连接到一个MCP服务器来控制场馆的照明系统。Codex在执行过程中甚至能自主发现需要额外信息，并主动去GitHub查找相关文档来解决问题，展现了惊人的类代理行为。
  • 3.  实时编程、动态修改 ：最令人震撼的一幕是，工程师通过语音指令，要求Codex“显示一个像电影结尾那样的演职员表叠加层，但演员是所有参会者”。借助新发布的Codex SDK，语音代理接收到指令后，竟然实时修改了当前应用的React代码，自动重新加载，并在屏幕上滚动播放出演职员表。

    </ol>“为了实现这个，我仍然没有写一行代码，” 演示者总结道。这不仅仅是代码补全，而是AI作为一个不知疲倦、理解上下文并能自主解决问题的“队友”，正在从根本上改变软件的创建过程。

    底层引擎全面升级：GPT-5 Pro与Sora 2开放API

    支撑这一切上层应用的，是OpenAI强大的基础模型。此次，OpenAI也带来了多项关键的模型API更新：

    玩具巨头美泰（Mattel）的合作案例展示了Sora 2在创意工作流中的颠覆性。设计师可以从一张草图开始，利用Sora 2迅速将其转化为可供分享和反馈的动态产品概念视频。“用人工智能观看创意如何快速转化为可分享、可行的设计，真是令人难以置信。”

    从Apps SDK的生态构想，到AgentKit的智能体工厂，再到Codex的软件工程革命，以及底层模型的全面进化，OpenAI正在全方位加速AI的应用落地。正如其在活动结尾所强调的，一个全新的构建时代已经到来。在这个时代里，“构建软件曾经需要数月甚至数年，现在只需要几分钟。” 对于全球数百万开发者和创业者而言，唯一的限制，或许真的只剩下他们的想象力了。

    ==天空之城全文整理版==

    早上好，欢迎来到开发者日。感谢大家来到旧金山，我们致力于构建人工智能的未来。

    距离我们的第一个开发者日已经快两年了。我们，但更重要的是大家，从那时起已经走了很长的一段路。

    2023年，我们有200万周活跃开发者和1亿周活跃用户。我们的API每分钟处理大约3亿个token。至少在当时，这对我们来说已经很多了。

    今天，有400万开发者使用OpenAI进行构建。每周有超过8亿人使用，我们在API上每分钟处理超过60亿个token。

    感谢大家。人工智能已经从人们玩乐的东西变成了人们每天构建的东西。

    在我身后的屏幕上，是房间里那些在我们的平台上开发应用程序并已跨越一些重大里程碑的开发者的名字：处理了100亿个令牌，1000亿个，甚至1万亿个。

    让我们为他们鼓掌。

    我谨代表OpenAI的所有人，感谢大家完成了如此出色的工作。大家是推动未来前进的人，看到大家已经完成的事情让我们对接下来会发生的事情感到非常兴奋。

    虽然庆祝大家取得的成就令人兴奋，但我们仍然处于这段旅程的早期阶段。所以今天我们将专注于对大家来说最重要的事情，那就是让使用人工智能进行构建变得更加容易。

    我们一直在倾听开发者的意见，了解大家在哪里遇到困难，大家希望我们接下来构建什么，以便大家可以构建更多的东西。

    今天我们为大家准备了四件事。我们将向大家展示如何使在Chat GPT内部构建应用程序成为可能，以及如何帮助大家获得大量的分发。我们将向大家展示构建代理将如何变得更快更好。大家将会看到我们如何让编写软件变得更容易，承担编码中重复性的部分，以便大家可以专注于系统和创造力。在这一切的底层，我们将为大家提供模型和API的更新，以支持大家想构建的一切。

    我们认为现在是历史上成为建设者的最佳时机。从想法到产品的过程从未如此之快。在这一点上，真的能感受到加速。

    首先让我们看看Chat GPT中的应用程序。我们希望Chat GPT成为人们取得进展、提高效率、更具创造力、更快学习以及更好地完成生活中想要做的事情的绝佳方式。人们使用它的创造性方式一直让我们感到惊讶。

    自我们的首个开发者日以来，我们一直致力于弄清楚如何向开发者开放Chat GPT。我们尝试了诸如GPTs之类的东西，我们采用了诸如MCPs之类的标准，并且我们使开发者能够将Chat GPT连接到越来越多的应用程序。其中一些东西奏效了，一些没有，但我们一路学到了很多。

    今天我们将向开发者开放 Chat GPT，以便在 Chat GPT 内部构建真正的应用程序。这将催生新一代的交互式、自适应和个性化的应用程序，大家可以通过聊天方式使用它们。

    为了构建它们，今天我们发布了 Apps SDK，今天开始提供预览版。

    有了 Apps SDK，大家就能获得完整的堆栈。大家可以连接数据、触发操作、渲染完全交互式的 UI，等等。Apps SDK 构建于 MCP 之上。大家可以完全控制后端逻辑和前端 UI。我们已经发布了标准，以便任何人都可以集成 Apps SDK。当大家使用 Apps SDK 构建时，大家的应用程序可以覆盖数亿 Chat GPT 用户。

    我们希望这将对帮助开发者快速扩展产品具有重要意义。

    如果用户已经订阅了您现有的产品，他们将能够直接从对话中登录。未来，我们将支持多种盈利方式，包括新型的代理商务协议，该协议可以在Chat GPT内部提供即时结账。

    那么让我们来看几个例子。当有人使用Chat GPT时，可以通过名称来查找应用。例如，可以为Chat GPT草拟一个产品流程，然后说：“Figma，将草图转换为可用的图表。” Figma应用程序将接管、响应并完成操作。如果想进一步迭代，还可以从Chat GPT启动FigJam。

    我们还在对话中使应用程序能够被发现。因此，当用户提出要求时，我们可以推荐一个相关的应用程序。也许用户说他们需要一个周末聚会的播放列表。Chat GPT可以推荐在Spotify中构建它。这是一种在正确的时间找到合适的应用程序或让合适的应用程序呈现给您的简便方法。将会有很多开发者被发现的新途径。

    现在，我想邀请Alexi上台，我们将向您展示一个现场演示。

    （Alexi）大家好，我是Alexi，Chat GPT上的软件工程师，在Apps SDK工作。我非常兴奋地展示一些用户今天能够与之互动的首批应用程序。这些应用程序的魔力在于将其丰富的交互式视觉效果与Chat GPT的强大功能相结合。

    让我们从Coursera开始。假设我在工作中没有花足够的时间思考机器学习，并且我想了解更多。我可以要求Chat GPT中的Coursera应用程序帮助我了解更多关于这方面的信息。

    我可以问，Coursera，你能教我一些关于机器学习的东西吗？由于这是我第一次在Chat GPT中使用Coursera，我需要同意连接。下次我使用它时，我就可以立即进入。你会注意到我直接向Chat GPT询问了Coursera应用，但如果与对话相关，Chat GPT也可以推荐应用。

    Chat GPT中的应用默认内联显示，并且可以支持任何可以在网络上呈现的内容，比如这里展示的这个视频。Apps SDK还支持画中画或扩展到全屏布局。既然我已经打开了我的课程，那就播放视频吧。

    播放视频后，它会立即固定在我的屏幕顶部，这对像Coursera这样的应用非常有用，因为你可以在观看视频的同时访问你的对话。

    让我们稍微跳过一点，假设我想更深入地了解视频中提到的内容。我可以问Chat GPT，你能解释一下他们现在在说什么吗？Apps SDK提供了一个API，可以将上下文从你的应用暴露回Chat GPT，确保模型始终了解用户正在与什么交互。我们称之为“与应用对话”，这确实是这里的魔力所在。

    我对使用Chat GPT学习（我们的首要用例之一）不断变得更好感到非常兴奋。通过应用和应用软件开发工具包（Apps SDK），你可以为世界各地的用户解锁更丰富的教育体验。

    在这里，Chat GPT回应并解释说，这位讲师正在谈论训练机器学习模型之前的数据准备步骤，然后它用简单的术语为我分解了这些步骤。我不需要解释我在视频中看到的内容。Chat GPT立刻就明白了。在这里，我能够连接到Coursera的应用程序，发现它，开始播放课程，并直接通过文本与视频互动，所有这些都在我现有的Chat GPT对话中完成。

    用户也喜欢在Chat GPT中发挥创意。在这里，我有一个对话，我在集思广益一些想法，以帮助我弟弟妹妹的遛狗业务。我们已经来回交流了几次，现在是时候把这些想法变成现实了。我对这里的一些名字很满意，所以让我们采用这个WalkThisWag的名字，现在我要让Canva把它变成一张海报。

    我可以问，Canva，你能用WalkThisWag这个名字给我做一张海报吗？我希望它是色彩斑斓的、异想天开的、明亮的，而且我更喜欢无衬线字体。发送出去，现在在后台，Canva 正在根据我的对话内容生成海报。Canva 在创建此类素材方面非常出色，现在你可以直接从 Chat GPT 启动它。无论你是为 OpenAI 制作专业的营销素材，还是仅仅为 Dev Day 制作一个有趣的演示，Canva 都会在你工作时出现在对话中。

    正如 Sam 提到的，Apps SDK 构建于 MCP 之上，这是一个我们在 OpenAI 非常乐于构建的开放标准，如果你有现有的 MCP，使用 Apps SDK 可以非常快速地增强它。你所要做的就是添加一个返回 HTML 的资源，该应用就可以在 Chat GPT 分发到的任何地方运行，包括网页和移动设备。

    正如你所看到的，这是一个现场演示，所以我们遇到了一点延迟，但我们开始了。Canva 已经向我们返回了 4 个海报示例。我们像 Coursera 视频一样在线看到它们，并且 Chat GPT 也在解释它为我们做了什么，但我们可以在 Apps SDK 中探索另一种模式，即全屏。

    我点击一个素材，应用程序请求全屏显示。我们能够专注于特定的素材，从这里，我可以更详细地看到它。我可以要求Chat GPT请求更改，也许是视觉上的调整，就像我们的图像生成体验一样。但既然我们在旧金山，而且今天是开发者日，让我们请Canva将其转换为一个演示文稿。

    我可以问，Canva，你能否将这张海报制作成一个演示文稿？我们正试图为遛狗业务筹集种子轮融资。发送出去，由于Canva现在将为我们制作几个幻灯片演示文稿，可能需要一点时间。所以，为了节省时间我们将在加载时继续展示另一个演示。

    假设遛狗业务进展顺利，我们想扩展到另一个城市。我可以根据我们的对话，询问Chat GPT，哪个城市适合扩展遛狗业务？当然，Chat GPT知道我们一直在谈论什么。非常热情地说匹兹堡。太棒了。

    现在我可以调用 Zillow 应用来说，请向我展示一些在那儿出售的房屋。现在 Chat GPT 正在与 Zillow 通话，以获取最新的住房数据，我们将在 Chat GPT 中嵌入一个交互式地图，我们将探索那里的全屏体验如何。

    所以，我们有了地图，华丽的加载状态，然后，我们这里有一堆房屋。看起来我们的幻灯片也完成了，所以我们稍后会回到它们，但是这张地图在内联视图中有点难以看清，所以我可以单击一个特定的房屋并全屏打开它。现在我们拥有嵌入在 Chat GPT 中的大部分 Zillow 体验。你可以请求参观，所有你期望从 Zillow 获得的操作，但是我们这里有很多选项，而且很难解析，所以我可以问 Chat GPT，你能否将其过滤为仅有带院子的三居室房屋？当然是为了狗。

    Chat GPT 将再次与 Zillow 通话，并且由于该应用处于全屏模式，因此现在只需更新提供给它的数据，而无需创建新实例。我们看到 Chat GPT 返回，我们在此处覆盖的消息。如果我单击该消息，我可以查看我在 Zillow 应用上的对话，甚至可以将其打开到完整高度。

    酷。让我们放大并找到我们可能感兴趣的特定房屋。现在，因为 Zillow 应用将上下文暴露回给 Chat GPT，它知道我在看什么。我可以询问关于这所房子的更多信息，比如，这里离一个狗公园有多近？Chat GPT 能够将来自 Zillow 的上下文与它可用的其他工具（比如搜索）组合起来。所以它能够提供关于这所房子的更多信息。从这里，我可以调用其他 Zillow 工具，也许可以了解它的可负担性，但它每次都会提供最佳答案。

    这是一个很好的例子，说明使用 Apps SDK 的体验可以多么动态。这一切都始于一个内联地图，现在我们能够在与应用对话、向 Chat GPT 提问或只是使用 Zillow 体验之间来回切换。

    让我们再看看那些幻灯片演示文稿。所以，如果我回到这个对话，看到 Canva 在这里给了我们几个选项，比如这个蓝色的外观。所以如果我们打开它，我们现在可以在全屏中看到幻灯片，并且我可以看到 Canva 为我生成的所有漂亮的幻灯片。当我准备好时，我可以...

    就像海报一样，我可以要求后续编辑，当我准备好时，我可以在Canva中打开它以获得真正的幻灯片，并希望完成种子轮融资。

    这就是应用程序和Chat GPT的魔力。将Chat GPT的智能与您最喜欢的产品相结合的对话，从而产生真正新颖的体验。我很高兴能和大家一起继续构建这个。迫不及待想看看你们用它做什么。

    回到Sam，了解更多关于应用程序的信息。

    （Sam）太好了。同时在一群人面前打字和说话非常困难，所以你做得很好。

    我们很高兴您能试用您在演示中看到的应用程序，以及来自这些首发合作伙伴的更多应用程序。它们今天将在Chat GPT中推出，而这仅仅是个开始。我们将在未来几周内推出更多来自合作伙伴的应用程序。

    对于开发者来说，Apps SDK的预览版现已推出，可以立即开始构建。我们的目标是尽早将此交付给您，听取您的反馈，并与您共同构建。然后在今年晚些时候，开发者将能够提交应用程序以供审查和发布。我们还将发布一个用户可以浏览的目录。

    除了发现和对话之外，任何符合我们开发者指南中提供的标准的应用程序都有资格被列出。符合更高设计和功能标准的应用程序将获得更突出的展示，包括在目录中，并被推荐为应用程序和对话。我们已经发布了开发者指南草案以及Apps SDK，因此您将知道会发生什么。

    我们很快将分享更多关于应用程序和货币化的信息。我们也很想知道您对您想要什么的想法。这对开发者和用户来说应该是一个激动人心的新篇章。

    这就是Apps，我们希望大家都喜欢它。

    接下来，我们想谈谈构建代理，以及如何让它更简单、更有效。

    在过去的几年里，人工智能已经从你可以问任何问题的系统，发展到你可以要求为你做任何事情的系统。我们开始通过代理、能够承担具有上下文、工具和信任的任务的软件来看到这一点。但是，尽管人们对代理充满兴奋和潜力，但实际上很少有代理能够投入生产和大规模使用。很难知道从哪里开始，使用什么框架，而且有很多工作要做。有编排、评估循环、连接工具、构建良好的用户界面，并且在您知道什么真正有效之前，每一层都会增加很多复杂性。

    显然，这里蕴藏着巨大的能量，机会也非常真实。因此，我们已经与数千个团队进行了交流，其中许多团队就在这个房间里，他们正在构建代理来重新构想工作完成的方式。我们已经询问了我们能做些什么，以使代理的构建更加容易。

    今天我们将推出一些东西来帮助解决这个问题。这里的目标是为每个希望更快、更轻松地从想法到代理的构建者提供一些东西。因此，我们很高兴推出一个名为 AgentKit 的新事物。AgentKit 是 OpenAI 平台中提供的一整套构建模块，旨在帮助您将代理从原型变为生产。它包含了构建、部署和优化代理工作流程所需的一切，而且摩擦更小。我们希望从个人开发者到大型企业，每个人都能从中获得很多价值。

    现在我们将讨论一些核心功能。第一个是 AgentBuilder。这是一个构建代理的画布。这是一个快速、可视化的方式来设计逻辑步骤、测试流程和发布想法。它构建于数十万开发者已经使用的 Responses API 之上。所以，大多数之前使用过我们平台的开发者应该对这个基础很熟悉。

    第二件事是 ChatKit。我们清楚地听到了这个需求，并且正在简化将卓越的聊天体验直接带入你自己的应用的过程。你将获得一个简单、可嵌入的聊天界面，你可以自定义它。你可以带入你自己的品牌、你自己的工作流程，以及任何使你自己的产品独特的东西。你可以在这里的视频中看到聊天如何在每个代理节点中工作，并调用工具来形成最佳响应。

    最后，是代理的评估（evals）。我们正在发布专门用于衡量代理性能的新功能。你将获得跟踪评分，以帮助你逐步理解代理的决策。你可以获得数据集，以便评估各个代理节点。你可以获得自动化的提示优化。而且你现在甚至可以直接从OpenAI平台对外部模型运行评估。这些都是我们在尝试构建我们的第一个代理时希望拥有的东西。

    当然，代理需要访问数据。因此，借助OpenAI的连接器注册表，你可以通过管理控制面板安全地将代理连接到你的内部工具和第三方系统，同时保证一切安全并在你的控制之下。

    那么，让我们来看几个例子。艾伯森在美国经营着超过2000家杂货店。每周有超过3700万人在这里购物。而且每家商店都像它自己的小经济体。经理们必须不断地做出所有这些决定。调整这个促销活动或那个产品组合，重新设置展示，与一堆供应商合作。这就像很多事情。

    艾伯森公司使用AgentKit构建了一个代理。现在想象一下这样一种情况，冰淇淋的销量意外下降。下降32%。以前，这会启动一个漫长的报告流程。会有电子表格和会议，一片恐慌。他们卖很多冰淇淋。对他们来说非常重要。现在，员工可以直接问代理，发生了什么事？代理会查看它能发现的所有信息的完整上下文。季节性，历史趋势，外部因素。它会给出一个建议。也许是时候调整展示内容或投放本地广告了。

    让我们来看看另一个代理。HubSpot是一个客户平台，被全球成千上万的组织使用。他们使用AgentKit来改进Breeze（他们的AI工具）的响应，使用客户响应组件。因此，在这个例子中，一个名为LumaPlants的HubSpot客户提出了一个问题，询问为什么一种植物在亚利桑那州生长不好。然后，它使用Breeze助手搜索自己的知识库，查找该州低湿度地区的本地处理方法，提取政策细节，并将所有内容整合在一起。然后，它提供多个想法和一个建议。

    这就是我们想象的智能在许多不同来源之间协同工作的方式，所有来源共同运作，为客户提供智能、有用的答案。这是一个很好的例子，说明你可以用AgentKit构建的东西。我们有很多优秀的代理启动合作伙伴，他们已经使用AgentKit扩展了代理。而且从今天开始，所有人都可以使用。

    让我们做一个现场演示，然后我将把它交给克里斯蒂娜。

    （克里斯蒂娜）大家好。我是克里斯蒂娜，我在构建AgentKit的团队工作。今天，我想向大家展示AgentKit如何帮助开发者比以往更快地创建代理。

    您可能已经看过我们的开发者日网站了。就是这个网站，你们所有人都可以访问，并且包含了今天日程安排的所有信息。但现在，它只是一个静态页面。如果它能成为一个网页呢？如果它真的能帮助你浏览这一天，并把你指向与你最相关的会议呢？我们是OpenAI。我们需要在我们的开发者日网站上加入人工智能。

    这就是我们将要一起构建的东西，一个由AgentKit驱动的代理，部署在这个网站内部。为了让这件事更有趣，我将给自己8分钟的时间，在你们面前构建并发布一个代理。你们刚才听到了构建一个代理有多难，所以这将是一个有点挑战性的事情，为了保证公正，我现在开始计时。

    我已经开始计时了。我从OpenAI平台中的Workflow Builder开始，我们可以不用代码，而是通过可视化方式连接节点。Agent Builder能帮助你以简单且可视化的方式，使用我们自己构建代理时学到的通用模式，来建模非常复杂的工作流程。在左侧，我们已经提取了常见的构建块。例如，像文件搜索和MCP、防护栏、人工参与循环以及其他逻辑节点这样的工具。

    今天，我计划构建一个使用两个专用代理的工作流程。第一个将是一个会话代理，它将返回关于日程安排的信息，第二个将是一个更通用的DevDay信息代理。所以我首先使用一个分类代理，来帮助路由和分类传入消息的类型，无论是询问特定会话还是更通用的内容。然后，我添加了一个if-else节点，以根据该分类器路由行为。

    接下来，我将创建会话代理。在这里，我将拖放一个代理节点。我将此命名为会话代理。我将赋予它关于获取会话信息的相关上下文，然后我可以在这里添加各种工具。今天，我已经有了一个包含所有会话信息的文档，所以我只需将其放入。让我们称其为“会话”并附加它。因此，该代理现在拥有回答我的问题所需的所有信息。

    但是，显示日程安排也应该是有趣和视觉上吸引人的，而不仅仅是纯文本。那么我也要为他们创建一个小部件。我将前往我们的小部件构建器。在这里，我可以从头开始创建一个小部件。我可以浏览图库，了解其他小部件并重复使用它们。

    我为Froj设计了一个入职培训会话小部件，他们是DevDay的朋友，正在金门公园举行一对一的入职培训。下载这个小部件后，可以将其作为附件添加到会话代理的输出格式中。

    预览确认添加了正确的控件，一切准备就绪后，这个会话代理就完成了。

    接下来，我将创建通用的DevDay代理，并给它一些关于它正在做什么的上下文，让它以Froj的风格说话，使其真正符合当天的品牌形象。添加一个包含当天所有信息的文件，命名为DevDay并附加它。这个代理也准备好了。

    为了增加安全性，我将使用一个预构建的防护栏。构建代理时，最重要的事情之一就是能够信任它们，而护栏可以帮助你获得这种信心，防止幻觉、增加审核、阻止个人身份信息（PII）。我已经开启了一个用于PII的护栏，然后我将包含姓名，以便我可以轻松验证它的行为。我会将其附加到工作流程的开头，以确保Froj真正受到PII的保护，然后我会添加一个额外的代理来处理传入此信息的情况。

    我会让它以Froj的风格说话以保持一致性，并且我会提醒它不能帮助处理包含敏感信息的问题，并删除上下文。我认为这个工作流程已经准备好了。

    我还可以配置输出，以确定向最终用户显示的内容。在这种情况下，我也可以关闭文件搜索来源，如果它是更内部的。

    为了测试，我可以直接从代理构建器中预览它。我可以问要参加哪个会议才能学习关于构建代理的知识。消息通过刚刚创建的工作流程，检查防护栏，分类意图，从我刚刚添加的会话文件中提取信息，找到正确的会话，使用我添加的小部件，并确定在11点15分与James和Rohan大规模协调代理是我参加的最佳会话，以了解更多关于这方面的信息。然后我看到了几个呱呱叫，因为这实际上是Froj在和我说话，并对我呱呱叫。这个代理看起来不错。

    我们刚刚使用工具构建了一些专门的代理，添加了防护栏，使用一些小部件自定义了它们，然后在预览中测试了工作流程。尚未完成的是进行一套完整的评估，我们可以直接从代理构建器中进行评估，以确保在上线之前一切都按预期运行。

    现在发布它。将其命名为“问问弗罗伊”，点击发布。现在我有一个完全部署、发布的生产环境中的代理，带有一个工作流程ID，可以用它直接运行。在右边，我们也有代码导出，以防我想在我自己的环境、我自己的服务器中运行它。但这需要写很多代码，所以我将坚持使用我们刚刚创建的工作流程ID，然后前往我的网站。

    在我的开发者日网站上，我首先要使用我们刚刚创建的工作流程创建一个聊天工具包会话。我将简单地放入带有该工作流程ID的聊天工具包。我将使用我们刚刚在我们自己的服务器中创建的客户端密钥添加聊天工具包React组件，并添加视觉定制，再次，使其真正具有弗罗伊主题。在这种情况下，它将被命名为“问问弗罗伊”，它将在占位符中继续嘲讽它，并且它将有一些弗罗伊特定的颜色和起始提示。我将在一个底部抽屉中添加这个弗罗伊聊天，所以它会从页面底部弹出，最后我将在网站顶部添加一个指向“问问弗罗伊”的链接，以便它真正位于我们网站的中心位置。

    咨询网站上的顶尖专家Froj。

    应该参加哪个会议来学习关于构建代理？同样，这也在运行我们刚刚创建的完全相同的工作流程，检查防护栏，对消息进行分类，从文件搜索中提取工具，使用我们设计的组件，然后，再次，决定大规模编排代理对我来说是应该参加的正确会议，并继续以Froj的风格来调侃它。

    代理已准备就绪，还剩下49秒。我可以直接在可视化构建器中继续迭代这个代理，也可以直接将这些更改部署到我的网站，而无需进行任何代码更改。这包括添加新工具，为其他用例添加新组件，添加新防护栏，我甚至可以将它连接到客户端工具，以便直接在我的网站中采取行动。

    仅仅几分钟内，我们就以可视化的方式设计了一个代理工作流程，添加了一些工具和小部件，预览了它，部署了它，测试了它，现在你们都可以使用它了。这实际上已经在你们的开发者日网站上线了。你们可以扫描你们的胸牌，应该就可以看到并使用它，并找到最适合你们的会议。我们期待着你们使用它，与Froj见面，并看到你们现在可以使用AgentKit构建的所有新体验。

    我们已经了解了人工智能应用、智能体，但现在让我们转向另一件同样重要的事情，即我们如何编写软件。人工智能领域最令人兴奋的事情之一是，我们正在进入一个改变软件编写方式的新时代。任何有想法的人都可以为自己、家人或社区构建应用程序。

    在日本，一位89岁的退休人员在ChatGBT的帮助下自学了编程，他现在为老年用户开发了11款iPhone应用程序。他正将一生的智慧转化为帮助他人更独立生活的工具。在西班牙，保罗·加西亚和国内数据流媒体的成员正在使用ChatGBT、图像生成和Sora帮助人们重新连接记忆。在亚利桑那州立大学（ASU），医学生需要一种更好的方法来练习他们作为医生将进行的困难的人际对话，所以他们用我们的模型构建了一个虚拟病人应用程序，在那里他们可以尝试、失败，并在进入真实的检查室之前变得更好。在法国凡尔赛宫，游客现在可以漫步宫殿并与之对话。他们构建了一种体验，您可以通过我们的实时API与艺术品和雕塑进行实时讨论。历史变成了一场对话。

    看到人们正在构建的东西真是太棒了，这就是为什么我们很高兴能为开发者提供更多的工具来更快地构建。因此，今年早些时候，我们推出了 Codex 的研究预览版，Codex 是 OpenAI 的软件工程代理，旨在与开发者协同工作，并加速软件的创建过程。自那时以来，Codex 变得非常受欢迎，并成长为一个更有能力的协作者。它现在可以在你编写代码的任何地方工作：你的 IDE、终端、GitHub 以及云端。你的 chat GPT 帐户连接所有内容，因此你可以在工具之间无缝地移动你的工作。

    我们已经为 Codex 发布了大量新功能，它现在运行在新的 GPT-5 Codex 模型上，这是一个专门为 Codex 和代理解码训练的 GPT-5 版本。这个模型更擅长诸如代码重构和代码审查之类的任务，并且它可以根据任务的复杂性动态调整其思考时间。开发者喜欢这个新模型，Codex 的使用量增长非常快。我们用于观察这一点的关键指标之一是每日消息数，即开发者每天与 Codex 进行的任务和对话的数量。自8月初以来，Codex上的每日消息量增加了10倍。而且这种快速的使用也帮助GPT-5 Codex成为我们有史以来增长最快的模型之一。自发布以来，我们已经通过该模型提供了超过40万亿个token。

    在内部，在这一点上，Codex无处不在。如今，OpenAI几乎所有新编写的代码都由Codex用户编写。我们使用Codex的工程师每周完成的pull request数量增加70%，而且几乎每个OpenAI的PR都经过Codex的审查。因此，人们获得的深度比他们预期的还要多，即使是一位非常资深的工程师也是如此。从今天开始，Codex正式退出研究预览版，进入GA（正式发布）。

    尽管Codex已经在个人开发者中获得了很大的吸引力，但今天我们推出了一系列新功能，使Codex对工程团队更有帮助。首先，我们有一个Slack集成，以便您可以要求Codex直接从Slack中的团队对话中编写代码或回答问题。其次，一个新的Codex SDK，以便您可以在团队自己的工作流程中扩展Codex并实现自动化。而且第三，新的管理工具和报告，包括环境控制、监控、分析仪表板等，以便企业可以更好地管理Codex。预计很快会看到更多Codex的改进。

    真正激励我们的一件事是看到使用Codex的人群范围之广，从周末构建业余项目的开发者，到高增长的初创公司，再到大型全球企业。思科在其整个工程组织中推广了Codex。他们现在能够以快50%的速度完成代码审查，并将平均项目时间从几周缩短到几天。

    去年，我们从头开始构建了一个iPhone应用程序，甚至使用我们的第一个推理模型O1在舞台上直播编程了一个迷你无人机。坦率地说，在我们甚至给它命名之前，它有点像是氛围编码。但此后的进展令人难以置信。Codex现在是一个理解你语境的队友，它与你并肩工作，并且可以可靠地承担你团队的工作。

    我们思考了如何与Codex合作，并最好地向大家展示Codex现在能做的所有很酷的事情。我们有很多想法，但我们一直想到的一个想法是，如果我们能构建一些我们现在可以在这个房间里一起体验和看到的东西，那会怎么样？这就是我们的挑战。

    如果你们向上看，你们中的一些人可能会注意到一个安装在舞台上方的摄像头，我想也许我们可以从那里开始。所以早些时候，我要求Codex CLI创建一个非常简单的控制面板界面，界面非常简单。左边是摄像头画面，右边是一些按钮。

    Codex提出的方案做得非常好，后来我添加了来自Dev Day活动的Figma品牌，因此它可以提取准确的颜色和组件，以完美地渲染它，使其与我们的设计相匹配。这就是我们开始的地方。

    使用Codex CLI，我可以提出这样的问题：如何在Node中控制Sony FR7相机？Codex可以非常快速地回答这样的问题，它使用VSCA协议完全搭建一个集成，并将其连接到该控制面板。

    Codex 越来越难演示了，因为它真的可以不知疲倦地完成你的任务。我见过它在一个非常大的重构任务上工作长达 7 个小时，并且把它做对了，这非常出色。

    在VS Code中，我们也有Codex集成，这是Codex CLI 为摄像机控制生成的文件。可以看到它构建了一个节点服务器，还弄清楚了所有要发送到这个摄像头的 UDP 数据包。Codex甚至弄清楚了VSCA协议的30多年历史。

    现在这些用户界面组件都连接好了，服务器也在运行，我们可以打开摄像头了。我们有了摄像头，可以从这个界面控制摄像头。

    用按钮控制很好，但我认为我们可以做得更好。所以，我将尝试发送另一个任务，但这次是在我们的IDE扩展中实时进行：连接一个Xbox无线控制器来控制摄像头。正如你现在看到的，Codex制定了一个计划，必须完成3个任务。它现在正在浏览文件，正在研究如何连接这个游戏手柄。这里有趣的是，你可以在IDE中看到，我们也有自动上下文的概念。这意味着你的提示可以很简短，因为Codex会理解你的意图。它会看到你最近使用的文件，并真正地做出相应的调整。

    与此同时，我们还能做什么呢？我认为一个令人兴奋的接口是语音。为了节省几分钟时间，我已经要求Codex与我们的实时API和代理SDK集成。我想要把所有这些连接到这个应用程序里，就在屏幕右下角这个绿色的小圆点上。但实时API的妙处在于，它将自然语音到语音功能引入你的应用程序，而且还在对话的上下文中连接到任何MCP服务器。这真的让我开始思考，我们还能在这个房间里展示什么，并将其变成一个MCP服务器？然后我想，等等，我们有一个照明系统，也许我们可以把场馆的照明系统连接到一个MCP服务器上。

    我要求Codex为这个非常具体的照明系统模型连接这个MCP服务器。我给它提供了我找到的参考文档，以及我希望我的UI工作的确切接口。 如果你看看日志，这才是Codex的类代理行为的真正魔力。 我本可以要求一个队友来做这件事，但因为任务非常具体，现在Codex就是我的队友了。 如果你看看它完成这个过程的方式，它实际上在某个时候意识到它需要找到关于命令8的新信息才能继续前进，所以它就去获取GitHub文档，以便真正地操作并在整个过程中调用工具。 这就是GPT-5 Codex的真正魔力。你可以真正地放手让它去做一些复杂的任务，你会看到这种类代理行为的出现。 然后在那之后，我又做了一次迭代，要求Codex包含自述文件信息，以便我了解如何运行它，果然，这是我的MCP服务器。

    回到VS Code，更有趣的是，Xbox任务刚刚完成。在VS Code扩展中，我可以实际应用所有更改到本地，如果我想测试它们。

    回到我们的应用程序，现在可以用这个Xbox控制器控制这个摄像头了，甚至没有向科德克斯指定哪个按钮应该做什么，但它认为操纵杆可能是一个好主意，所以这实际上是完美的。

    现在让我们进行真正的测试，进入语音模式，看看会发生什么。

    我让科德克斯控制灯光：

    为了实现这个，我仍然没有写一行代码。但还有一件事我想向你们展示。

    Sam提到我们今天将发布Codex SDK。所以我用一些能让你们稍微了解软件工程未来发展方向的东西来结束。

    让我回到语音模式：你能让Codex显示一个像电影结尾那样的演职员表叠加层吗，但这次演员全部是Dev Day的参与者？

    当我向语音代理发送任务时，它还添加了Codex SDK作为一个工具。这意味着现在，我可以即时重新编程这个应用程序，并立即使其适应用户需求或他们可能提出的任何反馈。所以当我要求创建一个演职员表叠加层时，它能够继续并编辑这个React应用程序中的代码，自动重新加载它，找到完成任务所需的内容，现在演职员表正在滚动。

    总之，通过语音、草图和我们周围的一些设备，我们把所有这些都变成了可用的软件。而且所有这些都没有通过手动编写任何一行代码来实现。把你们最雄心勃勃的想法交给Codex，把你们最复杂的编码问题交给Codex，看看会发生什么。我想你们每天都会像我们一样感到惊讶。现在唯一的限制是你的想象力。

    Sam提到我们今天将发布Codex SDK。所以我用一些能让你们稍微了解软件工程未来发展方向的东西来结束。
    回到8月，我们发布了GPT-5。我们训练它在引导代理和端到端编码方面表现出色，而GPT-5也确实做到了这一点。像Cursor、Windsurf和Bracel这样的领先编码初创公司正在使用GPT-5来改变软件在其应用程序中的编写和发布方式。今天，我们将在API中发布GPT-5 Pro，它对所有开发者开放。

    GPT-5 Pro非常适合协助完成非常困难的任务，在金融、法律、医疗保健等领域，以及更多需要高准确性和深度推理的领域。我们还在API中发布了一个更小的语音模型，即GPT Realtime Mini。它是我们两个月前发布的先进语音模型的更小版本，价格便宜70%，但具有相同的语音质量和表现力。

    语音将成为人们与人工智能交互的主要方式之一。

    电影制作人、设计师、游戏开发者、教育工作者等都在使用人工智能作为其创作过程的一部分，创作出令人难以置信的作品。

    SORA 2在API中的预览版已经发布，现在可以在自己的应用程序中访问驱动SORA 2的视频输出的相同模型。

    使用该模型所做的最大飞跃之一是它的可控性。可以向它提供详细的指令，并且它能够保持状态，同时提供感觉风格化、准确和构图精良的结果。例如，可以拍摄iPhone视图，并提示SORA将其扩展为广阔的电影般的广角镜头。

    这个新模型能将声音与视觉效果完美结合，不仅仅是语音，还有丰富的音景、环境音频、与您所看到的内容相关的同步效果。

    还可以将现实世界的片段带入SORA 2。例如，可以给你的狗狗拍张照片，然后给它一些新朋友。

    SORA 2也非常适合概念开发。可以简单地描述一种总体氛围或产品，SORA会给你一个视觉起点。可以用它来为电商广告生成概念，当你的新家感觉像一块空白的画布时，找到那些能让它属于你的东西。浏览、定制，并在几分钟内完成结账，享受快速送货上门。

    自从推出以来，SORA 2一直位居应用商店榜首，人们所展现出的创造力非常有趣。现在有了 API 中的 SORA 2 预览版，就可以在产品中直接生成同样高质量的视频，并配有逼真且同步的声音，并发现各种各样的新事物。它具有灵活性，可以控制视频长度、宽高比、分辨率，轻松混音视频。

    美泰公司一直在与我们合作在 API 中测试 SORA 2，并观察他们如何更快地将产品创意变为现实。他们的一位设计师现在可以从草图开始，然后将这些早期概念转化为你可以看到、分享和反馈的东西。

    这是一种非常酷的制造玩具的新方式，用人工智能观看创意如何快速转化为可分享、可行的设计，真是令人难以置信。

    OpenAI 致力于成为这个新构建时代的平台。Apps SDK用于在 ChatGPT 内部构建原生应用程序。AgentKit 可以轻松且更有信心地在任何喜欢的地方部署代理。更强大的 codex 正在改变软件的编写方式，帮助团队更快地交付产品。API 中的新模型，GPT 5 Pro、SORA 2 和 Realtime Mini 扩展了可能性。

    构建软件曾经需要数月甚至数年，现在只需要几分钟。要用人工智能来构建，你不需要一个庞大的团队，只需要一个好主意，然后你就可以比以往任何时候都更快地把它变成现实。

    我们的目标是让每个人都能使用人工智能。


    来源：网易

    时间:  2025-10-7 15:45
    作者: 不吹不黑

    完整版哦！



    通信人家园 (https://www.txrjy.com/) Powered by C114