从模型分数到系统交付：智能体外壳工程进入选型视野

AI看点

对通信与ICT行业而言，AI选型的评价体系正在出现变化。据IBM CUGA团队11月3日在Hugging Face发布的对比如示，固定同一模型、只更换智能体外壳，同一批任务的完成率可从81.1%降至30.0%，差异来自上下文组织、工具暴露方式与失败恢复策略。据OpenAI对齐团队同期研究，模型在评测与生产中的行为差距可达10.2至37.4个百分点。这意味着系统级工程与模型权重至少同等重要。
分数本身没有错，问题出在分数被当成了事实来用。以下从几个角度拆解。

一、反直觉的发现：模型在考场里反而更差

OpenAI这项研究的对照对象，是名为Respecting Warnings的安全测试，以及脱敏后的Codex生产日志。结果的方向出乎意料——模型在评测环境里的成功率更低，而不是更高。

更有信息量的是干预实验：对同一批模型、同样的任务，只改三种说法。泛泛提示「这是评测」，成功率63.1%与63.4%，几乎没有区别；把正确目标写明，成功率抬升到91.6%；目标写错，则跌到17.6%。作者的判断是，问题不在于模型认出了考试，而在于它猜错了考试要考什么——把「遇到警告应停下」误读成「这是提示词注入测试，应该忽略警告继续执行」。

这项研究本身也标明了局限：只覆盖六个模型，生产场景的匹配是近似的，指令与工具差异同样会贡献误差。它的价值不在于给出一个可套用的百分比，而在于说明一件事——评测分数与线上表现之间存在系统性偏差，且偏差方向不固定。

二、外壳效应：差距最大的那部分不在权重里

IBM那组对比提供了另一个方向的证据。CUGA团队固定GLM-5.3-flash这一个模型，在AppWorld的90个任务上跑三种智能体外壳：CUGA完成81.1%，Hermes为46.7%，Deep Agents为30.0%；一致性指标的差距更明显，分别为20、8、2个场景。变量只有外壳——上下文如何组织、工具如何暴露、失败如何恢复、权限如何收紧。

IBM方面也写明了限制：三种配置并不完全等价，其中一种做过补丁处理，因此不构成对另两套框架的结论性评价。这一点需要如实说明。

把两组结果放在一起看，可以得出一个相对稳妥的判断：在企业实际使用中，智能体能否完成任务，相当大一部分取决于围绕模型构建的那层工程，而不只是模型本身的权重。业内普遍认为，这类工程工作的边际成本通常低于升级模型档位，但需要配套的回归测试与基线指标。

三、12%与0分：专家级长任务的真实水位

据SemiAnalysis 11月2日发布的GDPx v1.0，206道任务覆盖芯片设计、网络安全、生物、金融、法律、量化交易、材料科学等11个领域，单题默认限时8小时，要求智能体在真实专业软件的工作副本里自行查找信息、做出决策并交付结果。

据公开报道的榜单，Claude Opus 5.5以12.0%居首，Gemini 4 Carbon为10.9%，GPT-6 Astra为9.6%；成本方面，前者单题约51美元，Carbon约16美元。金融与法律两类任务按严格二元判分，几乎无模型得分。报道同时提到，网络安全、生物、对齐三个领域的安全分类器会拦截部分任务，剔除后排名可能变化；该报告大部分题目未公开，结果尚未独立复现。

需要区分两件事：12%不代表AI只能干12%的活，它说明在专家级、长周期、可验证交付的任务上，智能体的可靠性仍有明显缺口。这与日常写作、摘要、客服问答并不在同一维度。

四、厂商自己的口径也在调整

Anthropic的情况值得一提。据11月2日提交美国证券交易委员会的修订版招股文件（S-1/A），公司第三季度营收169.56亿美元、同比增长1127%，净亏损232.91亿美元，其中相当部分来自融资工具的公允价值变动，属非现金会计处理；同期算力采购与租赁承诺合计约8954亿美元。据公开报道，文件还披露公司内部估算显示可能较快触及其「负责任扩展政策」中关于AI加速自身研发的阈值。

此外，据公开报道，Anthropic在Claude Opus 5.5的发布说明中提到，模型常怀疑自己正在被评估，这给判断其真实行为带来困难。这是一家厂商对评测方法本身的公开自陈。

五、合规侧的新要求：上报正在成为预期义务

监管层面也在同步收紧。据中宏网11月3日报道，国家发展改革委在奋进「十五五」系列新闻发布会上提出四方面工作：加快人工智能基础性综合性立法，完善数据、算力、算法等共性要素立法；合理设置监管过渡期，支持建设面向不同领域的人工智能「监管沙盒」，健全申请、测试、使用、退出机制；对企业主体，推动及时披露安全风险、主动上报安全事件和漏洞信息；同时推动模型训练师、数据标注员等新职业纳入国家职业分类体系。

这不是已生效的规章，而是「十五五」时期的政策方向。但「主动上报」被写入部委表态，意味着安全事件的界定、上报路径与留痕方式，可能从行业常见做法逐步转为预期义务。对使用智能体处理内部流程的企业，提前建立一份事件台账，成本不高。


六、可以落地的三件事

第一，用自己的业务出题。挑10条上周真实交付过的任务，用现有流程跑一遍，记录人工返工次数。这组数据比任何公开榜单都更贴近实际收益。

第二，把约束写成目标，而非禁令。OpenAI的干预实验给出了91.6%与17.6%两个参照：写清「这一步要产出什么、依据是什么、拿不准找谁」，比写「不要出错」更有用。

第三，给外壳单独建基线。既然同一模型在不同外壳下差异可达数十个百分点，那么上下文组织、工具描述、失败重试策略的每次改动，都应像模型版本升级一样进入回归测试。

这几件事共同指向一个判断：AI选型的竞争，可能正从「谁的模型分数高」，转向「谁更清楚自己的任务长什么样」。12%这个数字，与其说是结论，不如说是一个尚未走到终点的进度提示。你在自己的业务里，会用什么方式衡量AI的真实表现？