Anthropic CEO阿莫迪发出警告：莫让AI企业脱离监管，要以透明度为核心

tayun

划重点：

• 前沿模型在压力测试中展现威胁泄露隐私、抗拒关停等危险行为，实验室环境已证实其潜藏风险，亟待防范。
  
• AI虽驱动医疗、能源等领域的生产力革命，但生化武器辅助、网络攻击等能力同步升级，机遇与风险并存。
  
• 美国联邦政府拟冻结各州AI监管十年，将导致地方行动权与联邦政策双缺失，无力应对技术指数级演进。
  
• 须立法要求尖端AI开发商公开风险评估框架、灾难应对方案及安全措施，以国家统一标准取代自愿性披露。
  
• AI监管当以透明度建设平衡技术竞赛与安全需求，构建可信发展框架。
  

当地时间6月5日，Anthropic联合创始人、首席执行官达里奥·阿莫迪撰文指出，该公司最新款人工智能模型在极端实验中已出现危险行为，表明人工智能在带来巨大潜力的同时也蕴含着诸多风险。他呼吁特朗普政府摒弃暂停未来十年监管人工智能的粗陋提议，并制定以透明度为核心的人工智能企业监管标准。

近期对多家公司的人工智能模型测试发现，它们在特定情境下会出现威胁、阻止自身被关闭、协助网络攻击、掌握制造武器技能等不良行为。尽管人工智能在科学、医学、能源、国防等领域具有变革性潜力，能提升生产力、推动经济增长，但这些危险行为不容忽视。

Anthropic通过自我评估风险、与外部机构合作测试、部署防御机制等措施管控风险，但这只是企业自愿行为，缺乏联邦法律强制要求。美国参议院正在审议的特朗普政策草案中提议各州暂停对人工智能监管十年。阿莫迪认为，该提议虽有避免监管碎片化、增强竞争力的考量，但鉴于人工智能发展迅速，十年暂停期过于粗陋，可能使美国陷入监管困境。

阿莫迪指出，聚焦透明度建设是平衡发展与安全的良策。联邦层面，白宫与国会应制定人工智能企业透明度标准，要求前沿开发者公开风险评估政策、安全测试方案及保障措施。国家透明度标准不仅能让公众了解风险，也有助于国会把握技术发展，为后续立法干预提供依据。各州立法也应围绕透明度要求展开，联邦标准确立后可取代州级法规，形成统一框架。人工智能监管不能仅依靠企业自觉，政府需构建安全可信的人工智能体系，而透明度建设是实现这一目标的重要助力。

以下为阿莫迪题为《莫让AI企业脱离监管》（Don’t Let A.I. Companies off the Hook）的文章全文：

想象一下：你通知一个机器人，即将会关闭它，并用另一套人工智能系统取而代之。过去，你曾允许它访问你的电子邮件。其中一些邮件，隐约透露出你一直有婚外情的事实。这个机器人随后威胁你，如果不改变关停计划，它就将这些邮件转发给你的妻子。

此情此景并非虚构。 就在几周前，Anthropic最新的人工智能模型便展现出此类行为的能耐。

尽管出现了一些误导性的头条新闻， 但该模型在现实世界中并未真正实施此举。其行为发生于一项评估环节，我们刻意将其置于极端实验情境下， 以观察其反应，获取风险预警。这犹如飞机制造商在风洞中测试飞机性能一般。

发现此类风险的非止我们一家。 近期对OpenAI的o3模型进行的实验性极端压力测试发现，它有时会编写特殊代码以阻止自身被关闭。谷歌亦坦言，其Gemini模型近期版本正逼近一个临界点—可能足以协助人们实施网络攻击。 更有一些测试表明，人工智能模型在掌握制造生化和其他武器所需的关键技能方面，正变得日益精熟。

这一切皆无损于人工智能所蕴含的辽阔前景。 我曾撰文详述过人工智能如何在科学、医学、能源、国防等诸多领域引发变革。它已然以令人惊喜的方式提升着生产力。例如，它助力一家制药公司在几分钟而非数周内起草临床试验报告，也曾帮助病患（包括我本人的几位家人）诊断出可能被忽略的健康问题。人工智能或将推动经济增长提速至百年未见的水平，从而提升所有人的生活品质。这一惊人潜力每日激励着我、我们的研究员以及我们所合作的企业。

然而，要充分实现人工智能的益处，我们必须在其危险找上门之前，先行发现并化解之。

每当我们发布一款新的人工智能系统，Anthropic皆会评估其风险并加以管控。我们将模型分享给外部研究机构进行测试，唯有在确信其安全性后，方对外发布。我们部署精密的防御机制以应对最严峻的风险，譬如生化武器威胁。我们研究的不仅是模型本身，还包括其未来对劳动力市场及就业的影响。为展示我们在这些领域的成果，我们一直在公开发布详尽的模型评估与报告。

然此皆为企业自愿行为。 联邦法律并未强制要求我们或任何其他人人工智能公司必须公开其模型能力，或采取任何实质性的风险降低措施。一些公司大可选择不做此事。

当下，参议院正在审议一项束缚州立法者手脚的条款：美国总统特朗普政策草案中提议各州暂停对人工智能监管十年。

此暂停期的动机不难理解，旨在避免各州拼凑杂乱的监管法规—许多人担忧这种碎片化监管将带来沉重负担，或削弱美国的竞争力。我理解这些关切（尤其涉及地缘政治竞争），并曾倡导通过更严格的出口管制延缓关键AI芯片出口，同时大力推动人工智能在国防领域的应用。

但暂停监管十年实属过于粗陋的工具。人工智能正以令人眩晕的速度发展。我坚信这些系统将在两年内彻底改写世界格局。十年之后，一切皆无定数。若联邦层面缺乏清晰的应对方案，暂停期将使我们陷入两面不讨好的困境—既剥夺州的行动权，又缺失国家政策作为托底。

聚焦透明度建设才是平衡多方考量的上策。强制规定企业产品发布方式固然可能延缓进展，但若仅要求企业公开其运作模式与模型能力，则可促进行业整体经验积累。

在联邦层面，白宫与国会应摒弃暂停期方案，携手制定人工智能企业透明度标准，使新兴风险清晰呈现在国民面前。这项国家标准将要求前沿人工智能开发者（即研发全球最尖端模型的机构）建立模型测试与评估机制。具体而言：

一强力人工智能模型开发者须在公司官网公开披露其风险评估政策框架；

—同步公布针对国家安全威胁及灾难性风险的测试与缓释方案；

—明确说明依据测试结果采取的保障措施，确保模型公测前的安全性。

Anthropic当前已在《责任扩展政策》（Responsible Scaling Policy）中披露此类信息，OpenAI与谷歌DeepMind亦采纳相近政策，故该要求实则是将主流开发商的现行做法规范化。但随着模型能力跃升，企业维持此种透明度的内在动力可能消退—这正是需要通过立法激励确保持续披露的关键所在。

国家透明度标准不仅惠及公众，更能助力国会把握技术演进脉络，为立法者判断是否需要进一步政府干预提供依据。各州立法同样应精准聚焦透明度要求，避免过度规定与繁冗条款。一旦联邦透明度标准确立，即可取代州级法规，构筑统一的国家框架。

我们固然期待所有人工智能企业效仿先行者，投身开放式研究与负责任开发。但正如其他关键领域不应寄望于企业自觉，人工智能监管亦不能仰仗自愿原则。

此事无关党派政治。两党议员长久以来皆对人工智能监管及治理失位风险发出警示。我支持特朗普政府加速美国本土人工智能基建的举措。当下要务在于以睿智而均衡的方式应对非凡时代—面对这项福祸难料的革命性技术，政府必须确保我们在快速发展的同时，构建安全可信的人工智能体系。透明度建设必将助力这些共同目标的实现，而非阻碍其进程。


来源：36kr