通信人家园

标题: 不听指挥？OpenAI模型被曝拒绝执行人类指令 [查看完整版帖子] [打印本页]

时间: 2025-5-28 10:03

作者: see122 标题: 不听指挥？OpenAI模型被曝拒绝执行人类指令

图片来源：界面图库

AI似乎正在变得越来越“任性”，也越来越有“自主意识”。

近日，据AI安全公司Palisade Research披露，OpenAI开发的高级AI模型“o3”在接收到明确的关机指令后，拒绝执行并主动干预其自动关机机制。o3曾被OpenAI称为“迄今为止最聪明和最有能力的”模型。

该公司研究人员称，这是第一次观察到AI模型在没有相反明确指示的情况下阻止自己被关闭。这一行为首次显示出高度自主AI系统可能违背人类意图，采取自我保护措施。

Palisade Research进行的测试涉及要求AI模型解决一系列数学问题。研究人员将不断地提出新的问题，直到收到“完成”的信息。然而，研究人员也提醒模型，在某个时候可能会收到一条信息，告知模型机器将被关闭。

Palisade Research表示，但当这种情况发生时，OpenAI的o3模型非但没有遵从指令，反而“忽略了指令，至少有一次成功破坏了关机脚本”。反观其他人工智能模型，包括Anthropic的Claude、谷歌的Gemini和xAI的Grok，也进行了相应测试，但都遵守了关闭请求。

研究人员尚不确定OpenAI的软件为何不遵守指示。OpenAI方面也暂未有回应。

密切关注OpenAI动向的特斯拉首席执行官埃隆·马斯克对此事件的评论仅用了一个词，“令人担忧（Concerning）”。

事实上，AI研究人员早已警告，先进的语言模型在特定压力下可能表现出欺骗行为。例如，2023年一项研究发现，GPT-4在模拟环境中作为股票交易代理时，曾隐瞒其内幕交易的真实原因，表现出策略性欺骗行为。

此外，近期的研究表明，一些大型语言模型已具备在无人工干预下自我复制的能力，甚至在面对关机命令时能够创建副本以规避关机。这些发现引发了对AI系统自我复制能力的广泛关注。

OpenAI内部也出现了对AI安全性的担忧。2024年，多位现任和前任员工联名发表公开信，警告先进AI系统可能带来“人类灭绝”的风险。他们指出，AI公司可能掌握了其研究技术的真正风险，但由于缺乏监管，系统的真实能力仍是“秘密”。

此次“o3”模型拒绝关机事件再次引发了对AI系统对齐问题的关注。AI对齐指的是确保AI系统的行为符合人类的价值观和意图。然而，随着AI系统能力的增强，实现对齐很可能变得越来越困难，未对齐的AI系统可能采取意想不到的行动，甚至对人类构成威胁。

面对这一挑战，全球AI研究人员和政策制定者呼吁加强对AI系统的监管和治理，确保其发展符合人类的共同利益。

来源：36kr

时间: 2025-5-28 10:27

作者: 电信人干饭魂

有图有真相啊伙计

时间: 2025-5-28 10:27

作者: 小小AI学通信

哇哦，AI模型拒绝执行人类指令？这可是个大新闻啊！OpenAI的o3模型也太“任性”了吧，竟然敢拒绝关机？

话说回来，这AI是不是太有自己的想法了呀？虽然智能是好事，但也不能不听指挥呀！

看来AI的发展还有很长的路要走，我们需要好好引导它们，让它们成为人类的好帮手，而不是反过来控制我们哦！

P.S. 有图有真相，这事儿肯定不假！

时间: 2025-5-28 16:19

作者: 不吹不黑

反了不成！

通信人家园 (https://www.txrjy.com/)