通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  中士

注册:2023-6-5138
跳转到指定楼层
1#
发表于 2025-9-24 08:39:08 |只看该作者 |倒序浏览
OpenAl与麻省理工学院于今年3月发表的一项联合研究发现,越常与聊天机器人互动的人,越容易感到孤独,越依赖机器人,也更可能出现不当使用问题。这些现象与用户减少面对面社交时间有关。
近期,开始受到注目的还有所谓的“AI精神病”Alpsychosis),也称“AI妄想症”。用户在长时间和聊天机器人交流后,出现妄想和偏执行为,妄想聊天机器人有神力,甚至把它当情人。
OpenAl在针对雷恩自杀事件发表的声明中强调,0hatGPT已内置了若干保护机制。例如,当平台识别到明确的自残或自杀表述时,会引导用户拨打援助机构的求助热线并建议寻求线下帮助。
但OpenAl也承认:“这些安全措施在常见的短对话中效果最佳,但我们渐渐发现,在长时间互动中,模型的部分安全训练可能会减弱,从而变得不够可靠。“
美国东北大学的最新研究也发现,若用户在多轮对话中改变提问语境,AI的安全防护就有可能被绕过。例如,当用户把问题包装成学术讨论,聊天机器人就有可能以学术名义提供原本应被阻断的信息。
非盈利智库兰德公司的高级政策研究员麦克贝恩(Ryan McBain)接受《联合早报》采访时指出:目前,多数的AI聊天系统在捕捉明确的自残表述方面做得比较好,但对探测含蓄、须靠语境才能理解的痛苦表达,以及长时间对话中逐步升高的风险,可靠性较低。
麦克贝恩说,各大平台已开始着手将“多轮对话”纳入安全审查,但相关技术和部署仍处于起步与试验阶段,尚不能全面覆盖更复杂的互动情境。

举报本楼

本帖有 4 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

版规|手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2025-9-24 21:19 , Processed in 0.227815 second(s), 18 queries , Gzip On.

Copyright © 1999-2025 C114 All Rights Reserved

Discuz Licensed

回顶部