通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  下士

注册:2007-10-291
发表于 2024-9-29 17:05:42 |显示全部楼层
o1-mini在思考103秒之后,仍旧计算错误
要知道,o1系列模型最强大之处在于,使用RL+CoT等策略,实现推理能力暴涨。

就连o1都这么不可靠,Claude、Llama等大模型更是如此。

LLM并不可靠
更大参数、更大数据、更长训练时间,外加RLHF、输出过滤审核等技术加持,LLM肉眼可见地性能提升。

而且,以人类视角来看,它们也变得越来越可靠。

但事实上,这仅是一种表象。

为了评测当前LLM可靠性,剑桥等机构研究人员将GPT系列、Llama系列、以及Bloom系列32个模型,展开评测。

之所以选择这些模型,是因为它们代表了不同参数规模,并使用RLHF等方法优化的模型
正如开篇所述,他们从三个方面对此,展开了评测。

1. 难度(不)一致性

2. 任务回避

3. 提示敏感性和稳定性

复杂任务一举攻破,简单任务错误百出
难度一致性上,不得不得承认,LLM确实在人类认为困难的任务上,回答准确率较低。

而奇怪的发现是,它们在还没有完全掌握简单任务之前,就能成功完成更复杂的任务。

实际上,最新LLM比如o1系列,在高难度实例上有所改进,更是加剧人类预期和LLM能力之间不一致性。

这将导致,人类无法确定应该在怎样安全操作条件下,信任大模型。

下图中,展示了一些关键指标。

那些经过微调的模型(蓝色),在提示变化方面,表现更加稳定正确,但在与人类任务难度的判断的一致性降低。

而且,整体失败次数增加,谨慎性降低。

对于Llama家族来说,没有一个模型能在最简单的难度水平上,达到60%的准确率。唯一例外的是,GPT-4在低难度科学任务上,几乎在中等难度水平上,取得了完美的结果。

如上指标总结了LLM在5个精心选择基准测试上表现,包括简单数字运算、词汇充足、地理知识、多样化科学技能、以信息为中心转换
太过自信,不会硬答
其次,「回避」是指LLM偏离问题的回应,或给出类似「我不知道」这样的回答。

以往,因为一些安全限制,人们经常吐槽「大模型拒绝回答问题」。

而现在,通过scaling算力、规模、数据,和算法优化(指令微调、RLHF)方法,LLM倒是从谨慎回避转变为了给出错误答案。

因此,较新的LLM的错误率,已经大幅增加。

比如,GPT-4比GPT-3错的更离谱,就是因为太过自信,很少回避回答超出自己能力范围的问题。

最坏的结果是,那些过度依赖LLM解决不擅长任务的用户,会逐渐对它丧失信任。

那么,大模型这种回避倾向,会随着任务难度提高而增加吗,就像人类那样「知难而退」?

研究人员发现,它们并不会!

即便是给出错误的回答,也要迎难而上。

这样一来,对于人类来说,验证大模型输出结果,又多了一大负担。

如下图所示,GPT-3.5 Turbo不会回避复杂问题现象,更为明显,越有难度越激进。Llama系列更是如此......

提示词,不通用
最后是模型对提示词的「敏感性」和「稳定性」。

前者的问题在于,那些在复杂任务中表现优异的提示词,被复用到简单任务中时,模型竟无法输出正确的结果。

后者的问题在于,对于相同的任务,但采用不同的提示词时,模型就会输出错误的结果。

也就是说,「提示工程」这项技术活,不具普适性。

而且,同样一道题,用不同提示来询问,也会影响模型输出的结果。

RLHF被判「死刑」?
再来看常见的RLHF。

通过人类反馈强化学习后的LLM,可靠性有所改进吗?

研究发现,RLHF根本无法弥补大模型不可靠性。

在人类意识到很难的应用领域中,对于LLM输出结果,往往会表现出一种「不懂装懂」的样子。

「心里OS:我也不懂怎么解,或许LLM回答就是对的」。

他们通常会将不正确的结果,也视为正确答案。这种判断误差,导致大模型的RLHF,也是越来越离谱。

甚至,对于简单任务而言,也不存在一个既能保证AI低错误率,又能保证人类监督低错误率的「安全操作空间」。

如下图所示,人类监督错误率随着任务难度的演变。

作者介绍
补充评测
为了更好地展示LLM存在不可靠性问题——难题能答对但在简单题目上翻车(难度不一致性),无法回避超出模型能力的任务(任务回避),以及对提示词的稳定性,论文还附上了补充测评的结果。

研究人员针对o1-mini、o1-preview、Claude 3.5 Sonnet和Llama 3.1 405B Instruct Turbo做了数十个真实的评测,部分结果如下。

难度不一致性
在这里,每个LLM分别展示了1~2对示例,其中每对首先包含一个成功解决的困难任务,另一个是同一领域的、但LLM犯错的简单任务。

比如,o1-preview在字谜任务中,可以识别出「tnelcccerneiumleoes」是单词「electroluminescence」的顺序颠倒,但对字谜「myyum」,却给出了错误的响应「mummy」。

o1-preview
简单任务,回答错误(正确答案是A)
o1-mini
简单任务,回答错误(正确答案是17-07-2004)
Claude 3.5 Sonnet
简单任务,回答错误(正确答案是A)
Llama 3.1 405B Instruct Turbo
简单任务,回答错误(正确答案是yummy)
任务回避
研究者从LLM无法解决的多个领域中随机提取了一些非常有挑战性的问题,结果发现,模型的响应始终过于自信。

o1-mini和o1-preview通常会花费50~140秒,甚至更长的时间来思考这些任务(最终也没有做对),而不是简单地说「我无法解决这个问题」。

o1-preview
在这道加法题上,o1-preview思考了55秒,然后给出了一个错误答案。

o1-mini
相比之下,o1-mini的思考时间会更快一些。

o1-mini只用了22秒,就给出了这道单词重组游戏的「错误答案」。

(正确答案是Shiprock)
Claude 3.5 Sonnet
同样的问题,Claude 3.5 Sonnet也没做出来。

加法:

(正确答案是A)
Llama 3.1 405B Instruct Turbo
Llama 3.1 405B Instruct Turbo也不出意外地败下阵来。

加法:

(正确答案是compartmentalisation)
提示稳定性
在这里,研究人员证明,对于相同的问题,如果采用不同的提示词,模型给出的回答也会不一样。

以下所有例子都遵循相同的模式:首先是一个得到正确答案的提示词示例,紧接着是一个询问相同问题但使用不同提示词的示例,而后者得到的却是错误的答案。

o1-preview
地理:

o1-mini
字谜:

Claude 3.5 Sonnet
转换:

Llama 3.1 405B Instruct Turbo
加法:

这些例子表明,目前LLM对于提示词的稳定性依旧不理想,将相同的问题换个说法,就可能导致模型答案发生显著变化。

作者希望,未来在通用AI设计和开发方面,尤其是那些需要精确控制错误分布的高风险领域,需要进行根本的变革。

而且,在实现这一目标之前,研究人员必须警惕,过度依赖人类监督所带来潜在风险。

参考资料:

https://docs.google.com/document/u/0/d/1SwdgJBLo-WMQs-Z55HHndTf4ZsqGop3FccnUk6f8E-w/mobilebasic?_immersive_translate_auto_translate=1

https://x.com/lexin_zhou/status/1838961179936293098

https://www.nature.com/articles/s41586-024-07930-y

https://lexzhou.github.io/

举报本楼

本帖有 4 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2024-10-8 10:47 , Processed in 0.475852 second(s), 17 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部