通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  中校

注册:2007-10-2913
跳转到指定楼层
1#
发表于 2025-7-10 11:37:16 |只看该作者 |倒序浏览
Polaris团队 投稿
量子位 | 公众号 QbitAI
4B模型的数学推理能力和顶尖商业大模型差在哪里?

香港大学NLP团队联合字节跳动Seed、复旦大学发布名为Polaris的强化学习训练配方:

通过Scaling RL,Polaris让4B模型的数学推理能力(AIME25上取得79.4,AIME24上取得81.2)超越了一众商业大模型,如Seed-1.5-thinking、Claude-4-Opus和o3-mini-high(25/01/31)。

并且,Polaris-4B的轻量化允许在消费级显卡上部署。





详细的blog、训练数据、模型和代码都已全部开源,链接可见文末。

围绕待训练模型进行参数配置

之前的RL训练配方,如DeepScaleR,已经展示了Scaling RL在较弱基模型上强大的效果。

但对于目前最前沿的开源模型(如Qwen3),Scaling RL是否也能复现如此显著的提升呢?

Polaris的研究团队给出了明确回答:可以!

具体来说,Polaris通过仅仅700步的RL训练,成功地让Qwen3-4B在数学推理任务上接近了其235B版本的表现

只要方法得当,RL还存在着巨大的开发潜力。

Polaris的成功的秘籍就是:训练数据及超参数设置都要围绕待训练的模型来进行设置

训练数据构造

Polaris团队发现,对于同一份数据,不同能力的基模型展现出的难度分布呈现出镜像化的特征。、

对于DeepScaleR-40K训练集中的每个样本,研究人员使用R1-Distill-Qwen-1.5B/7B两个模型回答分别推理了8次,再统计其中正确次数,以此衡量每个样本的难度水平。





实验结果显示,大多数样本位于两端(8/8正确解答或0/8正确解答),意味着该数据集虽然对1.5B模型具有挑战性,却不足以有效训练7B模型。

Polaris提出,构建轻微偏向难题的数据分布,形状就像镜像J,过度偏向简单题或难题的分布都会使得无法产生优势的样本在每个batch中占有过大的比例。

Polaris对开源数据DeepScale-40K和AReaL-boba-106k进行了筛选,剔除所有8/8正确的样本,最终形成了53K的初始化数据集。





尽管已经得到了一个好的初始化数据,但它并不是训练数据的“最终版本”。

在强化学习训练过程中,随着模型对训练样本的“掌握率”提高,难题也会变成简单题。

为此,研究团队在训练中引入了数据动态更新策略。训练过程中,每个样本的通过率会随着reward计算而实时更新。在每个训练阶段结束时,准确率过高的样本将被删除。

以多样性为核心的采样控制

在RL训练中,多样性被视为提升模型表现的重要因素。好的多样性使模型能探索更广泛的推理路径,避免在训练早期陷入过于确定的策略中。

Rollout阶段的多样性主要通过topp、topk与温度t来调控。当前大多数工作都采用topp=1.0和topk=-1,这已经达到了最大的多样性,但采样温度t还没有统一的设置。

目前主流的t的设置方法有两种:1、采用建议的解码温度,如Qwen3 demo中设置的0.6;2、直接设置为一个整数1.0。

但这两种做法在Polaris的实验中都不是最优解。

温度、性能与多样性的平衡之道





Polaris团队通过一系列试验,分析了采样温度与模型准确率及路径多样性之间的关系。

为了量化采样轨迹的多样性,他们采用Distinct N-gram指标(n=4)用于衡量生成文本中独特连续词组的比例:分数越接近1.0,说明生成内容越多样;反之则重复率较高。

结果显示,较高的温度能显著提升多样性,但不同模型在相同温度下的表现也存在较大差异。从上图来看,对于这两个模型来说,以0.6作为采样温度明显多样性是不足的。





但也并非是把温度设的越大就越好,也需要考虑性能的变化

Polaris团队发现模型性能随温度升高呈现“低-高-低”的趋势。例如,把采样温度设置成1.0,对于Deepseek-R1-distill系列模型过高了,而对于Qwen3系列来说又有点低。

说明理想温度的设计需要针对待模型进行精细校准,没有一个超参数是适配所有模型的

温度区间的定义





Polaris团队基于实验趋势归纳出模型采样温度的三个区域:

  • 1.鲁棒生成区(Robust Generation Zone)
  • 在该区域内,性能波动较小。测试阶段解码温度通常就选自鲁棒生成区。
  • 2.控制探索区(Controlled Exploration Zone)
  • 此区域的温度虽然会导致模型性能较鲁棒生成区略有下降,但降幅在可接受范围内,同时能显著提升多样性,适合作为训练温度使用。
  • 3.性能崩塌区(Performance Collapse Zone)
  • 当采样温度超出一定范围时,性能急剧下降。
根据上图规律,Polaris团队提出以控制探索区的温度作为初始化温度。





实验显示,常用的t=0.6或t=1.0的设置温度过低,限制了模型的探索空间,导致难以挖掘RL潜力。

因此,Polaris把Qwen3-4B的初始训练温度设置为1.4。

动态温度调整





在性能增长的同时,多样性同样也会发生偏移。随着训练收敛,各路径间共享的N-gram比例增加,探索空间也随之缩小。

在整个训练过程中始终使用最开始的温度,会导致训练后期多样性不足

因此,Polaris团队提出在RL训练过程中动态更新采样温度的策略:在每个阶段开始前都进行和温度初始化时类似的搜索方法,使得后续阶段起始的多样性分数和第一阶段的相似。

举个例子,假如第一阶段开始的多样性分数是60,那此后的每个阶段,Polaris团队都会选择一个能把多样性分数拉到60的温度来进行训练。





对比实验的结果显示,采用同一温度训练到结束,其效果不及多阶段温度调整。

多阶段温度调整不仅带来了更优的RL训练效果,还使得回答长度的提升更加稳定。

思维链长度外推

在训练Qwen3-4B的过程中,一个显著难题在于长上下文训练,因为模型本身的回答长度就已经非常长了,要继续训练的更长需要更高昂的计算代价。

Qwen3-4B的模型预训练上下文长度仅有32K,而RL阶段Polaris将最大训练长设定为52K。但实际达到最大序列长度的训练样本比例不足10%,意味着真正使用长文本进行训练的样本非常有限。





为评估Polaris-4B-Preview的长文生成能力,Polaris究团队选取了AIME2024/25中的60题,每题进行32次推理,总计1920个样本,并按照回答长度将其分为三组:

  • 短文本组:回答长度小于16K;
  • 中等文本组:回答长度介于16K到32K;
  • 长文本组:回答长度超过预训练长度32K。
统计结果表明,长文本组的准确率仅为26%,证明模型在生成超过预训练长度的长CoT时,性能明显受限。

既然RL在长上下文长度的时候具备劣势,那么长CoT性能不佳可能是由于长文本训练不充分导致。

针对长文本训练样本不足的问题,团队引入了长度外推技术。通过位置编码RoPE的调整,模型能够在推理时处理超出训练时所见的更长序列,进而补偿长文本训练中的不足。

具体实现上,研究团队采用了YaRN作为外推方法,并设置扩展因子为1.5,如下配置所示:





实验结果显示,通过应用该策略,超过32K长度回答的准确率由26%提升至超过50%





多阶段训练





Polaris采用多阶段的训练方式,在早期阶段,模型使用较短的上下文窗口;待模型表现收敛后,再逐渐增加上下文窗口的长度以拓宽模型的推理能力。

尽管这一策略在某些模型下有效,但在多阶段训练中,初始阶段选择合适的最大长度至关重要,不同基础模型token利用效率存在差异。





实验发现,对于DeepSeek-R1-Distill-Qwen-1.5B/7B,采用较短的响应长度训练效果都较好;但对Qwen3-4B来说,即使响应长度只有24K且响应截断比例低于15%,其性能也会急剧下降,这种下降即使在后期阶段也难以恢复。





通常来说,从一开始就让模型“思考更长”会更安全:对于Qwen3-4B,实验观察到从零开始使用40K响应长度时性能稳步提升,这与从一开始就采用24K和24K→40K的方案形成了鲜明对比。

要点:当计算资源允许时,直接从官方仓库建议的最大解码长度开始

评估结果





Polaris模型需要使用比Qwen3更高的采样温度和更长的响应长度;所有其他设置保持相同。

对于AIME24和AIME25,上表报告了32次运行的平均性能。

可以看到,Polaris让4B模型的数学推理能力(AIME25上取得79.4,AIME24上取得81.2)超越了一众商业大模型,在大多数评测中表现最佳。

notion地址: https://honorable-payment-890.notion.site/POLARIS-A-POst-training-recipe-for-scaling-reinforcement-Learning-on-Advanced-ReasonIng-modelS-1dfa954ff7c38094923ec7772bf447a1
blog 地址: https://hkunlp.github.io/blog/2025/Polaris/
代码: https://github.com/ChenxinAn-fdu/POLARIS
Huggingface主页: https://huggingface.co/POLARIS-Project


来源:网易

举报本楼

本帖有 3 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

版规|手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2025-7-11 06:28 , Processed in 0.265638 second(s), 18 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部