通信人家园

 找回密码
 注册

只需一步,快速开始

短信验证,便捷登录

搜索

军衔等级:

  四级通信军士

注册:2007-10-293
发表于 2024-10-16 21:01:34 |显示全部楼层

文|周鑫雨

编辑|苏建勋

“零一万物绝不放弃预训练。”

2024年10月16日,AI独角兽零一万物创始人兼CEO李开复,公开立了军令状。也在同一天,零一万物发布了最新的MoE(混合专家)架构的旗舰大模型:Yi-Lightning。

这也是时隔5个月后,零一万物再次更新模型的新动态。

李开复表示,Yi-Lightning的训练只用了2000张GPU,训练周期仅一个半月,成本只有300多万美元,是埃隆·马斯克的xAI成本的1%、2%。

训练成本虽然低,但Yi-Lightning的性能并没有打折扣。在加州大学伯克利分校LMSYS团队的Chatbot Arena(聊天机器人竞技场)总榜单上,Yi-Lightning的性能与xAI的Grok-2-08-13模型并列第6,并且超越了OpenAI的GPT-4o-2024-05-13



LMSYS团队的Chatbot Arena(聊天机器人竞技场)大语言模型综合能力总榜单。图源:零一万物


值得注意的是,在中文能力上,Yi-Lightning与OpenAI的最新模型o1-mini版本并列取得了第二;在数学能力上,Yi-Lightning和Gemini-1.5-Pro-002并列第3,仅次于在数学、逻辑推理见长的o1。

在定价上,Yi-Lightning也创了零一万物模型的最低定价:0.99元/百万Token。



零一万物模型定价。图源:零一万物官网


当然,榜单排名并不意味着模型在任务场景下的能力。在发布会上,零一万物着重在实用性上,让Yi-Lightining秀了一把肌肉。

比如,Yi-Lightining相比2024年5月发布的Yi-Large,首包时间(从接收到任务请求到系统开始输出响应结果之间的时间)缩短了一半,最高生成速度提升了近四倍。

具体到翻译场景,Yi-Lightining比豆包、DeepSeek、通义千问最新旗舰模型的翻译速度更快,且翻译结果更加信达雅。



四个模型在相同翻译任务上的表现。图源:零一万物


发布会上,李开复也揭秘了Yi-Lightning的训练策略:


  • 独特的混合注意力机制(Hybrid Attention):在处理长序列数据的过程中,能够提高性能的同时,还能降低推理成本;

  • 动态Top-P路由机制:根据任务难度自动选择最合适的专家网络组合;

  • 多阶段训练(Multi-stage Training):让模型在不同阶段吸收不同的知识,方便mixing团队进行数据配比的调试工作,并能保证不同阶段的训练速度和稳定性。


在2024年5月份的发布会上,零一万物在国内发布了C端的生产力产品“万知”。时隔五个月,零一万物的B端商业化版图也有了新的进展——聚焦零售和电商等场景的AI 2.0数字人。

AI 2.0数字人的背后,是电商话术大模型、角色大模型、直播声音大模型的多模态协同训练。目前,AI 2.0数字人还接入了Yi-Lightning。用户只需要输入出售的商品、声音的性别和语调,就能生成相应的数字人。



零一万物AI 2.0数字人接入Yi-Lightning前后对比。图源:零一万物


如今,大模型发展也来到了技术探索的深水区。即便立下了“绝不放弃预训练”的军令状,李开复也承认:“但不是每家公司都可以做这件事情,做这件事情的成本也比较高,以后有可能会越来越少的大模型公司训练做预训练。”

不过,对如今六家大模型独角兽,李开复依然抱有乐观的态度:

“据我所知,这六家公司融资额度都是够的,我们做预训练的production run,训练一次三四百万美金,这个钱也是头部公司都付得起,我觉得中国的六家大模型公司只要有够好的人才,想做预训练的决心,融资额跟芯片都不会是问题的。”



欢迎交流!


来源:36kr

举报本楼

本帖有 1 个回帖,您需要登录后才能浏览 登录 | 注册
您需要登录后才可以回帖 登录 | 注册 |

手机版|C114 ( 沪ICP备12002291号-1 )|联系我们 |网站地图  

GMT+8, 2024-11-15 09:37 , Processed in 0.261302 second(s), 16 queries , Gzip On.

Copyright © 1999-2023 C114 All Rights Reserved

Discuz Licensed

回顶部