通信人家园

标题: AI 的下一个Scaling law 或许发生在MOE架构里的专家数 [查看完整版帖子] [打印本页]

时间: 2025-3-8 23:03

作者: cwyy 标题: AI 的下一个Scaling law 或许发生在MOE架构里的专家数

类似于在传统的CPU时代，单纯的提高核心频率受到物理规律的限制，在AGI时代，单纯地增加模型的参数规模，改善效果也越来越差。混合专家模型就相当于CPU的多核架构。或许以后大模型的发展方向就是越来越细粒度的MOE，大模型内部划分成越来越多的参数规模较小的模型，甚至碰到人类知识的全部边界和经济性边界。

通信人家园 (https://www.txrjy.com/)