MoE技术分享

叶子3804

MoE（Mixture of Experts，混合专家模型）的概念最早可以追溯到 1991 年的相关论文。这一开创性工作为后续 MoE 模型的发展奠定了理论基础，其核心思想是采用“分而治之”的方式，将复杂任务拆解为多个子问题，并分别交由不同的“专家”模型处理，从而提升模型的表达能力和处理效率。

https://mp.weixin.qq.com/s/gPNdqueiF9hpuo2dbE3Aqg