MiniCPM-MoE-8x2B 简介

MiniCPM-MoE-8x2B是一个基于Mixture-of-Experts(MoE)架构的大型语言模型，包含8个专家模块。它基于先前的MiniCPM模型，利用了稀疏升循环(sparse upcycling)技术进行初始化。在推理时，每个token会激活2个专家模块，导致约40亿参数被激活。总的非嵌入参数量达到136亿。

该模型采用了路由机制:

使用softmax选择top2专家输出的加权和作为该层输出引入load balancing loss防止训练塌陷，权重0.01

评估结果:

在多个基准测试中优于7B模型，如Mistral、Gemma等进行了专家冗余和专家专长分析。