MiniCPM-MoE-8x2B
基础大模型MiniCPM-MoE-8x2B
发布时间: 2024-04-10
模型参数（Parameters）
136.0
最高上下文长度（Context Length）
2K
是否支持中文
支持
推理能力（Reasoning）
模型基本信息
最高上下文输入长度
2K tokens
最长输出结果
未披露
模型类型
基础大模型
发布时间
2024-04-10
模型预文件大小
27.7GB
开源和体验地址
官方介绍与博客
API接口信息
接口速度
暂无数据
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
MiniCPM-MoE-8x2B模型在各大评测榜单的评分
发布机构
OpenBMB
查看发布机构详情
模型介绍
MiniCPM-MoE-8x2B是一个基于Mixture-of-Experts(MoE)架构的大型语言模型，包含8个专家模块。它基于先前的MiniCPM模型，利用了稀疏升循环(sparse upcycling)技术进行初始化。在推理时，每个token会激活2个专家模块，导致约40亿参数被激活。总的非嵌入参数量达到136亿。
该模型采用了路由机制:
使用softmax选择top2专家输出的加权和作为该层输出引入load balancing loss防止训练塌陷，权重0.01
评估结果:
在多个基准测试中优于7B模型，如Mistral、Gemma等进行了专家冗余和专家专长分析。
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
