MPT-7B-Instruct
基础大模型MosaicML Pretrained Transformer - 7B Instruct
发布时间: 2023-05-05
模型参数（Parameters）
67.0
最高上下文长度（Context Length）
2K
是否支持中文
不支持
推理能力（Reasoning）
模型基本信息
最高上下文输入长度
2K tokens
最长输出结果
未披露
模型类型
基础大模型
发布时间
2023-05-05
模型预文件大小
13.3GB
开源和体验地址
官方介绍与博客
官方论文
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度
暂无数据
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
MPT-7B-Instruct模型在各大评测榜单的评分
发布机构
MosaicML
查看发布机构详情
模型介绍
MPT-7B-Instruct是MPT-7B系列模型中针对指令优化的模型。MPT是由MosaicML推出的transformer系列大模型，其中7B是指67亿参数规模，MPT全称MosaicML Pretrained Transformer。
MPT系列模型介绍： https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-Instruct是基于MPT-7B-Base进行指令微调得到的模型。其微调数据集源自Databricks Dolly-15k和Anthropic的HH数据集（HH表示Helpful and Harmless）。这两个数据集相关的链接如下：
| 数据集名称 | 发布者 | 数据集链接 |
|---|---|---|
| Dolly-15k | Databricks | https://huggingface.co/datasets/databricks/databricks-dolly-15k |
| HH数据集 | Anthropic | https://huggingface.co/datasets/Anthropic/hh-rlhf |
MPT-7B-Base模型本身是基于MosaicML机器学习团队收集的1万亿tokens文本和代码数据集训练的。经过上述两类指令数据集微调之后，MPT-7B-Instruct对指令的识别比原始模型要好很多。
Foundation Model
MPT
View Details关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
