MPT-7B-Base - MosaicML Pretrained Transformer - 7B Base
模型详细情况和参数
MPT-7B-Base
- 模型全称
- MosaicML Pretrained Transformer - 7B Base
- 模型简称
- MPT-7B-Base
- 模型类型
- 基础大模型
- 发布日期
- 2023-05-05
- 预训练文件大小
- 13.3GB
- 是否支持中文（中文优化）
- 否
- 最高支持的上下文长度
- 2K
- 模型参数数量（亿）
- 67.0
- 模型代码开源协议
- Apache 2.0
- 预训练结果开源商用情况
- Apache 2.0 - 免费商用授权
- 模型GitHub链接
- https://github.com/mosaicml/llm-foundry
- 模型HuggingFace链接
- https://huggingface.co/mosaicml/mpt-7b
- 在线演示地址
- 暂无
- 基础模型
-
MPT
查看详情 - 发布机构
MosaicML Pretrained Transformer - 7B Base 简介
MPT-7B是由MosaicML推出的transformer系列大模型，是基于1万亿tokens的文本和代码训练的。这是一个完全开源且允许商用的大模型，质量与LLaMA-7B差不多。
MPT系列介绍： https://www.datalearner.com/ai-models/foundation-models/MPT
MPT-7B-Base是其中的基础模型，是一个decoder-style transformer，参数为67亿。它是在MosaicML的数据团队收集的1万亿文本和代码数据集上进行训练的。这个基本模型使用了用于快速训练和推理的FlashAttention，以及用于微调和外推到长上下文长度的ALiBi。
欢迎大家关注DataLearner官方微信，接受最新的AI模型和技术推送
MPT-7B-Base所属的领域
MPT-7B-Base相关的任务
