INT8 GPT-J 6B
基础大模型INT8 GPT-J 6B
发布时间: 2023-03-16
模型参数（Parameters）
60.0
最高上下文长度（Context Length）
2K
是否支持中文
不支持
推理能力（Reasoning）
模型基本信息
是否支持推理过程
不支持
最高上下文输入长度
2K tokens
最长输出结果
暂无数据
模型类型
基础大模型
发布时间
2023-03-16
模型预文件大小
6
官方介绍与博客
官方论文
暂无官方论文
DataLearnerAI博客
暂无介绍博客
API接口信息
接口速度（满分5分）
暂无数据
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
INT8 GPT-J 6B模型在各大评测榜单的评分
发布机构
BigScience
查看发布机构详情
模型介绍
INT8 GPT-J 6B是GPT-J 6B的INT8量化版本，由Intel提供。
这个int8 ONNX模型是通过神经压缩器生成的，可以使用以下命令导出fp32模型：
python -m transformers.onnx --model=EleutherAI/gpt-j-6B onnx_gptj/ --framework pt --opset 13 --feature=causal-lm-with-past
测试结果如下：
| INT8量化 | FP32版本 | |
|---|---|---|
| Lamabda数据集准确率 | 0.7926 | 0.7954 |
| 模型大小（GB） | 6 | 23 |
可以看到，这个压缩版本使得模型从原来的23G压缩到了6G，但是准确率几乎没有下降，十分值得大家自己使用！
Foundation Model
GPT-J
View Details关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
