INT8 GPT-J 6B

INT8 GPT-J 6B

预训练模型详情

模型全称

INT8 GPT-J 6B

模型简称

INT8 GPT-J 6B

发布日期

2023-03-16

预训练文件大小

6

模型参数数量(亿)

60

发布论文

论文地址

发布机构

基础模型

...
GPT-J
查看详情

INT8 GPT-J 6B 简介

INT8 GPT-J 6B是GPT-J 6B的INT8量化版本,由Intel提供。


这个int8 ONNX模型是通过神经压缩器生成的,可以使用以下命令导出fp32模型:



python -m transformers.onnx --model=EleutherAI/gpt-j-6B onnx_gptj/ --framework pt --opset 13 --feature=causal-lm-with-past


测试结果如下:

INT8量化FP32版本
Lamabda数据集准确率0.79260.7954
模型大小(GB)623


可以看到,这个压缩版本使得模型从原来的23G压缩到了6G,但是准确率几乎没有下降,十分值得大家自己使用!

INT8 GPT-J 6B所属的领域
自然语言处理

自然语言处理

Natural Language Process

35个资源

INT8 GPT-J 6B相关的任务
问答系统

问答系统

Question Answering

35个资源

文本生成

文本生成

Text Generation

35个资源