INT8 GPT-J 6B

INT8 GPT-J 6B是GPT-J 6B的INT8量化版本，由Intel提供。

这个int8 ONNX模型是通过神经压缩器生成的，可以使用以下命令导出fp32模型：

python -m transformers.onnx --model=EleutherAI/gpt-j-6B onnx_gptj/ --framework pt --opset 13 --feature=causal-lm-with-past

测试结果如下：

可以看到，这个压缩版本使得模型从原来的23G压缩到了6G，但是准确率几乎没有下降，十分值得大家自己使用！