模型详细情况和参数
CodeGemma是Google开源的一系列编程大模型,分为三个版本,CodeGemma-7B、CodeGemma-7B-IT和CodeGemma-2B,第一个模型也成为Gemma-7B-PT,这里的PT代表的是PyTorch,IT代表Instruct,做过指令微调。
CodeGemma-7B-IT是基于Gemma-7B模型继续在代码数据集上训练得到的(新的数据包含5000亿tokens,有代码数据集、开源数学数据集以及合成数据),同时也做过指令优化,相比较非指令优化的CodeGemma-7B,它的代码能力更强!其相关信息如下: