StableCode-Completion-Alpha-3B 简介

StableCode-Completion-Alpha-3B 是一个拥有30亿参数的仅解码器的代码补全模型，它在基于2023年stackoverflow开发者调查的最常用编程语言的多样化集合上进行了预训练。

该模型旨在从长达16k令牌的长上下文窗口中完成单行/多行代码补全。

模型细节

开发者：Stability AI

模型类型：基于变压器解码器架构的自回归语言模型。

语言：

代码库：GPT-NeoX

许可证：模型检查点根据Apache 2.0许可证授权。

模型架构

参数：2,796,431,360

隐藏大小：2560

层数：32

头部：32

序列长度：16384

训练

StableCode-Completion-Alpha-3B 使用多阶段上下文长度扩展计划进行预训练，首先在4096的上下文长度下预训练3000亿令牌，然后在16384的上下文长度下对另外200B令牌进行微调。

使用和限制

预期用途：StableCode-Completion-Alpha-3B 可以独立生成新的代码补全，但建议您与BigCode和HuggingFace开发的工具一起使用StableCode-Completion-Alpha-3B，以识别并（如有必要）归因于与训练代码匹配的任何输出。