BigScience Large Open-science Open-access Multilingual Language Model

BigScience发布了BLOOM，一个由数百名研究人员合作设计和构建的1760亿参数的开放式语言模型。BLOOM是一个仅解码器的Transformer语言模型，它是在ROOTS语料库上进行训练的，该语料库包含46种自然语言和13种编程语言的数百个来源（总共59种）。

实验结果表明，在进行多任务提示微调后，BLOOM在各种基准测试中取得了有竞争力的表现。为了促进未来使用LLMs进行研究和应用，BigScience公开发布了这个模型和代码（开源协议：Responsible AI License）。

BLOOM是一个自回归的大型语言模型（LLM），使用工业规模的计算资源，在大量文本数据上训练以继续从提示文本生成文本。因此，它能够输出46种语言和13种编程语言的连贯文本，几乎无法与人类编写的文本区分开来。BLOOM还可以通过将它们作为文本生成任务来执行它没有显式训练的文本任务。