EleutherAI 是一个非营利性的人工智能研究实验室,专注于大型模型的可解释性和对齐性。
EleutherAI成立于2020年7月,由Connor Leahy、Sid Black和Leo Gao创立,从一个讨论GPT-3的Discord服务器发展成为一个专注于大规模人工智能研究的领先非营利性研究机构。我们的工作历史上专注于通过训练和发布模型以及促进自然语言处理开放科学规范,为使用尖端人工智能技术提供支持。随着公众获取大规模预训练人工智能模型的机会显著提高,我们的重点正在转向研究人工智能的可解释性和对齐性。
EleutherAI主要通过公共Discord服务器运作,在那里讨论领域内的研究并协调我们的项目。EleutherAI采用开放和协作的研究模式,EleutherAI的Discord服务器不会严格区分员工、志愿者和其他机构的合作者。然而,EleutherAI的社区专门为研究人员和研究级别的讨论服务,EleutherAI要求有兴趣了解人工智能研究的人主要观察。
EleutherAI雇用了一些全职和兼职研究人员,他们与十几名常规志愿者和外部合作者共同工作。
EleutherAI发布了许多与大模型相关的成果,包括各种数据集和大模型。
EleutherAI发布的大模型列举如下:
模型名称 | 模型简介 | DataLearner模型信息卡地址 |
---|---|---|
Pythia系列 | Pythia系列包含了16大模型,154个训练结果checkpoints,是EleutherAI在2023年2月份发布的一系列大语言模型。 | Pythia模型信息卡 |
GPT-J | GPT-J是在Pile上训练的60亿参数的开源英语自回归语言模型。在发布时,它是世界上最大的公开GPT-3风格的语言模型。 | GPT-J 6B模型信息卡 |
GPT-NeoX系列 | 使用GPT-NeoX library训练的包含多个版本的大模型,最高200亿参数规模。 | GPT-NeoX模型信息卡 |
EleutherAI的官方网站: https://www.eleuther.ai/
EleutherAI的GitHub地址: https://github.com/EleutherAI
EleutherAI的HuggingFace地址: https://huggingface.co/EleutherAI