Stable AI发布12B参数多语言大模型Stable LM 2 12B

标签：Stable AI,大语言模型,多语言模型,Stable LM 2 12B,开源模型时间：2024-04-12T23:15:54

<p>近日，Stable AI发布了旗下Stable LM 2语言模型系列的最新成员：一个120亿参数的基础模型和一个经过指令调优的变体模型，它们都在包括英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语在内的7种语言上，使用2万亿token进行了训练。这一中型模型在性能表现、计算效率、内存需求和推理速度之间取得了良好的平衡，延续了此前发布的Stable LM 2 1.6B模型的技术框架。随着这一版本的发布，Stable AI进一步扩展了其模型产品矩阵，为开发者提供了一个透明且强大的工具，助力其在AI语言技术领域进行创新。</p>
<p>同时，Stable AI还发布了Stable LM 2 1.6B模型的新版本，在保持极低系统需求的同时，进一步增强了该模型在上述7种语言上的对话能力。此前发布的Stable LM 2 1.6B在Open LLM Leaderboard上已经取得了领先的位置，展现出其卓越的性能。</p>
<h2 id="h2-stable-lm-2-12b-"><a name="Stable LM 2 12B的主要特点" class="reference-link"></a><span class="header-link octicon octicon-link"></span>Stable LM 2 12B的主要特点</h2><ul>
<li>专为多语言任务优化的高效开源模型，仅需普通硬件即可流畅运行</li><li>能够处理许多通常需要更大规模模型的任务，如大型MoE模型</li><li>指令调优版本在工具使用和函数调用方面表现出色，非常适合用作检索增强型系统的核心部分</li><li>在Open LLM Leaderboard和MT-Bench等通用基准测试中展现出强劲的zero-shot和few-shot表现</li></ul>
<h2 id="h2-u4E0Eu5176u4ED6u6A21u578Bu7684u6027u80FDu5BF9u6BD4"><a name="与其他模型的性能对比" class="reference-link"></a><span class="header-link octicon octicon-link"></span>与其他模型的性能对比</h2><p>我们将Stable LM 2 12B与其他流行的强大语言模型进行了比较，如下表所示：</p>
<table>
<thead>
<tr>
<th>模型</th>
<th>参数量</th>
<th>Open LLM Leaderboard得分(指令模型)</th>
<th>Open LLM Leaderboard得分(基础模型)</th>
<th>0-Shot NLP任务表现(基础模型)</th>
</tr>
</thead>
<tbody>
<tr>
<td>Stable LM 2 12B</td>
<td>120亿</td>
<td>57.2</td>
<td>49.2</td>
<td>优秀</td>
</tr>
<tr>
<td>Mixtral (MoE)</td>
<td>130亿有效/470亿总计</td>
<td>66.6</td>
<td>-</td>
<td>-</td>
</tr>
<tr>
<td>Llama2-13B</td>
<td>130亿</td>
<td>69.6</td>
<td>59.6</td>
<td>优秀</td>
</tr>
<tr>
<td>Llama2-70B</td>
<td>700亿</td>
<td>78.6</td>
<td>-</td>
<td>-</td>
</tr>
<tr>
<td>Qwen 1.5</td>
<td>140亿</td>
<td>-</td>
<td>60.3</td>
<td>-</td>
</tr>
<tr>
<td>Gemma</td>
<td>85亿</td>
<td>-</td>
<td>38.8</td>
<td>-</td>
</tr>
<tr>
<td>Mistral</td>
<td>70亿</td>
<td>-</td>
<td>-</td>
<td>中等</td>
</tr>
</tbody>
</table>
<p>可以看出，Stable LM 2 12B在各项评测中的表现都非常亮眼，尤其作为一个开源模型，展现出了媲美商业模型的能力，而其计算资源需求却要低得多。</p>
<p>通过此次发布，Stable AI将Stable LM 2模型系列扩展到了120亿参数的量级，提供了一个开放透明且性能卓越的模型，有望帮助开发者和企业在保留对数据的完全控制的同时，持续推动AI语言技术的发展。</p>
<p>如果你对Stable LM 2 12B的商业应用感兴趣，可以访问<a href="https://stability.ai/">Stability AI的官网</a>或<a href="https://stability.ai/contact">联系他们的商务团队</a>以了解更多信息。你也可以在<a href="https://huggingface.co/stabilityai">Hugging Face</a>上直接试用Stable LM 2 12B模型。</p>

Stable AI发布12B参数多语言大模型Stable LM 2 12B

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客