英特尔Gaudi2加速器助力7B级聊天模型登顶LLM排行榜

标签：AI,大模型,英特尔Gaudi2,LLM排行榜,性能优化时间：2023-11-26T21:05:20

<h3 id="h3--gaudi2-"><a name="英特尔Gaudi2加速器简介" class="reference-link"></a><span class="header-link octicon octicon-link"></span>英特尔Gaudi2加速器简介</h3><p>英特尔Gaudi2 AI加速器由Habana Labs开发，旨在加速大型语言模型（LLM）的训练和推理过程。Gaudi2拥有96GB的集成内存，可通过英特尔开发者云或Supermicro和IEI的现场基础设施提供服务。</p>
<h3 id="h3-u6A21u578Bu8BADu7EC3u7EC6u8282"><a name="模型训练细节" class="reference-link"></a><span class="header-link octicon octicon-link"></span>模型训练细节</h3><p>为了开始监督式微调，我们选择了最新的mistralai/Mistral-7B-v0.1 Hugging Face作为基础LLM模型，因为它具有强大的基准测试结果，并且在Apache 2.0下商业友好。我们选用了Hugging Face上最新的高质量指令数据集Open-Orca/SlimOrca，并利用Intel Extension for Transformers提供的微调管道，配合DeepSpeed ZeRO-2进行训练。</p>
<h3 id="h3-u6A21u578Bu6027u80FDu8BC4u4F30"><a name="模型性能评估" class="reference-link"></a><span class="header-link octicon octicon-link"></span>模型性能评估</h3><p>我们的模型在open_llm_leaderboard上表现出色，该排行榜使用Eleuther AI语言模型评估工具，是一个统一的框架，用于在大量不同的评估任务上测试生成语言模型。我们的模型在7B大小的LLM排行榜上名列第一。</p>
<h3 id="h3-u6A21u578Bu603Bu7ED3"><a name="模型总结" class="reference-link"></a><span class="header-link octicon octicon-link"></span>模型总结</h3><p>我们很高兴将NeuralChat这一商业友好的7B聊天模型发布给LLM社区。该模型在典型的生成语言模型基准测试中表现优于原始基础模型。我们期望NeuralChat能够帮助推动7B聊天模型部署的极限，并激励更多的研究人员和开发者开放他们的LLM。</p>
<p>如果您觉得这个项目有用，请给Intel Extension for Transformers仓库点一个星星⭐。我们也欢迎您创建拉取请求或提交问题或疑问到仓库。</p>
<p>参考链接：</p>
<ul>
<li>模型：<a href="https://huggingface.co/Intel/neural-chat-7b-v3">https://huggingface.co/Intel/neural-chat-7b-v3</a></li><li>数据集：<a href="https://huggingface.co/datasets/Open-Orca/SlimOrca">https://huggingface.co/datasets/Open-Orca/SlimOrca</a></li><li>偏好数据集：<a href="https://huggingface.co/datasets/Intel/orca_dpo_pairs">https://huggingface.co/datasets/Intel/orca_dpo_pairs</a></li><li>代码库：<a href="https://github.com/intel/intel-extension-for-transformers">https://github.com/intel/intel-extension-for-transformers</a></li></ul>

英特尔Gaudi2加速器助力7B级聊天模型登顶LLM排行榜

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客