LLAMA 3 70B模型在单3090显卡上的速度基准测试

<h2 id="h2-llama-3-70b-"><a name="LLAMA 3 70B模型单卡速度测试" class="reference-link"></a><span class="header-link octicon octicon-link"></span>LLAMA 3 70B模型单卡速度测试</h2><p>近日，Meta发布了LLAMA 3 70B指令微调模型，该模型经过指令微调，在通用自然语言任务上取得了不错的效果。本文对该模型在单个NVIDIA RTX 3090显卡上进行了速度基准测试，以评估其实际使用性能。</p>
<h3 id="h3-u6D4Bu8BD5u73AFu5883"><a name="测试环境" class="reference-link"></a><span class="header-link octicon octicon-link"></span>测试环境</h3><ul>
<li>GPU: NVIDIA GeForce RTX 3090 24GB</li><li>CPU: AMD Ryzen 9 5950X</li><li>RAM: 64GB</li></ul>
<h3 id="h3-u6700u4F73u6A21u578Bu9009u62E9"><a name="最佳模型选择" class="reference-link"></a><span class="header-link octicon octicon-link"></span>最佳模型选择</h3><p>在24GB显存限制下，目前性能最好的模型是使用IQ2量化方案的<code>Meta-Llama-3-70B-Instruct-IQ2_XS.gguf</code>，具体参数如下：</p>
<ul>
<li>n-gpu-layers: 81</li><li>n-ctx: 4096</li></ul>
<p>使用该模型，在3090上可以达到每秒生成12.43个token的速度，对于70B的大模型来说已经非常惊人。</p>
<p>需要注意的是，如果将上下文长度(CTX)提高到8K，并启用全量卸载，速度会大幅下降。这可能是因为GPU内存不足导致的。如果想使用8K的上下文，可以尝试降低GPU层数，但速度仍然会有所下降。例如：</p>
<ul>
<li>GPU-layers: 75, CTX: 8K，速度约为5.9 t/s</li><li>GPU-layers: 80, CTX: 8K，速度约为8.4 t/s</li></ul>
<h3 id="h3-u5176u4ED6u91CFu5316u65B9u6848u5BF9u6BD4"><a name="其他量化方案对比" class="reference-link"></a><span class="header-link octicon octicon-link"></span>其他量化方案对比</h3><p>除了IQ2，我还测试了其他一些量化方案，如使用2.4 bpw的<code>Llama-3-70B-Instruct-exl2</code>模型：</p>
<ul>
<li>max_seq_len: 4096</li></ul>
<p>使用exllama 2量化，最高速度可达4.17 t/s；使用HF版exllama 2量化，速度约为3.6 t/s。虽然也不算慢，但仍比IQ2慢了3倍左右，而且GPU占用很高。</p>
<p>在实际使用中，IQ2_XS.gguf和exl2 2.4bpw生成的回复质量差异并不明显，尽管它们会使用不同的语言风格（例如在确定性设置下重写文本时）。</p>
<p>此外，我还尝试了<code>Meta-Llama-3-70B-Instruct.Q3_K_M.gguf</code>模型，使用60层和4K上下文，速度仅有0.65 t/s，性能太差，就没有继续测试了。</p>
<p><code>IQ3_XS</code>模型则完全无法使用，要么卡死，要么只输出特殊token。</p>
<h3 id="h3-u7ED3u8BBA"><a name="结论" class="reference-link"></a><span class="header-link octicon octicon-link"></span>结论</h3><p>总的来说，Meta的LLAMA 3 70B指令微调模型表现非常出色，灵活性和适应性都很强，同时在安全性方面也做了一定的限制（不像之前LLAMA 2的微调版那样过于严格，以至于一有更好的微调版本出现，大家就都不用它了）。微调模型很难超越LLAMA 3 70B的性能，可以看出Meta在这方面下了不少功夫。</p>
<p>其他一些讨论要点：</p>
<ul>
<li>Exllamav2 的速度理论上应该是 llama.cpp 的2倍左右。如果更慢，通常意味着模型有点太大了。</li><li>可以尝试开启4位缓存，这可以节省相当多的显存。</li><li>在3060、60ti、70和50GB内存的机器上，使用30层GPU加载的Q5 km模型可以达到0.8 t/s。</li><li>有人使用 llama 3 70b、RTX 3090 和 Ryzen 7950 3D，使用 llamacpp 和 gguf q4k_m 版本，GPU上加载42层，速度为2.5 t/s。低于q4k_m的量化会导致输出质量明显下降。</li><li>对于编程任务，2.5 t/s 的速度可能会让人感到工作效率降低，还不如去 StackOverflow 搜索答案。</li><li>在语言任务上，IQ2 和 Q4_K_M 的表现不相上下，都能很好地编辑文本。但 IQ2 的速度优势让使用体验大大提升，而 Q4 在 3090 上的速度让人感觉像在拔牙。</li><li>有人使用 3090 + 64GB 内存，尝试了 70b XS 量化模型，但对于 Python 游戏等简单编程任务，8b 量化的 Q8 版本错误更少，代码正确率更高，同时速度可达35 t/s，因此选择了更小的8b模型。</li></ul>
<p>以上就是本次 LLAMA 3 70B 模型单卡性能测试的全部内容，希望对大家选择合适的模型和参数有所帮助。Meta在大模型优化方面的成果有目共睹，未来也让我们拭目以待。</p>

LLAMA 3 70B模型在单3090显卡上的速度基准测试

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客