如何在24GB显存上部署340亿参数的大模型

<h1 id="h1--24gb-340-"><a name="如何在24GB显存上部署340亿参数的大模型" class="reference-link"></a><span class="header-link octicon octicon-link"></span>如何在24GB显存上部署340亿参数的大模型</h1><p>在AI领域，大型模型如GPT-3等因其强大的性能和广泛的应用前景而备受关注。然而，部署这些模型往往需要庞大的计算资源，特别是显存。本文将详细介绍如何在仅有24GB显存的显卡上部署一个具有340亿参数的大型模型，这一过程涉及到环境搭建、模型下载、显存优化、模型量化等多个步骤。</p>
<h2 id="h2-u73AFu5883u642Du5EFA"><a name="环境搭建" class="reference-link"></a><span class="header-link octicon octicon-link"></span>环境搭建</h2><p>首先，需要安装Python和CUDA，这是运行大多数AI模型的基础。接着，下载并设置Python虚拟环境，安装所需的依赖包：</p>
<pre><code class="lang-bash"># 下载工具包
git clone https://github.com/turboderp/exui
cd exui

# 创建并激活Python虚拟环境
python -m venv venv
source venv/bin/activate

# 安装依赖
pip install -r requirements.txt
</code></pre>
<p>确保安装了<code>flash attention 2</code>，这是一个优化显存使用的关键库。</p>
<h2 id="h2-u6A21u578Bu4E0Bu8F7Du4E0Eu91CFu5316"><a name="模型下载与量化" class="reference-link"></a><span class="header-link octicon octicon-link"></span>模型下载与量化</h2><p>下载340亿参数的模型，确保是3-4bpw（bits per word）的<code>Yi 200K</code>模型量化版本，而不是基础的<code>Yi base 32K</code>模型。可以使用这个工具进行下载：<a href="https://github.com/bodaay/HuggingFaceModelDownloader">HuggingFaceModelDownloader</a>。</p>
<p>在exui中载入模型时，使用8-bit缓存以减少显存占用。</p>
<h2 id="h2-u663Eu5B58u4F18u5316u4E0Eu6027u80FDu8C03u4F18"><a name="显存优化与性能调优" class="reference-link"></a><span class="header-link octicon octicon-link"></span>显存优化与性能调优</h2><p>实验不同的上下文大小。例如，在一个空闲的3090显卡上，可以适应47K的上下文大小在4bpw，以及75K在3.1bpw，但这取决于你的操作系统和剩余显存。如果设置过大，模型在加载时会立即oom（Out of Memory），需要重启UI。</p>
<p>对于Yi模型，使用低温度设置，因为Yi模型运行时会产生较高的温度。个人推荐运行时温度设为0.8，MinP设为0.05，并禁用其他采样器，但也可以使用Mirostat与低Tau。此外，将重复惩罚设置在1.05到1.2左右。</p>
<p>在处理初始提示时，可能需要较长时间，但之后提示会被缓存，速度会变快。如果处理时间超过约20秒，可能需要在exui UI中切换标签页。</p>
<h2 id="h2-u5176u5B83u7EC6u8282"><a name="其它细节" class="reference-link"></a><span class="header-link octicon octicon-link"></span>其它细节</h2><p>在如此低的bpw下，用于量化模型的数据非常重要。可以查找使用与你用例相似数据的量化版本。我个人在我的3090上使用“最大化”数据大小量化自己的模型，并上传了一些模型和高质量量化的命令：<a href="https://huggingface.co/brucethemoose/CapyTessBorosYi-34B-200K-DARE-Ties-exl2-4bpw-fiction">CapyTessBorosYi-34B-200K-DARE-Ties-exl2-4bpw-fiction</a>。</p>
<p>此外，还可以查看这些不错的校准数据集：<a href="https://desync.xyz/calsets.html">calibration datasets</a>。</p>
<p>我会禁用我的3090上的显示输出，并使用从主板运行到同一个显示器的第二根电缆来节省显存。一个空闲的GPU是最好的GPU，因为节省的每一个兆字节都可以让你获得更多的上下文大小。</p>
<p>必须使用200K Yi模型。目前我运行的是我知道的3个主要微调合并：Airoboros, Tess和Nous-Capybara。</p>
<p>在16GB显卡上可能实现长上下文，大约在2.65bpw？如果有人想测试这个，可以联系我，我会自己量化一个模型。</p>
<p>为了在所有机器学习任务中获得性能和便利，我运行CachyOS linux。它是一个性能优化的Arch衍生版，但仍与Arch基础包兼容。我特别喜欢他们为AVX512和AVX2构建的Python版本，以及其他许多优秀的特性：<a href="https://wiki.cachyos.org/how_to_install/install-cachyos/">CachyOS</a>。</p>
<p>我倾向于运行PyTorch Nightly，并自己构建flash attention 2。设置MAX_JOBS为3，因为flash attention构建会使用大量RAM。</p>
<p>我使用’—symlinks —use-system-site-packages’标志来设置Python虚拟环境，以节省磁盘空间，并尽可能使用CachyOS的本地构建的python C包。</p>
<h2 id="h2-u7ED3u8BED"><a name="结语" class="reference-link"></a><span class="header-link octicon octicon-link"></span>结语</h2><p>通过以上步骤，即使是在仅有24GB显存的显卡上，也能成功部署和运行具有340亿参数的大型模型。这需要对模型进行细致的量化和显存优化，同时也需要考虑操作系统和硬件配置的影响。希望这篇文章能帮助对大模型部署感兴趣的技术人员和研究者。</p>

如何在24GB显存上部署340亿参数的大模型

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送

相关博客

最热博客