手把手教你用4090部署面壁智能开源的20亿参数大语言模型MiniCPM-2B-SFT

MiniCPM面壁智能开源的一系列小规模大语言模型，参数在20亿左右。在30亿参数及以下的模型中表现很好。也可以在手机上运行。MiniCPM分为好几个版本，包括纯粹的语言模型和针对图像理解的多模特模型。基座模型暂未开源，语言模型开源了SFT（有监督微调，Supervised Fine-Tuned）和DPO（直接偏好优化，Direct Preference Optimization）两类，直接偏好优化（DPO）可以理解为类似RLHF过程的对齐技术，有更好的效果。

本教程代码主要是部署测试验证OpenBMB开源的MiniCPM-2B-DPO-FP16模型的，即做过DPO优化的半精度版本。其它版本模型直接替换模型文件位置即可，没有区别。

关于MiniCPM-2B模型的介绍可以参考DataLearnerAI的模型信息卡介绍：https://www.datalearner.com/ai-models/pretrained-models/MiniCPM-2B-SFT

关于MiniCPM-2B的运行速度和其它信息可以参考上述模型信息卡的内容。

<center>![](https://www.datalearner.com/resources/blog_images/2da7dcb4-0587-4c54-8c37-f379602ce494.png)</center>

[TOC]

#### 下载安装升级依赖的库

需要注意的是MiniCPM需要使用Flash Attention的库，而Flash Attention2只支持部分GPU显卡以及Linux系统，所以没办法在Windows以及较老的GPU上运行（英伟达架构中Ampere, Ada, 或者 Hopper 架构的 GPUs (如 A100, RTX 3090, RTX 4090, H100，而图灵GPUs (T4, RTX 2080)系列只支持Flash Attention 1.x版本）。

```
!pip install -U transformers
!pip install flash_attn
!pip install accelerate
```

#### 载入MiniCPM模型

```
def init_model():
    path = '/home/datalearner/MiniCPM-2B-dpo-fp16'
    tokenizer = AutoTokenizer.from_pretrained(path, local_files_only=True)
    tokenizer.pad_token_id = tokenizer.eos_token_id
    model = AutoModelForCausalLM.from_pretrained(
        path, torch_dtype=torch.float16, device_map='cuda', trust_remote_code=True)
    streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
    return model, streamer, tokenizer
```

注意，这里我们已经下载好了MiniCPM-2B-dpo-fp16精度的模型，位置：`/home/datalearner/MiniCPM-2B-dpo-fp16`。所以不需要等待下载。

另外，为了支持流式输出，我们这里使用了transformer库中的`TextIteratorStreamer`类。

#### 创建Gradio的聊天界面

这里使用Gradio创建对话界面的原型，代码如下：

```
with gr.Blocks() as demo:
    mini_cpm_model, mini_cpm_streamer, mini_cpm_tokenizer = init_model()
    chatbot = gr.Chatbot(
        height=900,
        avatar_images=(user_avatar, bot_avatar)
        )
    msg = gr.Textbox()
    clear = gr.ClearButton([msg, chatbot])
    cpm_history = []

def clear_history():
        global cpm_history
        cpm_history = []

def respond(message, chat_history):
        
        cpm_history.append({"role": "user", "content": message})
        history_str = mini_cpm_tokenizer.apply_chat_template(cpm_history, tokenize=False, add_generation_prompt=False)
        inputs = mini_cpm_tokenizer(history_str, return_tensors='pt').to("cuda")

chat_history.append([message, ""])
        generation_kwargs = dict(**inputs, streamer=mini_cpm_streamer, max_new_tokens=4096, pad_token_id=mini_cpm_tokenizer.eos_token_id, num_beams=1, do_sample=True, top_p=0.8,
                    temperature=0.3)
        thread = Thread(target=mini_cpm_model.generate, kwargs=generation_kwargs)
        thread.start()

for new_text in mini_cpm_streamer:
            chat_history[-1][1] += new_text
            yield "", chat_history
        
        cpm_history.append({"role": "assistant", "content": chat_history[-1][1]})

clear.click(clear_history)
    msg.submit(respond, [msg, chatbot], [msg, chatbot])
```

这里需要注意的是，MiniCPM本身的历史对话参数是字典结构的数组，需要指定角色，格式如下：
```
[{"role": "user", "content": "hey"}， {"role": "assistant", "content": "hello"}]
```

但是这种格式是无法被Gradio的ChatBot作为返回值参数装入chat_history中，所以我们使用了全局的历史对话变量`cpm_history`。

#### MiniCPM-2B的Gradio对话程序流式输出完整的代码

所有代码已经在GitHub开源，大家可以在https://github.com/DataLearnerAI/LLMPractice/tree/main/llm_code/mini_cpm 找到。

#### 使用仙宫云的MiniCPM的镜像一键部署运行

仙宫云提供了按照分钟租赁4090显卡（24GB，一个小时2块多），我们已经将上述代码依赖的库以及代码本身写好。大家可以注册仙宫云之后一键部署即可看到效果，适合大家自己上手操作学习。这里简单说一下如何启动MiniCPM的程序。

##### 一键部署MiniCPM的镜像

大家也可以直接一键部署我们在仙宫云发布的镜像。部署完成之后，可以打开“终端”使用ssh启动这个Gradio程序，直接对话：

```
# 进入代码目录
cd /home/datalearner

# 启动minicpm的gradio程序
python mini_cpm_stream.py
```

按照上述代码即可打开网页。

<center>![](https://www.datalearner.com/resources/blog_images/7dcf21eb-040f-42e8-9e9b-8e5a6e053a19.png)</center>
<center></center>

##### 打开浏览器的镜像web地址体验

由于我们绑定了80端口，大家可以直接打开镜像的web地址浏览。

<center>![](https://www.datalearner.com/resources/blog_images/9eac0e06-a838-4519-86d2-e6a6930c92cf.png)</center>
<center></center>

直接点击WebUI即可访问，可以共享给他人使用哦~

启动之后在界面输入测试：

<center>![](https://www.datalearner.com/resources/blog_images/9fbcaaef-ffac-48c2-b602-c555c3651dc5.png)</center>
<center></center>

手把手教你用4090部署面壁智能开源的20亿参数大语言模型MiniCPM-2B-SFT

基本信息

MiniCPM-2B-DPO 部署教程简介

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送