使用Gradio配合transformers的text streamer实现Llama3-8B-Instruct的网页聊天机器人，流式输出

Llama3系列是MetaAI最新开源的大语言模型，相比第二代模型，它的性能提升很高。其中700亿参数版本在上线2天后就在ChatBot Arena大模型匿名竞技场获得了2700多个匿名投票，得分超过此前最强的开源模型Command R+，登顶开源模型第一。相比较其它模型，Llama3在更多的数据训练，其模型架构也有了新的变化。关于Llama3系列模型的信息可以参考DataLearnerAI的介绍：https://www.datalearner.com/blog/1051713454866102

<center>![](https://www.datalearner.com/resources/blog_images/3fdd784a-2c73-4cb1-b063-209ddf8a075a.png)</center>
<center></center>

本教程的主要目的是通过Gradio提供的ChatBot组件做web版的大模型聊天页面原型。然后通过transformers库提供TextStreamer工具实现流式输出。所有的代码均只在一个py文件中实现，搭建好环境之后，直接运行脚本即可绑定服务到80端口，实现web版本的Llama3的聊天应用。

注意，这里的Llama3-8B-Instruct模型本身需要约15GB显存才可以推理，如果你本身已经有资源可以自己尝试部署。本教程的模型文件和代码已经打包成镜像，上架仙宫云的镜像市场，想一键体验或者低成本学习可以参考我们的仙宫云合作信息。

[TOC]

#### Llama3模型下载
首先需要注意的是，我们需要自己去申请拿到Llama3的预训练结果。目前看，尽量不要用个人邮箱申请，速度很快。DataLearnerAI的童鞋用企业邮箱注册申请，官网申请秒批，在HuggingFace申请也只需要几分钟即可。

另外，需要注意的是，GitHub下载脚本下载需要审批通过的链接。HuggingFace上审批通过后需要配合access token下载。这部分可以用git命令也可以用HuggingFace的transformers库在python中下载认证。我们推荐自己手动下载。

#### 步骤0：安装Llama3-8B-Instruct的依赖
Llama3模型本身比较新，采用了一些比较新的架构。我们这里考虑使用transformers库做推理，同时使用accelerate加速，并最终使用gradio创建聊天界面，因此，在安装了torch的cuda版本前提下还需要安装上述三个库（升级到新版本）：

```
pip install -U transformers
pip install -U accelerate
pip install -U gradio
```

#### 步骤1：定义全局变量
为了初始化模型，以及设置一些Gradio聊天的界面头像，我们先定义几个全局变量，便于后续使用。

```
bot_avatar = "/home/datalearner/dl_logo_rect.png"           # 聊天机器人头像位置
user_avatar = "/home/datalearner/user_avatar.png"           # 用户头像位置
model_path = "/home/datalearner/Meta-Llama-3-8B-Instruct"   # 已下载的模型位置

# 存储全局的历史对话记录，Llama3支持系统prompt，所以这里默认设置！
llama3_chat_history = [
    {"role": "system", "content": "You are a helpful assistant trained by MetaAI! But you are running with DataLearnerAI Code."}
]

# 初始化所有变量，用于载入模型
tokenizer = None
streamer = None
model = None
terminators = None
```

这里需要注意2点：一个是llama3_chat_history，这个变量用来保存历史对话信息，尽管Gradio的Chatbot组件有内置的变量chat_history管理对话记录。但是最新的模型的历史消息一般都包含了系统指令、不同角色区分等。所以我们用一个新的变量保存这些历史记录。也因为引入了这个变量，在清理历史消息的时候也需要增加清理机制。另一个变量是terminators，是模型停止输出的标记。在Llama3中，结束标记是它们自己设置的，这个变量如果没有或者设置错误，即使是Insturct指令优化模型也会出现不断生成内容的现象，也就是说模型不知道什么时候该停止生成。

#### 步骤2：初始化Llama3-8B-Instruct模型
我们单独定义一个函数，用来初始化并加载Llama3-8B-Instruct模型，只需要启动时候初始化，后续对话直接使用即可：

```python
def init_model():
    """初始化模型，载入本地模型
    """
    global tokenizer, model, streamer, terminators
    tokenizer = AutoTokenizer.from_pretrained(
        model_path, local_files_only=True)

model = AutoModelForCausalLM.from_pretrained(
        model_path,
        torch_dtype=torch.float16,
        device_map=device,
        trust_remote_code=True
    )

terminators = [
        tokenizer.eos_token_id,
        tokenizer.convert_tokens_to_ids("<|eot_id|>")
    ]

streamer = TextIteratorStreamer(
        tokenizer,
        skip_prompt=True,
        skip_special_tokens=True
    )

```

初始化方法很简单，与常规的transformers写法一致，只是注意Llama3独有的停止标记即可。

#### 步骤3：基于Gradio创建聊天机器人
接下来我们就可以使用Gradio来创建聊天机器人了。大致的代码框架如下：

```python

with gr.Blocks() as demo:
    # step1: 载入模型
    init_model()

# step2: 初始化gradio的chatbot应用，并添加按钮等信息
    chatbot = gr.Chatbot(
        height=900,
        avatar_images=(user_avatar, bot_avatar)
    )
    msg = gr.Textbox()
    clear = gr.ClearButton([msg, chatbot])

# 清楚历史记录
    def clear_history():
        global llama3_chat_history
        llama3_chat_history = []

# 用于回复的方法
    def respond(message, chat_history):
        """用Llama3回复用户消息的处理，后面展开"""

# 点击清楚按钮，触发历史记录清楚
    clear.click(clear_history)
    msg.submit(respond, [msg, chatbot], [msg, chatbot])
```

这是非常常规的Gradio聊天机器人应用写法。除了清楚历史记录外，其它都与官方代码一致。这里加的的清楚历史记录是在最后`clear.click`时候触发的，clear是清楚历史对话的按钮，我们前面说了，我们引入了自定义变量，那就要这里记住清楚。

接下来我们来加入推理代码即可，即代码中`用于回复的方法`注释部分的具体内容。

#### 步骤4：增加用transformers库推理回复用户消息的内容
这部分就是拿到用户的输入之后，怎么用流式方法推理。在步骤2中，我们已经初始化了Llama3-8B-Instruct模型相关的变量。那么流式推理的代码主要如下：

```python
def respond(message, chat_history):

# 引入全局变量
        global llama3_chat_history, tokenizer, model, streamer

# 拼接对话历史
        llama3_chat_history.append({"role": "user", "content": message})

# 使用Llama3自带的聊天模板，格式化对话记录
        history_str = tokenizer.apply_chat_template(
            llama3_chat_history,
            tokenize=False,
            add_generation_prompt=True
        )

# 对历史记录进行tokenization
        inputs = tokenizer(history_str, return_tensors='pt').to(device)

# 这个历史记录是Gradio的Chatbot自带的变量，用来控制页面显示逻辑的，我们必须也要对齐操作，保证页面展示正常
        chat_history.append([message, ""])

# 拼接推理参数
        generation_kwargs = dict(
            **inputs,
            streamer=streamer,
            max_new_tokens=4096,
            num_beams=1,
            do_sample=True,
            top_p=0.8,
            temperature=0.3,
            eos_token_id=terminators
        )

# 启动线程，用以监控流失输出结果
        thread = Thread(target=model.generate, kwargs=generation_kwargs)
        thread.start()

# 循环推理streamer，每次得到新增的推理部分都附到历史记录末尾，Gradio会监控这个变量在页面展示
        for new_text in streamer:
            chat_history[-1][1] += new_text
            yield "", chat_history

# 所有的输出完毕之后，我们自己的历史记录也要更新，把模型输出的完整结果加进来。
        llama3_chat_history.append(
            {"role": "assistant", "content": chat_history[-1][1]}
        )
```

可以看到，这部分内容是最多的。但也不是很复杂。把前面所有内容拼接好就是完整的代码了。这个代码放到一个py脚本中，后面直接执行这个脚本即可。唯一需要注意的是安装的transformers等依赖的版本，以及要提前把模型文件下载好。

#### 步骤5：绑定Gradio应用到80端口，运行web访问
这一步很简单，常规操作，但是没有就无法启动了：

```
if __name__ == "__main__":
    demo.launch(server_name="0.0.0.0", server_port=80)
```

#### 在仙宫云镜像中运行
最后，我们简单总结一下如何运行。首先，这里的运行并不是一定要在仙宫云进行。只要你在超过15G显卡的机器上就可以跑了。

我们的代码文件和模型文件都放在了`/home/datalearner`目录下的`run_llama3_gradio.py`，所以，我们执行如下命令即可：
```
cd /home/datalearner
python run_llama3_gradio.py
```

接下来可以看到如下界面提示：

<center>![](https://www.datalearner.com/resources/blog_images/c641e0ae-695c-44c8-9668-eb898eaa966e.png)</center>

这个提示说明成功拉起模型，并启动了gradio的界面。通过运行`nvidia-smi`命令也可以看到4090的显存已经消耗了15GB左右。说明半精度的Llama3-8B-Instruct已经拉起来了。
<center>![](https://www.datalearner.com/resources/blog_images/ae828167-0db8-4dc7-880f-269843e59b50.png)</center>
<center></center>

启动完成之后，本地可以通过http:/127.0.0.1 访问，如果是仙宫云，则直接可以通过外网访问。可以通过仙宫云控制台访问web地址：

<center>![](https://www.datalearner.com/resources/blog_images/9eac0e06-a838-4519-86d2-e6a6930c92cf.png)</center>
<center></center>

Llama3-8B-Instruct简单测试：

<center>![](https://www.datalearner.com/resources/blog_images/9676b6fa-4f92-4a12-9031-5def43a4deca.png)</center>
<center></center>

使用Gradio配合transformers的text streamer实现Llama3-8B-Instruct的网页聊天机器人，流式输出

基本信息

Llama3-8B-Instruct 部署教程简介

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送