手把手教你从0部署李开复零一万物公司开源的多模态大模型Yi-VL-6B，实现网页端的多模态聊天机器人应用

Yi-VL-6B是由李开复旗下的大模型初创企业零一万物开源的一个多模态大模型。其基座语言模型是Yi-6B，具有良好的文本理解等能力。Yi-VL-6B的图像理解能力很好，在同等参数规模水平上非常优秀。Yi-VL-6B的图像部分采用了LLaVA模型类似的图片处理机制。但是从此前的情况看，Yi-VL-6B的代码依赖比较多，很难运行。本教程主要是采用了Gradio多模态Chatbot组件，可以在网页端实现多模态对话的功能。

<center>![](https://www.datalearner.com/resources/blog_images/e64280ca-b6bc-44c6-8d84-2b34d5b8d310.png)</center>
<center></center>

官方提供的代码，包含vllm部分，但是我们测试过，它不支持多轮，我们提了一个feature request，官方当作bug修复了，本次教程依然采用原先的方案。使用vllm会更简单，后续我们考虑新增这部分教程。

[TOC]

#### 步骤1：下载模型，安装Yi-VL官方代码库和模型文件
Yi-VL系列代码在图像处理部分的部分逻辑与著名的LLaVA库差不多，但是与它也有一些区别。此前DataLearnerAI的童鞋测试过，使用transformers库拉起Yi-VL-6B会出现一些错误，例如`TypeError: expected str, bytes or os.PathLike object, not NoneType`。在官方的GitHub中提过这个issue，但是重现错误之后没有给出解决方案。所以，我们采用了官方提供的LLaVA接口来做测试。可以成功运行。

##### 从HuggingFace下载官方的模型预训练结果
这个不多说，从https://huggingface.co/01-ai/Yi-VL-6B/tree/main 下载即可。不过这里提醒一下，虽然Yi-VL-6B模型本身是60亿参数规模，但是多模态模型是要外接视觉部分的。因此，这个库的vit文件也要下载，如果是手动下载，不要忘记这部分内容。

模型文件下载完毕之后，就可以看到`/home/datalearner`目录下有了Yi-VL-6B的文件夹。

##### 从官方库下载Yi代码
前面已经说了，完全使用transformers库会有一些问题。所以我们采用了官方的代码，将其改造成可以在Gradio运行即可。因此，需要下载官方代码库：

```
# 先进入/home/datalearner目录，我们的代码和模型都在这里
cd /home/datalearner

# 使用git下载官方代码
git clone https://github.com/01-ai/Yi.git

# 安装Yi相关依赖
export PYTHONPATH=$PYTHONPATH:$(pwd)
pip install -r requirements.txt
```

注意，export那一步骤是把当前路径加入到环境变量中，必须执行，否则可能出现部分库找不到。

代码下载安装完毕之后，就可以看到`/home/datalearner`目录下有了Yi的文件夹。

经过上面两个步骤，我们可以看到下面的目录结构：
<center>![](https://www.datalearner.com/resources/blog_images/cadbec21-e501-46b7-904d-67fcb2aa781d.png)</center>
<center></center>

这里红圈标识的是本次教程新增的代码部分，在这里执行即可。下面我们详细介绍部署代码。

#### 步骤二：引入相关的库，并初始化变量
这是最基本的步骤了，只是因为Yi-VL代码相对比较复杂，所以这里会引入比较多的官方提供的库。前面说了，我们的代码是嵌入在官方库的Yi/VL目录下的，本地IDE也需要把官方的llava目录包含进来，否则会提示找不到。所以代码位置一定要准确。

引入依赖和初始化的部分代码如下：
```
import gradio as gr
import os

import torch
from llava.conversation import conv_templates
from llava.mm_utils import (
    KeywordsStoppingCriteria,
    get_model_name_from_path,
    load_pretrained_model,
    process_images,
    tokenizer_image_token,
)
from llava.model.constants import DEFAULT_IMAGE_TOKEN, IMAGE_TOKEN_INDEX, key_info
from PIL import Image

# 前两个是聊天的头像，可以换成任意的自己的，最后一个是模型目录
bot_avatar = "/home/datalearner/dl_logo_rect.png"
user_avatar = "/home/datalearner/user_avatar.png"
model_path = "/home/datalearner/Yi-VL-6B"

# 这些变量都是模型初始化的时候赋值，推理时候使用，所以定义在这，作为全局变量
client = None
conv = None
model = None
tokenizer = None
image_processor = None
image_tensor = None
yi_chat_history = []
```

#### 步骤三：定义图像读取方法
在多模态大模型中，图像和文本类似，都是使用网络层读取数据。只是文本变成token id输入，图像则转成像素读取。这里使用Image库来读取图片：

```
def load_image(image_file):
    """载入图片
    """
    if image_file is None:
        return None

# 如果是网络图片，这部分代码需要改造，这里因为使用Gradio对话，没有单独的网路图片地址，所以不支持网络图片。改造很简单，参考Image库使用即可
    image = Image.open(image_file).convert("RGB")
    return image
```

非常基本的方法，在后续获得图像之后使用。

#### 步骤四：按照Gradio的多模态Chatbot消息处理历史数据
这部分是通过读取用户提交的文本和图像附件消息来获得相应内容，然后让Yi-VL-6B模型进行推理。

```

def get_res_from_yi_vl(new_msg, image_file):
    """
    永远只取最新的一个图片作为输入
    """

print(f"new msg:{new_msg}")
    print(f"new image:{image_file}")

global conv, model, tokenizer, image_processor, image_tensor

if image_file is None:
        image = None
    else:
        image = load_image(image_file)
        image_tensor = process_images([image], image_processor, model.config)
        image_tensor = image_tensor.to(model.device, dtype=torch.bfloat16)

inp = new_msg
    if image is not None:
            inp = DEFAULT_IMAGE_TOKEN + "\n" + inp
            conv.append_message(conv.roles[0], inp)
            image = None
    else:
        conv.append_message(conv.roles[0], inp)

conv.append_message(conv.roles[1], None)
    prompt = conv.get_prompt()

input_ids = (
        tokenizer_image_token(
            prompt, tokenizer, IMAGE_TOKEN_INDEX, return_tensors="pt"
        )
        .unsqueeze(0)
        .to(model.device)
    )
    stop_str = conv.sep
    keywords = [stop_str]
    stopping_criteria = KeywordsStoppingCriteria(keywords, tokenizer, input_ids)

with torch.inference_mode():
        output_ids = model.generate(
            input_ids,
            images=image_tensor,
            do_sample=True,
            temperature=0.2,
            max_new_tokens=1024,
            use_cache=True,
            stopping_criteria=[stopping_criteria],
        )

input_token_len = input_ids.shape[1]
    outputs = tokenizer.batch_decode(
        output_ids[:, input_token_len:], skip_special_tokens=True
    )[0]
    outputs = outputs.strip()
    if outputs.endswith(stop_str):
        outputs = outputs[: -len(stop_str)]
    outputs = outputs.strip()

print(outputs)

conv.messages[-1][-1] = outputs
    return outputs
	
def add_message(history, message):
    """
    处理输入的消息，多模态的数据处理需要区分用户输入的文本和附件，本部分的逻辑是来自于Gradio官方的接口
    :param history: 历史消息，列表格式，即["msg1", "msg2"]
    :param message: 当前输入的消息，字典类型，其中可以一次放入多个文件。格式如下：
                     {
                        'text': 'hello',
                        'files': [
                            {
                                'path': '/home/datalearner/test.png',
                                'url': '/file=/home/datalearner/test.png',
                                'size': 27599, 'orig_name': 'test.png', 
                                'mime_type': 'image/png',
                                'is_stream': False,
                                'meta': {'_type': 'gradio.FileData'}
                            }
                            ]
    """
    global yi_chat_history
    new_msg = {
        "role": "user",
        "content" : {
            "image_files":[],
            "text_msg": "",
        }
    }

image_file = []

for x in message["files"]:
        history.append(((x,), None))  
        image_file.append(x)

if message["text"] is not None:
        history.append((message["text"], None))
        new_msg["content"]["text_msg"] = message["text"]

if len(image_file)>0:
        new_msg["content"]["image_files"].extend(image_file)

yi_chat_history.append(new_msg)
    
    return history, gr.MultimodalTextbox(value=None, interactive=False, file_types=["image"])
```

这里的参数是Gradio提供的内置变量的历史数据和新增消息。Gradio本身是支持每次用户发送消息时候带图像附件的。但是当前模型在这块并不是很擅长，我们只读取第一次的图片，剩余的就忽略了。另外，我们这里也要根据这个数据构造Yi-VL-6B模型可以识别的历史消息格式，所以使用了全局变量进行拼接。

#### 步骤五：使用Yi-VL-6B模型进行推理

这部分的核心代码是用官方提供的推理函数。但是需要配合改造成可以被Gradio接受的方法。用于后面的聊天机器人使用。

##### 用Yi-VL-6B模型做多模态推理的代码

首先我们构造一个方法，让Yi-VL-6B模型对图片和文本做推理。代码如下：

```python
def get_res_from_yi_vl(new_msg, image_file):
    """
    永远只取最新的一个图片作为输入
    """

print(f"new msg:{new_msg}")
    print(f"new image:{image_file}")

# 获取全局变量，这些应该是已经初始化了的模型相关变量，可以直接使用
    global conv, model, tokenizer, image_processor, image_tensor

# 如果输入有图片，需要对图片做tensor转换，也就是变成相应的transformers网络可以读取的向量
    if image_file is None:
        image = None
    else:
        image = load_image(image_file)
        image_tensor = process_images([image], image_processor, model.config)
        image_tensor = image_tensor.to(model.device, dtype=torch.bfloat16)

# 这部分代码主要用于拼接图像输入，图像需要特殊标记位
    inp = new_msg
    if image is not None:
            inp = DEFAULT_IMAGE_TOKEN + "\n" + inp
            conv.append_message(conv.roles[0], inp)
            image = None
    else:
        conv.append_message(conv.roles[0], inp)

conv.append_message(conv.roles[1], None)
    prompt = conv.get_prompt()

# 将图像与文本输入的prompt拼接作为输入
    input_ids = (
        tokenizer_image_token(
            prompt, tokenizer, IMAGE_TOKEN_INDEX, return_tensors="pt"
        )
        .unsqueeze(0)
        .to(model.device)
    )
    stop_str = conv.sep
    keywords = [stop_str]
    stopping_criteria = KeywordsStoppingCriteria(keywords, tokenizer, input_ids)

# 构造完所有输入之后可以用模型进行推理
    with torch.inference_mode():
        output_ids = model.generate(
            input_ids,
            images=image_tensor,
            do_sample=True,
            temperature=0.2,
            max_new_tokens=1024,
            use_cache=True,
            stopping_criteria=[stopping_criteria],
        )

# 这里拿到的输出是token id，需要转成可读的文本
    input_token_len = input_ids.shape[1]
    outputs = tokenizer.batch_decode(
        output_ids[:, input_token_len:], skip_special_tokens=True
    )[0]
    outputs = outputs.strip()
    if outputs.endswith(stop_str):
        outputs = outputs[: -len(stop_str)]
    outputs = outputs.strip()

print(outputs)

conv.messages[-1][-1] = outputs
    return outputs
```
这里的核心代码和步骤我们已经做了解释。其实这些代码正常情况应该可以由transformer提供工具帮助我们串联，这里我们只能通过相对原始一点的代码写，否则可能会报错。

##### 构造适配Gradio的机器人回复方法

上面是用Yi-VL-6B做多模态推理的代码。这部分代码作为整个方法可以用来构造Gradio的Chatbot输出了。

```
def bot(history):
    """Yi-VL-6B推理
    """
    global yi_chat_history
    print(f"chat history: {yi_chat_history}")
    new_text_msg, new_image_list = yi_chat_history[-1]["content"]["text_msg"], yi_chat_history[-1]["content"]["image_files"]

new_image_file = None
    if len(new_image_list)>0:
        new_image_file = new_image_list[0]

#
    bot_msg = get_res_from_yi_vl(new_text_msg, new_image_file)
    history[-1][1] = bot_msg
    yi_chat_history.append({"role":"assistant", "content": bot_msg})
    return history
```

#### 步骤六：初始化模型方法

接下来我们增加一个模型初始化的方法，用在启动Chatbot之前执行，可以一次性载入模型到GPU显存中，后面直接使用。这部分比较简单：

```python

def init_model():
    """Initialize Yi-VL-6B model
    """
    global tokenizer, model, image_processor, conv, model_path
    model_path = os.path.expanduser(model_path)
    key_info["model_path"] = model_path
    get_model_name_from_path(model_path)
    tokenizer, model, image_processor, _ = load_pretrained_model(model_path)

conv = conv_templates["mm_default"].copy()
```

#### 步骤七：基于Gradio的多模态Chatbot构建完整的Web版多模态模型应用
在准备完上面的核心方法之后，我们就可以按照Gardio官方提供的Multi Modal Chatbot来构建多模态聊天大模型应用了。代码如下：

```python
with gr.Blocks() as demo:
    
    # 初始化代码
    init_model()

# 自定义历史消息清楚方法，由于我们创建了一个自定义历史消息变量，因此无法使用Gradio内置的方式清楚历史记录
    def clear_history():
        global yi_chat_history, conv
        yi_chat_history = []
        conv = conv_templates["mm_default"].copy()

# 创建Chatbot应用
    chatbot = gr.Chatbot(
        [],
        elem_id="chatbot",
        bubble_full_width=False,
        height=900,
        avatar_images=(user_avatar, bot_avatar)
    )
    
    # 获取多模态输入，这部分和纯文本的Chatbot不一样
    chat_input = gr.MultimodalTextbox(interactive=True, file_types=["image"], placeholder="请输入文本或者上传图片", show_label=False)

# 增加清楚历史记录按钮，
    clear = gr.ClearButton([chat_input, chatbot])

# 用户提交历史消息之后触发机器人回复
    chat_msg = chat_input.submit(add_message, [chatbot, chat_input], [chatbot, chat_input], queue=False).then(
        bot, chatbot, chatbot, api_name="bot_response"
    )
    chat_msg.then(lambda: gr.Textbox(interactive=True), None, [chat_input], queue=False)

# 点击清楚历史记录，触发自定义历史记录清楚方法
    clear.click(clear_history)
```

核心步骤如上。这里相比官方的代码主要增加了一个自定义历史记录清楚方法。前面说过，大多数模型都有自定义的历史消息记录格式，与当前的Gradio内置的历史消息变量格式有差异。所以我们自己增加了一个变量存储与模型兼容的历史消息。带来的问题就是清楚历史按钮需要新增方法用来清楚这个数据。

#### 绑定80端口，创建脚本入口
最后一步很简单，就是创建Gradio应用，绑定到80端口，并开启外部访问的功能，便于我们可以在其它机器上通过浏览器访问我们的应用。

```python
if __name__ == "__main__":
    demo.launch(server_name="0.0.0.0", server_port=80)
```

#### 启动Yi-VL-6B多模态大模型聊天应用

最后我们说一下如何启动。如前所述，上面所有的代码都合并到一起放在一个py脚本（我们创建了一个`yi_vl_cli.py`文件）中方便大家运行。但是，与常规的方式不同我们需要把这个脚本放到官方下载的代码的VL目录下，因为我们引用了官方的部分库。位置放对之后可以直接启动即可。方法如下：

```
cd /home/datalearner/Yi/VL
python yi_vl_cli.py
```

等待一会上述代码执行之后，可以看到如下截图：

<center>![](https://www.datalearner.com/resources/blog_images/d2b5998e-a5db-4fef-baa3-ec96e14f3b17.png)</center>
<center></center>

看到这些就算运行成功了，需要注意的是前面一大块告警是可以忽略的。Yi-VL的代码前期兼容性不太好，所以会有一些这样的告警。启动完成之后可以通过127.0.0.1本地访问。如果需要其他人可以通过互联网访问，那就需要外部IP了，或者如果你是在仙宫云上用我们的镜像启动，那就可以通过仙宫云提供的WebUI地址访问：

<center>![](https://www.datalearner.com/resources/blog_images/9eac0e06-a838-4519-86d2-e6a6930c92cf.png)</center>
<center></center>

我们访问做了一个简单的测试：
<center>![](https://www.datalearner.com/resources/blog_images/e3d9428f-d9a8-4587-a447-0d8db98bf106.png)</center>
<center></center>

很顺畅。不过需要注意的是，Yi-VL-6B经过DataLearnerAI测试效果一般。在图像描述方面或者理解总结方面很不错。但是做文本提取类似这样的任务则能力非常有限了。

手把手教你从0部署李开复零一万物公司开源的多模态大模型Yi-VL-6B，实现网页端的多模态聊天机器人应用

基本信息

Yi-VL-6B 部署教程简介

欢迎大家关注DataLearner官方微信，接受最新的AI技术推送