MiniGPT-4 简介

MiniGPT-4是一个可以理解图片的大语言模型，是由开源的预训练模型Vicuna-13B与BLIP-2结合的新模型。

MiniGPT-4是分两个阶段训练的。

1. 首先是使用500万个图像-文本数据训练，在4个A100上训练了10个小时左右，不过这个阶段的模型的生成能力受到了严重的影响，因此还有第二个阶段；
2. 第二个阶段是通过模型本身和ChatGPT一起创建高质量的图像文本对，这是一个小而高质量的数据集（共计3500个对）。然后在对话模板中使用这个数据集进行训练，显著提高了其生成可靠性和整体可用性；但是这个阶段的微调效率很高，一个A100在大约7分钟内就可以完成。

研究发现，MiniGPT-4具有许多与GPT-4类似的功能，比如生成详细的图像描述和从手写草稿创建网站。MiniGPT-4还有其他新兴功能，包括根据给定的图像撰写故事和诗歌，提供解决图像中显示的问题的方法，以及基于食品照片教用户如何烹饪等。下图是一个实例：

MiniGPT-4的数据集、论文等完全公开。

MiniGPT-4开源代码地址： https://github.com/Vision-CAIR/MiniGPT-4 

MiniGPT-4第一阶段数据集地址： https://github.com/Vision-CAIR/MiniGPT-4/blob/main/dataset/README_1_STAGE.md 

MiniGPT-4第二阶段数据集地址： https://github.com/Vision-CAIR/MiniGPT-4/blob/main/dataset/README_2_STAGE.md 

MiniGPT-4官网地址： https://minigpt-4.github.io/ 

MiniGPT-4在线演示地址： https://minigpt-4.github.io/ 

MiniGPT-4论文地址： https://github.com/Vision-CAIR/MiniGPT-4/blob/main/MiniGPT_4.pdf