大模型的发展速度很快，对于需要学习部署使用大模型的人来说，显卡是一个必不可少的资源。使用公有云租用显卡对于初学者和技术验证来说成本很划算。DataLearnerAI在此推荐一个国内的合法的按分钟计费的4090显卡公有云服务提供商仙宫云，可以按分钟租用24GB显存的4090显卡公有云实例，非常具有吸引力~

据传，Meta公司即将推出一款名为Code LLaMA的开源AI模型，用于生成编程代码。这一新模型被视为与OpenAI的Codex模型竞争的产品，并建立在Meta最近发布的LLaMA 2上。以下是关于这一新技术的详细分析。

随着近年来GPT-3、ChatGPT等大模型的兴起，高质量的数据集在模型训练中扮演着越来越重要的角色。但是当前领先的预训练模型使用的数据集细节往往不公开，开源数据的匮乏制约着研究社区的进一步发展。特别是大规模中文数据集十分缺乏，对中文大模型以及业界模型的中文支持都有很大的影响。此次，上海人工智能实验室发布的这个数据集包含了丰富的中文，对于大模型的中文能力提升十分有价值。

当谈及人工智能的巨大进步，大模型的崛起无疑是其中的一个重要里程碑。这些大模型，如GPT-3，已经展现出令人惊叹的语言生成和理解能力，但是为了让它们在特定任务上发挥最佳性能，大模型微调（Fine-tuning）是一种非常优秀的方法。微调是一种将预训练的大型模型进一步优化，以适应特定任务或领域的过程。但微调并不是很简单，今天吴恩达联合Lamini推出了全新的大模型微调短课《Finetuning Large Language Models》。

OpenAI在2023年8月份发布了GPT-3.5的微调接口，并表示会在2023年秋天开放16K的gpt-3.5-turbo-16k模型和GPT-4的微调（参考：[重磅！GPT-3.5可以微调了！OpenAI发布GPT-3.5 Turbo微调接口](https://www.datalearner.com/blog/1051692752268726 "重磅！GPT-3.5可以微调了！OpenAI发布GPT-3.5 Turbo微调接口")）。然而，微调并不是一个简单的问题，如何对大模型微调以及如果微调出现问题

此前，OpenAI的CEO说今年等算力不那么紧张的时候就可以让大家微调OpenAI的GPT模型，现在这个功能已经发布了！OpenAI发布了GPT-3.5 Turbo的微调接口，允许大家用自己的数据微调GPT-3.5模型！

SQLCoder 是 Defog 团队推出的一款前沿的语言模型，专门用于将自然语言问题转化为 SQL 查询。这是一个拥有150亿参数的模型，其性能略微超过了 gpt-3.5-turbo 在自然语言到 SQL 生成任务上，并且显著地超越了所有流行的开源模型。更令人震惊的是，尽管 SQLCoder 的大小只有 text-davinci-003 的十分之一，但其性能却远超后者。

Allen Institute for AI简称AI2，是2014年成立的一个非营利性研究组织，其创办者是之前的微软联合创始人Paul G. Allen。目前该组织主导了几个非常大的项目，希望借助AI来推动科学、医学等领域的进步。此前也开源过大模型OLMo等。这次是该组织第一份发布AI数据集相关的项目，名称位Dolma，是一个包含了3万亿tokens的数据集，目前第一版本仅仅包含英文。

开源大语言模型的发展非常迅速，其强大的能力也吸引了很多人的尝试与体验。尽管预训练大语言模型的使用并不复杂，但是，因为其对GPU资源的消耗很大，导致很多人并不能很好地运行加载模型，也做了很多浪费时间的工作。其中一个比较的的问题就是很多人并不知道自己的显卡支持多大参数规模的模型运行。本文将针对这个问题做一个非常简单的介绍和估算。

Stable Diffusion XL是StabilityAI最新的开源模型。是目前业界流行的免费开源图像生成大模型。2023年4月份StabilityAI就宣布了SD XL的存在并在2023年7月26日开源。SD XL相比较此前的模型速度更快、提示词更短、生成的图像更加真实。但是，大多数人可能并没有实际运行过，感受过这个模型的魅力。在这篇博客中，我们给大家展示如何利用Google Colab的免费GPU资源，部署一个SD XL模型，并通过prompt生成一些图片。

刚刚，吴恩达宣布deeplearning.ai 与 Cohere 合作推出了一个新课程：“Large Language Models with Semantic Search”。这个课程主要教授大家如何使用LLMs进行语义搜索，还提供了大量实践经验，来克服搜索结果和准确性等挑战。

今天， Analytics India Magazine披露了说ChatGPT每天的运行成本70万美元左右，以及七月份ChatGPT月活人数也环比上月降低2亿，只剩15亿用户左右。而硅谷著名风投A16Z（Andreessen Horowitz）也透露了一些OpenAI的数据我们可以一起看看。

XVERSE-13B是元象开源的一个大语言模型，发布一周后就登顶HuggingFace流行趋势榜。该模型最大的特点是支持多语言，其中文和英文水平都十分优异，在评测结果上超过了Baichuan-13B，与ChatGLM2-12B差不多，不过ChatGLM2-12B是收费模型，而XVERSE-13B是免费商用授权！

WizardLM是微软联合北京大学开源的一个大语言模型。此前，发布的WizardLM和WizardCoder都是业界开源领域最强的大模型。其中，前者是针对指令优化的大模型，而后者则是针对编程优化的大模型。而此次WizardMath则是他们发布的第三个大模型系列，主要是针对数学推理优化的大模型。在GSM8K的评测上，WizardMath得分超过了ChatGPT-3.5、Claude Instant-1等闭源商业模型，得分十分逆天！

电影《流浪地球2》里面一个非常重要的情节就是数字生命计划。将人类的意识上传到计算机之后，可以通过AI技术让人类以数字化的形式在计算机中存活。而今天HeyGen官方宣布的即将推出的真人视频生成技术，可以根据真人的照片生成非常逼真的数字人视频，其动作、表情、声音等全部由AI技术生成，而几乎无法分辨是真人拍摄的视频还是AI生成的视频。

AI Playground最近的LLaMA2、Stable Diffusion XL等模型的进展也让大家看到了最新最强大的模型的能力。但是，对于大多数人来说，这些模型的使用依然具有较高的门槛，除了硬件资源消耗大，本身的部署也不容易。而支撑这些模型的一个重要的硬件因素就是英伟达的显卡。显卡已经超越一般理财，变得越来越贵。因此，基于大模型的免费服务成本也很高，而今天，英伟达官方的NGC网站推出了新的几款可以免费使用的大模型，包括聊天大模型LLaMA2、文本生成图片大模型Stable Diffusion等，基于