能否用85000美元从头开始训练一个打败ChatGPT的模型,并在浏览器中运行?

尽管当前ChatGPT和GPT-4非常火热,但是高昂的训练成本和部署成本其实导致大部分个人、学术工作者以及中小企业难以去开发自己的模型。使得使用OpenAI的官方服务几乎成为了一种无可替代的选择。本文介绍的是一种低成本开发高效ChatGPT的思路,我认为它适合一些科研机构去做,也适合中小企业创新的方式。这里提到的思路涉及了一些最近发表的成果和业界的一些实践产出,大家可以参考!

小木 269 Alpaca/ChatGPT/LLaMA/大模型/大语言模型/生成模型
为什么最新的大语言模型(如ChatGPT)都使用强化学习来做微调(finetuning)?

最近,随着ChatGPT的火爆,大语言模型(Large language model)再次被大家所关注。当年BERT横空出世的时候,基于BERT做微调风靡全球。但是,最新的大语言模型如ChatGPT都使用强化学习来做微调,而不是用之前大家所知道的有监督的学习。这是为什么呢?著名AI研究员Sebastian Raschka解释了这样一个很重要的转变。大约有5个原因促使了这一转变。

小木 210 ChatGPT/RLHF/大语言模型/强化学习
OpenAI第二代DALL·E发布,可以使用自然语言创造和编辑图片的模型

今天,时隔一年后,OpenAI发布了第二代的DALL·E模型。相比较第一代的模型,DALL·E 2,以4倍的分辨率生成更真实和准确的图像。

小木 1735 OpenAI/语言模型
Google最新超大模型Pathways:一个会讲笑话的6400亿参数的语言模型

今天,Google介绍了一个新的语言模型,一个Pathways语言模型:PaLM,这是一个用Pathways系统训练的5400亿个参数、仅有dense decoder的Transformer模型,在数百个语言理解和生成任务上对PaLM进行了评估,发现它在大多数任务中实现了最先进的性能,在许多情况下都有显著的优势。

小木 780 论文快讯/语言模型
大型语言模型的新扩展规律(DeepMind新论文)——Training Compute-Optimal Large Language Models

3月29日,DeepMind发表了一篇论文,"Training Compute-Optimal Large Language Models",表明基本上每个人--OpenAI、DeepMind、微软等--都在用极不理想的计算方式训练大型语言模型。论文认为这些模型对计算的使用一直处于非常不理想的状态。并提出了新的模型缩放规律。

小木 860 deepmind/论文快讯/语言模型