能否用85000美元从头开始训练一个打败ChatGPT的模型,并在浏览器中运行?

尽管当前ChatGPT和GPT-4非常火热,但是高昂的训练成本和部署成本其实导致大部分个人、学术工作者以及中小企业难以去开发自己的模型。使得使用OpenAI的官方服务几乎成为了一种无可替代的选择。本文介绍的是一种低成本开发高效ChatGPT的思路,我认为它适合一些科研机构去做,也适合中小企业创新的方式。这里提到的思路涉及了一些最近发表的成果和业界的一些实践产出,大家可以参考!

小木 358 Alpaca/ChatGPT/LLaMA/大模型/大语言模型/生成模型
斯坦福开源媲美OpenAI的text-davinci-003轻量级开源预训练模型——Stanford-Alpaca

当前的自然语言处理预训练大模型展示了强大的能力,包括谷歌的PaLM、OpenAI的GPT系列以及最近很火热的ChatGPT等,都十分强大。但是,这些模型有2个明显的缺点:闭源和资源消耗大。斯坦福大学的研究人员发布了一个基于MetaAI开源的LLaMA微调的模型Stanford-Alpaca,该模型仅包含70亿参数,但是和OpenAI的1750亿参数的`text-davinci-003`水平差不多。

小木 589 LLaMA/大模型/自然语言处理/预训练