Pathways Language Model 2 简介

-----------------------------2023年5月18日更新---------------------------------

2023年5月17日，CNBC报道了PaLM2的进一步信息。它是基于3.6万亿tokens数据训练的。而PaLM第一代的训练数据只包含了0.78万亿tokens。也就是说PaLM2的训练数据中的tokens约是PaLM的5倍。同时，PaLM2的参数约3400亿，也比前一代5400亿参数规模小很多。

参考链接： https://www.cnbc.com/2023/05/16/googles-palm-2-uses-nearly-five-times-more-text-data-than-predecessor.html 

Google发布的第二代语言模型，提升了多语言、推理和编码的能力。

Google在2023年的I/O大会上宣布了PaLM2模型。

作为PaLM的继任者，PaLM2的发布被谷歌寄予厚望。与OpenAI类似，谷歌官方没有透露很多关于模型的技术细节，虽然发布了一个92页的技术报告，但是，正文内容仅仅27页，引用和作者14页，剩余51页都是展示大量的测试结果。而前面的27页内容中也没有过多的细节描述。尽管如此，这里面依然有几个十分重要的结论供大家参考。

简要的结论如下：

• PaLM2支持一百多种语言
• PaLM2的模型参数比PaLM更小，但是能力更强
• PaLM2与GPT-4相比很有竞争力
• PaLM2有多个版本，最小的版本可以在移动端离线使用

关于PaLM2的技术分析可以参考： https://www.datalearner.com/blog/1051683818033012