Pa

PaLM

基础大模型

Pathways Language Model

发布时间: 2022-04-05

模型参数(Parameters)
5400.0
最高上下文长度(Context Length)
2K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

最高上下文输入长度

2K tokens

最长输出结果
未披露
模型类型

基础大模型

发布时间

2022-04-05

模型预文件大小
暂无数据

开源和体验地址

代码开源状态
预训练权重开源
不开源 - 不开源
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

PaLM模型在各大评测榜单的评分

发布机构

模型介绍

近年来,为语言理解和生成而训练的大型神经网络在广泛的任务中取得了令人印象深刻的结果。GPT-3首次表明,大型语言模型(LLMs)可用于少量的学习,并且无需大规模的特定任务数据收集或模型参数更新即可取得令人印象深刻的结果。最近的LLM,如GLaM、LaMDA、Gopher和Megatron-Turing NLG,通过扩大模型规模、使用稀疏的激活模块和在更多来源的更大的数据集上进行训练,在许多任务上取得了最先进的几发结果。然而,当我们推动模型规模的极限时,在理解几率学习所出现的能力方面还有很多工作要做。


去年,谷歌研究部宣布了我们对Pathways的愿景,即一个可以跨领域和任务通用的单一模型,同时具有很高的效率。实现这一愿景的一个重要里程碑是开发新的Pathways系统来协调加速器的分布式计算。在 "PaLM:用Pathways扩展语言建模 "中,我们介绍了Pathways语言模型(PaLM),这是一个用Pathways系统训练的5400亿个参数、仅有密集解码器的Transformer模型,它使我们能够在多个TPU v4 Pod上有效地训练一个模型。我们在数百个语言理解和生成任务上对PaLM进行了评估,发现它在大多数任务中实现了最先进的几率性能,在许多情况下都有显著的优势。


关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat