LL

LLaMA-2-7B-32K

基础大模型

LLaMA-2-7B-32K

发布时间: 2023-07-28

模型参数(Parameters)
70.0
最高上下文长度(Context Length)
32K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

是否支持推理过程

不支持

最高上下文输入长度

32K tokens

最长输出结果
暂无数据
模型类型

基础大模型

发布时间

2023-07-28

模型预文件大小

13.3GB

开源和体验地址

代码开源状态
预训练权重开源
免费商用授权 - 免费商用授权
GitHub 源码
暂无GitHub开源地址
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度(满分5分)
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

LLaMA-2-7B-32K模型在各大评测榜单的评分

发布机构

模型介绍

Together AI在其博客中宣布了LLaMA-2-7B-32K的发布,这是一个32K上下文模型,使用位置插值和Together AI的数据配方和系统优化构建,包括FlashAttention-2。该模型可以针对目标长上下文任务进行微调,如多文档理解、摘要和问答,并在32K上下文中进行推理和微调,速度提升了3倍。


在过去的几个月中,我们见证了开源生态系统LLMs的快速进步,从触发“LLaMA时刻”的原始LLaMA模型,到RedPajama、MPT、Falcon等努力,以及最近的LLaMA-2发布,开源模型一直在迎头赶上闭源模型。我们相信,开源模型即将的机会是将开放模型的上下文长度扩展到32K-128K的范围,与最先进的闭源模型相匹配。我们已经看到了一些令人兴奋的努力,如MPT-7B-8K和LLongMA-2(8K)。


LLaMA-2-7B-32K:我们将LLaMA-2-7B的长上下文扩展到32K,使用Meta的插值和持续预训练配方。我们分享了我们当前的数据配方,包括长上下文预训练和指令调整数据的混合。


构建自己的长上下文模型的示例:我们分享了如何微调LLaMA-2-7B-32K来构建特定应用的两个示例,包括书籍摘要和长上下文问题回答。


软件支持:我们更新了推理和训练堆栈,以允许使用最近发布的FlashAttention-2和一系列其他优化进行高效的推理和微调,使用32K上下文。这允许用户创建自己的32K上下文模型并进行高效的推理。


尝试一下:

- 前往Together API并运行LLaMA-2-7B-32K进行推理。

- 使用OpenChatKit对LLaMA-2-7B-32K进行微调,为您自己的长上下文应用创建一个32K模型。

- 前往HuggingFace并尝试LLaMA-2-7B-32K。


长上下文模型已经对文档理解、摘要和检索增强生成至关重要。我们很高兴能与开源社区分享这项工作,并朝着更好、更长上下文模型的持续进步迈进。

Foundation Model

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat