Raven RWKV 7B
聊天大模型Raven RWKV 7B
发布时间: 2023-05-22
模型参数（Parameters）
70.0
最高上下文长度（Context Length）
2K
是否支持中文
支持
推理能力（Reasoning）
模型基本信息
最高上下文输入长度
2K tokens
最长输出结果
未披露
模型类型
聊天大模型
发布时间
2023-05-22
模型预文件大小
45GB
开源和体验地址
官方介绍与博客
API接口信息
接口速度
暂无数据
接口价格
输入价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输出价格:
- 文本: 暂无数据
- 图片: 暂无数据
- 音频: 暂无数据
- 视频: 暂无数据
- Embedding: 暂无数据
输入支持的模态
文本
输入不支持
图片
输入不支持
视频
输入不支持
音频
输入不支持
Embedding（向量）
输入不支持
输出支持的模态
文本
输出不支持
图片
输出不支持
视频
输出不支持
音频
输出不支持
Embedding（向量）
输出不支持
Raven RWKV 7B模型在各大评测榜单的评分
发布机构
个人
查看发布机构详情
模型介绍
基于RNN架构的大语言模型，结合了RNN与Transformer的优点。Raven RWKV 7B是它的70亿参数版本。
RWKV是一个结合了RNN与Transformer双重优点的模型架构。由香港大学物理系毕业的彭博首次提出。简单来说，RWKV是一个RNN架构的模型，但是可以像transformer一样高效训练。HuggingFace官方宣布在transformers库中首次引入RNN这样的模型，足见RWKV模型的价值。
详情参考： https://www.datalearner.com/blog/1051684163498438
注意，RWKV系列开源的最大的优点包括：
- 可以商用
- 基于1.7万亿tokens训练
- 未来将开源1000亿参数规模的预训练结果
关注DataLearnerAI公众号
关注DataLearnerAI微信公众号，接受最新大模型资讯
