St

Stable LM 2 - 1.6B

基础大模型

Stable Large Language Model 2 - 1.6B

发布时间: 2024-01-19

模型参数(Parameters)
16.0
最高上下文长度(Context Length)
2K
是否支持中文
不支持
推理能力(Reasoning)

模型基本信息

最高上下文输入长度

2K tokens

最长输出结果
未披露
模型类型

基础大模型

发布时间

2024-01-19

模型预文件大小

3.29GB

开源和体验地址

代码开源状态
预训练权重开源
Stability AI Membership - 收费商用授权
GitHub 源码
暂无GitHub开源地址
Hugging Face
在线体验
暂无在线体验地址

官方介绍与博客

官方论文
DataLearnerAI博客
暂无介绍博客

API接口信息

接口速度
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

Stable LM 2 - 1.6B模型在各大评测榜单的评分

发布机构

模型介绍

Stable LM 2 - 1.6B是由StabilityAI发布的一个16亿参数规模的大语言模型。相比较常规的大语言模型,这个模型参数仅16亿,可以在移动端运行。但是它的性能效果与几个月前70亿参数规模差不多。


该模型的主要特点如下:

  • 16亿参数规模,可以在移动端运行,原始模型文件大小仅3.29GB;
  • 支持多国语言,包括英语西班牙语德语意大利语法语葡萄牙语荷兰语
  • 性能良好,16亿参数规模,MMLU评分38.93,超过了70亿参数的MosaicML的MPT-7B。在MT-Bench得分上超过了Qwen-1.8B和Phi-2模型


StableLM2-1.6B模型的评测结果

官方公布了StableLM2-1.6B在不同评测任务上的评测结果。StableLM2-.1.6B与常见的小规模参数的评测结果对比如下表所示:


模型名称参数规模平均ARCHellaSwagMMLUTruthfulQAWinograndeGSM8k
phi-227.861.32%61.09%75.11%58.11%44.47%74.35%54.81%
StableLM-2-zephyr-1.6b1649.89%43.69%69.34%41.85%45.21%64.09%35.18%
Phi-1.51347.69%52.90%63.79%43.89%40.89%72.22%12.43%
StableLM2-1.6B1645.54%43.43%70.49%38.93%36.65%65.90%17.82%
MPT-7b7044.28%47.70%77.57%30.80%33.40%72.14%4.02%
Qwen-1.8B1844.75%37.71%58.87%46.37%39.41%61.72%24.41%
open_llama_3b_v23040.28%40.27%71.60%27.12%34.78%67.01%0.91%
Falcon-rw-1b1037.07%35.07%63.56%25.28%35.96%62.04%0.53%
TinyLlama-1.1B-3T1136.40%33.79%60.31%26.04%37.32%59.51%1.44%


可以看到,在不超过30亿参数规模的大语言模型上,StableLM2-1.6B几乎与Phi-1.5差不多。但是,StableLM2-1.6B还有个对齐微调版本,即StableLM-2-zephyr-1.6b,其效果更好。


而StableLM2-1.6B和其它模型在MT-Bench的评测结果更有优势:

模型参数规模MT-Bench
Mistral-7B-Instruct-v0.270亿7.61
Llama2-Chat700亿6.86
MPT-30B-Chat300亿6.39
stablelm-zephyr-3b30亿6.64
stablelm-2-zephyr-1_6b16亿5.42
Falcon-40B-Instruct400亿5.17
Qwen-1.8B-Chat18亿4.95
dolphin-2.6-phi-227亿4.93
phi-227亿4.29
TinyLlama-1.1B-Chat-v1.011亿3.46


StableLM2-1.6B的开源授权协议

不过这个模型非常有意思的是如果个人可以非商用使用,用于科研和个人目的。但是如果你要商用,但是年收入低于100万美元或者月活低于100万用户,即便是0,只要商用也要加入StabilityAI的会员计划,每个月20美元。超过这个规模的商用就需要与官方联系签合同。也就是说,这不是一个免费商用授权的大模型。

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat
Back to Top