模型详细情况和参数
评测名称 | 评测能力方向 | 评测结果 |
---|---|---|
MMLU | 知识问答 | 85.9 |
MMLU Pro | 知识问答 | 0.0 |
GSM8K | 数学推理 | 0.0 |
HumanEval | 代码生成 | 89.0 |
MBPP | 代码生成 | 0.0 |
TruthfulQA | 真实性评估 | 0.0 |
MATH | 数学推理 | 76.6 |
BBH | 综合评估 | 0.0 |
GPQA Diamond | 常识推理 | 0.0 |
这是2024年12月3日由Amazon发布的一个大语言模型,属于Amazon nova系列模型中参数规模较大的一个模型,该模型瞄准的竞争对手是GPT-4o、Claude Sonnet 3.5等业界最强大模型。
该模型在MMLU、代码能力等方面都与GPT-4o、Claude Sonnet 3.5相比都很不错。