Cl

Claude 3.5 Haiku

基础大模型

Claude 3.5 Haiku

发布时间: 2024-10-22

模型参数(Parameters)
未披露
最高上下文长度(Context Length)
200K
是否支持中文
支持
推理能力(Reasoning)

模型基本信息

最高上下文输入长度

200K tokens

最长输出结果
未披露
模型类型

基础大模型

发布时间

2024-10-22

模型预文件大小
暂无数据

开源和体验地址

代码开源状态
预训练权重开源
不开源 - 不开源
GitHub 源码
暂无GitHub开源地址
Hugging Face
暂无开源HuggingFace地址
在线体验
暂无在线体验地址

API接口信息

接口速度
暂无数据
接口价格
输入价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据
输出价格:
  • 文本: 暂无数据
  • 图片: 暂无数据
  • 音频: 暂无数据
  • 视频: 暂无数据
  • Embedding: 暂无数据

输入支持的模态

文本

输入不支持

图片

输入不支持

视频

输入不支持

音频

输入不支持

Embedding(向量)

输入不支持

输出支持的模态

文本

输出不支持

图片

输出不支持

视频

输出不支持

音频

输出不支持

Embedding(向量)

输出不支持

Claude 3.5 Haiku模型在各大评测榜单的评分

评测基准名称
MMLU
(知识问答)
评测结果:77.6
评测基准名称
MMLU Pro
(知识问答)
评测结果:65.0
评测基准名称
HumanEval
(代码生成)
评测结果:88.1
评测基准名称
MBPP
(代码生成)
评测结果:85.6
评测基准名称
MATH
(数学推理)
评测结果:69.2
评测基准名称
GPQA Diamond
(常识推理)
评测结果:41.6
评测基准名称
SimpleQA
(真实性评估)
评测结果:8.02
评测基准名称
GPQA
(知识问答)
评测结果:37.5

发布机构

模型介绍

Claude 3.5 Haiku是Anthropic最新发布的Claude 3系列模型之一,作为该系列中的轻量级模型,它在保持高性能的同时提供了更快的响应速度。该模型的知识截止日期为2024年7月,这使其具备较新的知识储备。值得注意的是,这款模型初期将仅支持文本功能,暂不支持图像处理能力。

主要特点

相较于之前的版本,Claude 3.5 Haiku在多个方面都展现出显著提升:

  1. 推理能力增强:在多个标准基准测试中展现出优秀表现,特别是在需要复杂推理的任务中
  2. 编程能力提升:在代码相关任务中表现出色,超越了此前的Claude 3 Haiku版本
  3. 指令跟随能力:在执行具体指令方面表现稳定
  4. 多语言支持:具备多语言处理能力,支持多种语言的交互

性能评测

1. 基础推理与问答能力

本部分评测采用了多个标准化测试集,包括MMLU、GPQA等。这些测试主要评估模型在不同领域的知识掌握程度和推理能力。


模型MMLU(0-shot CoT)GPQA(0-shot CoT)
Claude 3.5 Haiku80.3%41.6%
Claude 3 Haiku74.0%33.3%
GPT-4o mini82.0%40.2%
Gemini 1.5 Flash--51.0%


数据显示,Claude 3.5 Haiku相比前代产品有明显提升:

  • 在MMLU测试中提升了6.3个百分点
  • 在GPQA测试中提升了8.3个百分点
  • 整体性能接近或超过同类产品水平

2. 编程与数学能力

在编程和数学领域的评测中使用了HumanEval和MATH两个基准测试。HumanEval主要测试Python编程能力,而MATH则评估数学问题解决能力。


模型HumanEval (0-shot)MATH (0-shot CoT)
Claude 3.5 Haiku88.1%69.2%
Claude 3 Haiku75.9%38.9%
GPT-4o mini87.2%70.2%
Gemini 1.5 Flash--77.9%



从数据可以看出:

  • 编程能力显著提升,HumanEval提升了12.2个百分点
  • 数学解题能力提升明显,MATH提升了30.3个百分点
  • 性能已经接近顶级模型水平

3. 安全性能评估

在安全性方面,新版本在多个关键领域都有改进:

  • 有害内容识别能力提升
  • 多语言安全性能增强
  • 在选举诚信、仇恨言论、暴力极端主义等敏感领域表现更好

总结

Claude 3.5 Haiku代表了Anthropic在轻量级AI模型方面的最新进展。它在保持高效处理速度的同时,在核心能力上取得了显著提升。特别是在编程和数学领域的进步尤为明显,使其成为一个更全面的AI助手选择。对于需要快速响应但又不愿意牺牲太多性能的用户来说,这是一个很好的选择。

虽然目前仅支持文本功能,但其在各项基准测试中的表现表明,它完全能够胜任日常的AI协作任务。随着后续更新,我们可以期待看到更多功能的加入和性能的进一步提升。

关注DataLearnerAI公众号

关注DataLearnerAI微信公众号,接受最新大模型资讯

DataLearnerAI WeChat