🏆 LMSYS Chatbot Arena Leaderboard

LMSys Chatbot Arena Leaderboard是由LM-SYS组织发布的一个大语言模型的评测排行榜，就是我们常说的著名的大模型匿名竞技场。 LMSys的Chatbot Arena采用的是众包的方式对大模型进行匿名评测。用户可以在他们的官网输入问题， 然后由一个或者多个匿名的大模型同时返回结果。用户根据自己的期望对效果进行投票。最终形成不同的大模型众包的评测结果。LMSys的评测方法包括2个指标：
  • Arena Elo得分 - 即借用全球围棋对弈排名的思想，当用户对同一个问题的不同模型进行投票时候，赢得的模型可以获得一定的分数，因此，这个分数越高，模型效果越好。
  • MT-Bench得分 - LMSys的另一个评测指标是通过收集的全球不同用户的问题形成具有挑战性的复杂的多轮数据集，让不同的模型生成回复，然后让GPT-4这样的强大的模型对齐进行评估。LMSys官方的论文做过测试，GPT-4对模型评估的结果与人类偏好很接近。

📣 当前数据版本：20240610

排名 模型名称 投票数 Arena Elo MT-Bench MMLU 发布者 开源情况 模型地址

1

GPT-4o-2024-05-13

34985

1287

/

88.7

OpenAI Proprietary DataLearnerAI暂未收录 / 官方地址

2

Gemini-Advanced-0514

29838

1267

/

/

Google Proprietary DataLearnerAI暂未收录 / 官方地址

2

Gemini-1.5-Pro-API-0514

28170

1266

/

85.9

Google Proprietary DataLearnerAI暂未收录 / 官方地址

4

Gemini-1.5-Pro-API-0409-Preview

55731

1258

/

81.9

Google Proprietary DataLearnerAI暂未收录 / 官方地址

4

GPT-4-Turbo-2024-04-09

61122

1256

/

/

OpenAI Proprietary DataLearnerAI模型信息卡地址 / 官方地址

6

GPT-4-1106-preview

80987

1251

9.32

/

OpenAI Proprietary DataLearnerAI模型信息卡地址 / 官方地址

6

Claude 3 Opus

126356

1249

/

86.8

Anthropic Proprietary DataLearnerAI模型信息卡地址 / 官方地址

6

GPT-4-0125-preview

74232

1246

/

/

OpenAI Proprietary DataLearnerAI模型信息卡地址 / 官方地址

9

Yi-Large-preview

36412

1239

/

/

01 AI Proprietary DataLearnerAI暂未收录 / 官方地址

10

Gemini-1.5-Flash-API-0514

26409

1232

/

78.9

Google Proprietary DataLearnerAI暂未收录 / 官方地址

11

Bard (Gemini Pro)

11853

1208

/

/

Google Proprietary DataLearnerAI模型信息卡地址 / 官方地址

11

Llama-3-70b-Instruct

127901

1208

/

82.0

Meta Llama 3 Community DataLearnerAI模型信息卡地址 / 官方地址

12

Claude 3 Sonnet

98168

1202

/

79.0

Anthropic Proprietary DataLearnerAI模型信息卡地址 / 官方地址

12

Reka-Core-20240501

44097

1200

/

83.2

Reka AI Proprietary DataLearnerAI暂未收录 / 官方地址

15

Command R+

64622

1189

/

/

Cohere CC-BY-NC-4.0 DataLearnerAI模型信息卡地址 / 官方地址

15

Qwen2-72B-Instruct

12369

1187

9.12

84.2

Alibaba Qianwen LICENSE DataLearnerAI模型信息卡地址 / 官方地址

15

GPT-4-0314

56063

1186

8.96

86.4

OpenAI Proprietary DataLearnerAI模型信息卡地址 / 官方地址

15

GLM-4-0116

7595

1184

/

/

Zhipu AI Proprietary DataLearnerAI暂未收录 / 官方地址

15

Qwen-Max-0428

24659

1183

/

/

Alibaba Proprietary DataLearnerAI暂未收录 / 官方地址

18

Claude 3 Haiku

88538

1178

/

75.2

Anthropic Proprietary DataLearnerAI模型信息卡地址 / 官方地址

21

Qwen1.5-110B-Chat

25525

1163

8.88

80.4

Alibaba Qianwen LICENSE DataLearnerAI模型信息卡地址 / 官方地址

21

GPT-4-0613

77797

1161

9.18

/

OpenAI Proprietary DataLearnerAI模型信息卡地址 / 官方地址

21

Yi-1.5-34B-Chat

9891

1161

/

76.8

01 AI Apache-2.0 DataLearnerAI暂未收录 / 官方地址

22

Mistral-Large-2402

56540

1156

/

81.2

Mistral Proprietary DataLearnerAI模型信息卡地址 / 官方地址

21

Reka-Flash-21B-online

16039

1156

/

/

Reka AI Proprietary DataLearnerAI暂未收录 / 官方地址

23

Llama-3-8b-Instruct

86326

1153

/

68.4

Meta Llama 3 Community DataLearnerAI模型信息卡地址 / 官方地址

24

Claude-1

21216

1149

7.9

77.0

Anthropic Proprietary DataLearnerAI暂未收录 / 官方地址

26

Mistral Medium

35600

1148

8.61

75.3

Mistral Proprietary DataLearnerAI暂未收录 / 官方地址

26

Command R

47590

1148

/

/

Cohere CC-BY-NC-4.0 DataLearnerAI模型信息卡地址 / 官方地址

26

Reka-Flash-21B

24537

1148

/

73.5

Reka AI Proprietary DataLearnerAI暂未收录 / 官方地址

27

Qwen1.5-72B-Chat

40263

1147

8.61

77.5

Alibaba Qianwen LICENSE DataLearnerAI模型信息卡地址 / 官方地址

27

Mixtral-8x22b-Instruct-v0.1

37703

1146

/

77.8

Mistral Apache 2.0 DataLearnerAI模型信息卡地址 / 官方地址

33

Gemini Pro (Dev API)

18839

1131

/

71.8

Google Proprietary DataLearnerAI模型信息卡地址 / 官方地址

33

Claude-2.0

12789

1131

8.06

78.5

Anthropic Proprietary DataLearnerAI暂未收录 / 官方地址

33

Zephyr-ORPO-141b-A35b-v0.1

4890

1127

/

/

HuggingFace Apache 2.0 DataLearnerAI暂未收录 / 官方地址

33

Qwen1.5-32B-Chat

22318

1126

8.3

73.4

Alibaba Qianwen LICENSE DataLearnerAI模型信息卡地址 / 官方地址

33

Mistral-Next

12403

1124

/

/

Mistral Proprietary DataLearnerAI模型信息卡地址 / 官方地址

33

Phi-3-Medium-4k-Instruct

10549

1123

/

78.0

Microsoft MIT DataLearnerAI暂未收录 / 官方地址

35

Starling-LM-7B-beta

16696

1119

8.12

/

Nexusflow Apache-2.0 DataLearnerAI模型信息卡地址 / 官方地址

35

Claude-2.1

37745

1118

8.18

/

Anthropic Proprietary DataLearnerAI暂未收录 / 官方地址

36

GPT-3.5-Turbo-0613

39045

1117

8.39

/

OpenAI Proprietary DataLearnerAI暂未收录 / 官方地址

41

Mixtral-8x7b-Instruct-v0.1

67665

1114

8.3

70.6

Mistral Apache 2.0 DataLearnerAI模型信息卡地址 / 官方地址

39

Gemini Pro

6581

1111

/

71.8

Google Proprietary DataLearnerAI模型信息卡地址 / 官方地址

42

Claude-Instant-1

20675

1111

7.85

73.4

Anthropic Proprietary DataLearnerAI暂未收录 / 官方地址

39

Yi-34B-Chat

15946

1111

/

73.5

01 AI Yi License DataLearnerAI模型信息卡地址 / 官方地址

43

Qwen1.5-14B-Chat

18696

1108

7.91

67.6

Alibaba Qianwen LICENSE DataLearnerAI模型信息卡地址 / 官方地址

40

GPT-3.5-Turbo-0314

5670

1106

7.94

70.0

OpenAI Proprietary DataLearnerAI暂未收录 / 官方地址

43

WizardLM-70B-v1.0

8421

1106

7.71

63.7

Microsoft Llama 2 Community DataLearnerAI模型信息卡地址 / 官方地址

44

GPT-3.5-Turbo-0125

59237

1103

/

/

OpenAI Proprietary DataLearnerAI暂未收录 / 官方地址

44

DBRX-Instruct-Preview

31752

1102

/

73.7

Databricks DBRX LICENSE DataLearnerAI模型信息卡地址 / 官方地址

45

Phi-3-Small-8k-Instruct

11503

1101

/

75.7

Microsoft MIT DataLearnerAI暂未收录 / 官方地址

46

Tulu-2-DPO-70B

6674

1099

7.89

/

AllenAI/UW AI2 ImpACT Low-risk DataLearnerAI暂未收录 / 官方地址

51

Llama-2-70b-chat

39695

1093

6.86

63.0

Meta Llama 2 Community DataLearnerAI暂未收录 / 官方地址

51

OpenChat-3.5-0106

13010

1091

7.8

65.8

OpenChat Apache-2.0 DataLearnerAI暂未收录 / 官方地址

52

Vicuna-33B

23001

1090

7.12

59.2

LMSYS Non-commercial DataLearnerAI模型信息卡地址 / 官方地址

52

Snowflake Arctic Instruct

32189

1090

/

67.3

Snowflake Apache 2.0 DataLearnerAI暂未收录 / 官方地址

52

Starling-LM-7B-alpha

10437

1088

8.09

63.9

UC Berkeley CC-BY-NC-4.0 DataLearnerAI暂未收录 / 官方地址

53

Nous-Hermes-2-Mixtral-8x7B-DPO

3840

1084

/

/

NousResearch Apache-2.0 DataLearnerAI暂未收录 / 官方地址

54

Gemma-1.1-7B-it

20553

1084

/

64.3

Google Gemma license DataLearnerAI模型信息卡地址 / 官方地址

53

NV-Llama2-70B-SteerLM-Chat

3640

1080

7.54

68.5

Nvidia Llama 2 Community DataLearnerAI暂未收录 / 官方地址

57

DeepSeek-LLM-67B-Chat

5000

1077

/

71.3

DeepSeek AI DeepSeek License DataLearnerAI模型信息卡地址 / 官方地址

57

pplx-70b-online

6909

1077

/

/

Perplexity AI Proprietary DataLearnerAI暂未收录 / 官方地址

57

OpenChat-3.5

8121

1076

7.81

64.3

OpenChat Apache-2.0 DataLearnerAI模型信息卡地址 / 官方地址

58

OpenHermes-2.5-Mistral-7b

5096

1074

/

/

NousResearch Apache-2.0 DataLearnerAI暂未收录 / 官方地址

60

Mistral-7B-Instruct-v0.2

20099

1072

7.6

/

Mistral Apache-2.0 DataLearnerAI模型信息卡地址 / 官方地址

59

Qwen1.5-7B-Chat

4878

1070

7.6

61.0

Alibaba Qianwen LICENSE DataLearnerAI模型信息卡地址 / 官方地址

61

GPT-3.5-Turbo-1106

17063

1068

8.32

/

OpenAI Proprietary DataLearnerAI暂未收录 / 官方地址

60

Phi-3-Mini-4k-Instruct

16089

1066

/

68.8

Microsoft MIT DataLearnerAI暂未收录 / 官方地址

63

Llama-2-13b-chat

19769

1063

6.65

53.6

Meta Llama 2 Community DataLearnerAI暂未收录 / 官方地址

60

Dolphin-2.2.1-Mistral-7B

1716

1063

/

/

Cognitive Computations Apache-2.0 DataLearnerAI暂未收录 / 官方地址

61

SOLAR-10.7B-Instruct-v1.0

4293

1062

7.58

66.2

Upstage AI CC-BY-NC-4.0 DataLearnerAI暂未收录 / 官方地址

66

WizardLM-13b-v1.2

7203

1058

7.2

52.7

Microsoft Llama 2 Community DataLearnerAI暂未收录 / 官方地址

69

Zephyr-7b-beta

11345

1053

7.34

61.4

HuggingFace MIT DataLearnerAI暂未收录 / 官方地址

70

MPT-30B-chat

2651

1045

6.39

50.4

MosaicML CC-BY-NC-SA-4.0 DataLearnerAI模型信息卡地址 / 官方地址

71

pplx-7b-online

6347

1045

/

/

Perplexity AI Proprietary DataLearnerAI暂未收录 / 官方地址

73

CodeLlama-34B-instruct

7532

1043

/

53.7

Meta Llama 2 Community DataLearnerAI模型信息卡地址 / 官方地址

69

CodeLlama-70B-instruct

1196

1042

/

/

Meta Llama 2 Community DataLearnerAI模型信息卡地址 / 官方地址

70

Zephyr-7b-alpha

1816

1042

6.88

/

HuggingFace MIT DataLearnerAI暂未收录 / 官方地址

74

Vicuna-13B

19833

1041

6.57

55.8

LMSYS Llama 2 Community DataLearnerAI模型信息卡地址 / 官方地址

74

Gemma-7B-it

9207

1037

/

64.3

Google Gemma license DataLearnerAI模型信息卡地址 / 官方地址

74

Llama-2-7b-chat

14604

1037

6.27

45.8

Meta Llama 2 Community DataLearnerAI暂未收录 / 官方地址

74

Phi-3-Mini-128k-Instruct

21678

1037

/

68.1

Microsoft MIT DataLearnerAI暂未收录 / 官方地址

74

Qwen-14B-Chat

5076

1034

6.96

66.5

Alibaba Qianwen LICENSE DataLearnerAI模型信息卡地址 / 官方地址

71

falcon-180b-chat

1332

1033

/

68.0

TII Falcon-180B TII License DataLearnerAI暂未收录 / 官方地址

74

Guanaco-33B

3002

1032

6.53

57.6

UW Non-commercial DataLearnerAI模型信息卡地址 / 官方地址

83

Gemma-1.1-2B-it

10882

1021

/

64.3

Google Gemma license DataLearnerAI模型信息卡地址 / 官方地址

83

StripedHyena-Nous-7B

5291

1017

/

/

Together AI Apache 2.0 DataLearnerAI暂未收录 / 官方地址

84

OLMo-7B-instruct

6527

1015

/

/

Allen AI Apache-2.0 DataLearnerAI暂未收录 / 官方地址

87

Mistral-7B-Instruct-v0.1

9165

1008

6.84

55.4

Mistral Apache 2.0 DataLearnerAI模型信息卡地址 / 官方地址

87

Vicuna-7B

7038

1004

6.17

49.8

LMSYS Llama 2 Community DataLearnerAI模型信息卡地址 / 官方地址

87

PaLM-Chat-Bison-001

8758

1003

6.4

/

Google Proprietary DataLearnerAI暂未收录 / 官方地址

90

Gemma-2B-it

4936

989

/

42.3

Google Gemma license DataLearnerAI模型信息卡地址 / 官方地址

91

Qwen1.5-4B-Chat

7839

988

/

56.1

Alibaba Qianwen LICENSE DataLearnerAI模型信息卡地址 / 官方地址

94

Koala-13B

7041

964

5.35

44.7

UC Berkeley Non-commercial DataLearnerAI暂未收录 / 官方地址

94

ChatGLM3-6B

4770

955

/

/

Tsinghua Apache-2.0 DataLearnerAI模型信息卡地址 / 官方地址

95

GPT4All-13B-Snoozy

1793

932

5.41

43.0

Nomic AI Non-commercial DataLearnerAI暂未收录 / 官方地址

96

MPT-7B-Chat

4026

927

5.42

32.0

MosaicML CC-BY-NC-SA-4.0 DataLearnerAI模型信息卡地址 / 官方地址

96

ChatGLM2-6B

2713

924

4.96

45.5

Tsinghua Apache-2.0 DataLearnerAI模型信息卡地址 / 官方地址

96

RWKV-4-Raven-14B

4954

921

3.98

25.6

RWKV Apache 2.0 DataLearnerAI模型信息卡地址 / 官方地址

100

Alpaca-13B

5887

901

4.53

48.1

Stanford Non-commercial DataLearnerAI暂未收录 / 官方地址

100

OpenAssistant-Pythia-12B

6393

893

4.32

27.0

OpenAssistant Apache 2.0 DataLearnerAI暂未收录 / 官方地址

101

ChatGLM-6B

5004

879

4.5

36.1

Tsinghua Non-commercial DataLearnerAI模型信息卡地址 / 官方地址

102

FastChat-T5-3B

4311

868

3.04

47.7

LMSYS Apache 2.0 DataLearnerAI模型信息卡地址 / 官方地址

104

StableLM-Tuned-Alpha-7B

3347

840

2.75

24.4

Stability AI CC-BY-NC-SA-4.0 DataLearnerAI暂未收录 / 官方地址

104

Dolly-V2-12B

3497

823

3.28

25.7

Databricks MIT DataLearnerAI暂未收录 / 官方地址

105

LLaMA-13B

2450

798

2.61

47.0

Meta Non-commercial DataLearnerAI模型信息卡地址 / 官方地址

数据说明：所有数据来源于LM-SYS官方网站：https://chat.lmsys.org/?leaderboard