模型详细情况和参数
文本生成SQL大模型,超过了当前所有通用大模型的SQL生成能力,包括GPT-4。这是一个基于CodeLlama-70B微调得到的SQL生成模型,使用了不到2万条人工精心挑选的Prompt数据。支持免费商用。
在不同SQL语句类型的生成结果评分如下:
date | group_by | order_by | ratio | join | where | |
---|---|---|---|---|---|---|
sqlcoder-70b | 96 | 91.4 | 97.1 | 85.7 | 97.1 | 91.4 |
sqlcoder-34b | 80 | 94.3 | 85.7 | 77.1 | 85.7 | 80 |
gpt-4 | 64 | 94.3 | 88.6 | 74.2 | 85.7 | 80 |
sqlcoder2-15b | 76 | 80 | 77.1 | 60 | 77.1 | 77.1 |
sqlcoder-7b | 64 | 82.9 | 74.3 | 54.3 | 74.3 | 74.3 |
gpt-3.5 | 68 | 77.1 | 74.2 | 34.3 | 65.7 | 71.4 |
claude-2 | 52 | 71.4 | 74.3 | 57.1 | 65.7 | 62.9 |
注意,上述评测来自Defog创建的SQL-Eval,详情参考: https://github.com/defog-ai/sql-eval
在SQL生成的综合评测上结果如下: