大语言模型可以在数学的推理计算上的错误下降了10倍！

论文名：Teaching Algorithmic Reasoning via In-context Learning

发布时间：2022-11-15

论文地址：https://arxiv.org/abs/2211.09066

代码地址：

原文摘要：大型语言模型（LLMs）通过扩大模型和数据规模，显示出越来越强的语境学习能力。尽管取得了这一进展，LLMs仍然无法解决算法推理问题。虽然提供最终答案的理由使得多步骤推理问题有了进一步的改善，但Anil等人在2022年的研究中表明，即使是简单的算法推理任务，如奇偶性，也远远没有得到解决。在这项工作中，我们确定并研究了成功向LLM教授算法推理的四个关键阶段：（1）将算法制定为技能；（2）同时教授多种技能（技能积累）；（3）教授如何组合技能（技能构成）；（4）教授如何将技能作为工具使用。我们表明，有可能通过语境中的学习向LLMs教授算法推理，我们称之为算法提示。我们在各种算术和定量推理任务上评估了我们的方法，并证明了比现有的提示技术在性能上有明显的提升。特别是对于长奇偶性、加法、乘法和减法，与现有的最佳基线相比，我们分别实现了约10倍、9倍、5倍和2倍的错误减少。