HuggingFace发布few-shot神器SetFit

论文名：Efficient Few-Shot Learning Without Prompts

发布时间：2022-09

论文地址：https://arxiv.org/abs/2209.11055

代码地址：https://github.com/huggingface/setfit

原文摘要：最近的一些方法，如参数有效微调（PEFT）和模式利用训练（PET），在标签稀缺的情况下取得了令人印象深刻的结果。然而，它们很难被采用，因为它们受制于手工制作的提示语的高变异性，并且通常需要十亿个参数的语言模型来实现高精确度。为了解决这些缺陷，我们提出了SetFit（句子变换器微调），这是一个高效且无提示的框架，用于对句子变换器（ST）进行少量微调。SetFit的工作原理是，首先以对比连带的方式，在少量的文本对上对预训练的ST进行微调。然后，产生的模型被用来生成丰富的文本嵌入，这些嵌入被用来训练一个分类头。这个简单的框架不需要任何提示或口头语，并且以比现有技术少几个数量级的参数实现了高精确度。我们的实验表明，SetFit获得了与PEFT和PET技术相当的结果，同时其训练速度快了一个数量级。我们还表明，SetFit可以在多语言环境中应用，只需切换ST主体即可。我们的代码可以在这个https URL上找到，我们的数据集可以在这个https URL上找到。