全世界第一个基于text的超参数optimizer诞生！

论文名：Towards Learning Universal Hyperparameter Optimizers with Transformers

发布时间：2022-5-26

论文地址：https://arxiv.org/abs/2205.13320

代码地址：

原文摘要：从先前的实验中元学习超参数优化（HPO）算法是一种很有前途的方法，可以提高对来自类似分布的目标函数的优化效率。然而，现有的方法仅限于从共享同一组超参数的实验中学习。在本文中，我们介绍了OptFormer，这是第一个基于文本的Transformer HPO框架，它提供了一个通用的端到端接口，用于在来自野外的大量调谐数据上训练时联合学习策略和函数预测。我们广泛的实验证明，OptFormer可以模仿至少7种不同的HPO算法，通过其函数的不确定性估计可以进一步提高。与高斯过程相比，OptFormer还为超参数响应函数学习了一个稳健的先验分布，因此可以提供更准确和更好的校准预测。这项工作为未来扩展训练基于Transformer的模型作为一般HPO优化器铺平了道路。