模型中的参数和超参数

        机器学习中的优化问题可以分为参数优化问题和超参数优化问题。         在确定了训练集$D$、假设空间$f$以及学习准则后，如何找到最优的模型$f(x,\theta ^{*})$就成了一个最优化问题，模型$f(x,\theta)$中的参数$\theta$称为模型的参数，可以通过优化算法进行学习。除了可以学习的参数$\theta$外，还有一类参数用来定义模型结构或者优化策略，这类参数称为超参数$(hyper-parameter)$。         常见的超参数包括：聚类算法中的类别个数、梯度下降法的步长、正则化的系数、神经网络的层数、支持向量机中的核函数等。超参数的选取一般都是组合优化问题，很难通过优化算法来自动学习。因此，超参数优化是机器学习中一个经验性很强的技术，通常是按照个人经验来设定的，或者通过搜索的方法对一组超参数组合进行不断试错调整。此外，在贝叶斯框架下，可以将超参数理解为参数的参数，即控制模型参数分布的参数。

        欢迎交流！ QQ：3408649893