0%
Edit在机器学习的模型中，通常有一些超参数(Hyperparameter)，例如：学习率( - Hyperparameters/SVGc745b9b57c145ec5577b82542b2df546)
)，神经网络层数等等。这些是模型的参数。相对超参数，我们要通过学习调优的模型参数，例如：W，b等等，称为learnable parameter。超参数通常影响Gradient decent迭代的收敛速度和质量，甚至是否收敛。所以通常需要不断的调整，找到适合模型的超参数。
Tuning Process
在引入各种优化算法(Momentum，RMSprop，ADAM)之后，超参数的种类变得更多起来：
- Learning rate:
- Momentum:
 - Hyperparameters/SVG8217ed3c32a785f0b5aad4055f432ad8)
- ADAM:
 - Hyperparameters/SVGd7561fe70f34ea92803acdfd302358fb)
- Number of layers
- Number of hidden units
- Learning rate decay算法
- mini-batch size
在调试这些参数的时候，Andrew给出了优先级：
 - Hyperparameters/1535585275676.png)
解释一下，这么多超参数中：
- Learning rate是最重要的，首先要调整的，选择合适的learning rate，否则算法有发散的可能
- 第二优先级的是橙色的框框，包括：Momentum , Number of hidden units, mini-batch size
- 之后是紫色的框框，包括：Number of layers, 选择Learning rate decay的算法
- ADAM的参数通常不需要调整，经典值往往就有不错的效果，
 - Hyperparameters/SVG1ceb68c9a310343d0357abb0a3265164)
Try random values, Don’t use grid search
 - Hyperparameters/1535613475283.png)
Coarse to fine
粒度由粗到精，这个就是显而易见的策略了。下图也很好的说明了：
 - Hyperparameters/1535613723014.png)
Using an appropriate scale to pick hyperparameter
这里意思是有些场合，超参数的调试范围希望是指数上均匀的。例如Momentum中的，当我们想调试0.9~0.999范围的时候，实际上是想调试1- - Hyperparameters/SVG9326abe43ff61ab8bf76bd4a62aeac2a)
，取 - Hyperparameters/SVG5ad6d29c6085c559f702bdca4d57f97f)
， - Hyperparameters/SVGd140682dfcb693f0c1b1db4da2a88473)