26. 深度学习进阶 – 深度学习的优化方法

本文介绍: Hi, 你好。我是茶桁。上一节课中我们预告了，本节课是一个难点，同时也是一个重点，大家要理解清楚。我们在做机器学习的时候，会用不同的优化方法。

刚刚讲过的RMS特点其实是动态的调整了我们的学习率，之前讲Mo m e n tum 其实还保持了上一时刻的方向，RMS就没有解决这个问题，RMS把上一时刻的方向给弄没了。

RMS，它的定义其实就没有考虑上次的方向，它只考虑上次变化的大小。而现在提出来这个ADAM，这个ADAM的意思就是Ad apt i v e Mo m e n tum, 还记不记得咱们讲随机森林和Ada boost那一节，我们讲过Ada boos t 就是Ad apt i ve Boos ti n g，这里的Ad apt i ve其实就是一个意思，就是自适应动量，也叫动态变化动量。

ADAM就结合了RMS和动量的两个优点。第一个是他在分母上也加了一个根号下的数，也就做了RMS做的事，然后在分子上还有一个数，这个数就保留了上一时刻的数，比如

$V_{d w}^{co r re c t e d}$ ，就保留了上一时刻的V，就保留了上一时刻的方向。

所以ADAM既是动态的调整了学习率，又保留了上一时刻的方向。

那除此之外，其实还有一个AdaGrad和L-BFGS方法，不过常用的方法也就是上面详细讲的这几种。

到此为止，我们进阶神经网络的基础知识就都差不多具备了，接下来我们就该来讲解下卷机和序列，比如说LSTM和RNN、CNN的东西。在这些结束之后，我们还会有At ten t ion 机制，Trans form er 机制，YOLO机制，Segmen tation 机制，还有强化深度学习其实都是基于这些东西。