牛顿法可以解决什么问题

对于复杂函数,求解非常困难,牛顿法利用逼近的思想可以求得的近似解.

在凸优化方面,求解函数的极值,我们知道函数的极值点导数为0,但是对于复杂函数其导数通常也比较复杂,求也比较困难,于是我们利用牛顿法求出的近似解,也就得到了的近似极值点.

牛顿法求解方程的根

对于直接求解困难的时候,牛顿法提供了近似比较的解法:

从图中得知:

根据导数的定义:

所以有:

使用:

一直迭代下去,最终会得到的近似解:

使用牛顿法进行凸优化

如果要求函数的极值点,即求

的解,根据牛顿法有:

另外牛顿法还可以使用二阶泰勒展开来解释:

这里的与相当于常量,于是这个函数可以理解为以为变量的抛物线,它的极值点为:

参考:
https://juejin.im/post/5b32e6ee6fb9a00e4e47c1c7