对于复杂函数,求解
非常困难,牛顿法利用逼近的思想可以求得
的近似解.
在凸优化方面,求解函数的极值,我们知道函数的极值点导数为0,但是对于复杂函数其导数通常也比较复杂,求也比较困难,于是我们利用牛顿法求出
的近似解,也就得到了
的近似极值点.
对于直接求解困难的时候,牛顿法提供了近似比较的解法:
从图中得知:
根据导数的定义:
所以有:
使用:
如果要求函数的极值点,即求
的解,根据牛顿法有:
另外牛顿法还可以使用二阶泰勒展开来解释:
这里的与
相当于常量,于是这个函数可以理解为以
为变量的抛物线,它的极值点为:
参考:
https://juejin.im/post/5b32e6ee6fb9a00e4e47c1c7