1 切平面逼近
偏导描述的是只考虑一个自变量变化时,因变量的变化情况。而当所有自变量都发生变化时(
证明:
- 对于点
,假设其对应的函数值为 - 先固定
,根据偏导的几何性质可得切线 - 再固定
,根据偏导的几何性质可得切线 - 两条切线决定了一个切平面
,得证
2 极值与最优化
当
当这两个极值点不一致时,则意味着函数图像在此处存在鞍点;当两个极值点均为最大极值点时,则意味着函数图像在此处存在最大极值点;当两个极值点均为最小极值点时,则意味着函数图像在此处存在最小极值点
极值常用于处理最优化问题,并通过寻找偏导均为0的点,实现最优化问题的求解。其中最常见的一种方法就是最小二乘法
此小节所描述的极值点,均为局部极值点,并非指全局极值点,即最值点
3 最小二乘法
最小二乘法的核心在于寻找总误差平方和
对于指数拟合问题
,可以通过对数化转为线性拟合问题
最小二乘法也适用于多项式回归模型,比如对于