9.极值问题,最小二乘法

1 切平面逼近

偏导描述的是只考虑一个自变量变化时,因变量的变化情况。而当所有自变量都发生变化时(xx+Δx,yy+Δy),因变量z=f(x,y)的变化符合以下公式: ΔzfxΔx+fyΔy

证明:

  • 对于点(x0,y0),假设其对应的函数值为z0
  • 先固定y=y0,根据偏导的几何性质可得切线L1:z=z0+fx(xx0)
  • 再固定x=x0,根据偏导的几何性质可得切线L2:z=z0+fy(yy0)
  • 两条切线决定了一个切平面S:z=z0+fx(xx0)+fy(yy0),得证

2 极值与最优化

fx=0fy=0时,切平面将处于水平。fx=0意味着函数图像在平行于xoz的平面上存在极值点,fy=0意味着函数图像在平行于yoz的平面上存在极值点

当这两个极值点不一致时,则意味着函数图像在此处存在鞍点;当两个极值点均为最大极值点时,则意味着函数图像在此处存在最大极值点;当两个极值点均为最小极值点时,则意味着函数图像在此处存在最小极值点

极值常用于处理最优化问题,并通过寻找偏导均为0的点,实现最优化问题的求解。其中最常见的一种方法就是最小二乘法

此小节所描述的极值点,均为局部极值点,并非指全局极值点,即最值点

3 最小二乘法

最小二乘法的核心在于寻找总误差平方和D最小,以线性回归为例,线性回归模型的预测值为axi+b,对应的真实值为yi。则总误差平方和为: D=Σ[yi(axi+b)]2 其求解方式也很简单,令偏导依次等于0: Da=0,Db=0 即可求得未知参数a,b的最优解

对于指数拟合问题y=ceax,可以通过对数化转为线性拟合问题lny=lnc+ax

最小二乘法也适用于多项式回归模型,比如对于y=ax2+bx+c的拟合问题,其对应的总误差平方和为D=Σ[yi(axi2+bxi+c)]2,分别计算偏导Da=0Db=0Dc=0即可得到关于未知参数(a,b,c)3×3线性方程组,进而实现参数的求解

4 参考

往年同期文章