最小二乘法简介
最小二乘法(Least Squares)是回归分析中的一种标准方法,它是用来近似超定系统(Overdetermined System)答案的一种方法。超定系统是指数学中的一种概念,一组包含未知数的方程组中,如果方程的数量大于未知数的数量,那么这个系统就是一个超定系统(超定方程组)。超定系统(超定方程组)一般是无解的,只能求近似解。而最小二乘法就是求超定方程组近似解的一种方法。
举个通俗的例子,如下二维平面图中有很多个点,假设我们想用一条直线来拟合数据,即期望能找到一条直线能最好地穿过这些数据点。
那么图中,一个点就可以构造一个方程,而未知数显然只有两个(直线的斜率和截距),因此这就是一个超定系统,我们是没有办法找到一条完美的直线,使得上述的点都在直线上。因此,我们只能期望找到一条最好的“适配(best fitting line)”直线来拟合这些数据。那么,什么样的直线才是我们需要的呢?在定义这样的直线之前,我们先定义一些变量:
首先,使用 表示数据 的观测结果,即真实值,或者是观测的响应变量(observed response)。其次, 表示第 个数据,即第