普通最小二乘法Ordinary Least Squares,OLS

也常称为 “最小平方法”，一种常用的回归分析方法，是由德国数学家高斯创立的。在一定的假设条件下，最小二乘法有很多很好的统计性质。这些性质使得最小二乘法成为应用最广泛的回归分析方法。用一元回归分析说明普通最小二乘法。设一元总体回归模型为：

Y_i＝β₀+β₁x₁+μ

最小二乘法常要求随机变量满足以下假定条件：
❶E (μ_i|x_i) =0，即对于给定的x_i,μ_i的条件期望为0。
❷cov (μ_i,μ_j)＝0，即μ_i与μ_j不相关，这个假定又叫无序列相关中或无自相关假定。
❸Var (μ_i|x_i) =δ²，即对任何给定的x_i,μ_i的方差相同，为δ²。这个假定又称同方差性的假定。
❹cov (μ_i,x_i)=0，即μ_i与解释变量x_i不相关。满足❶～
❹的线性回归模型称为古典线性回归模型。对于一组满足以上假定的样本，(x₁,x₂，…，x_n) (Y₁,Y₂，…，Y_n)可将样本回归方程写成下式：

Y_i＝₀+₁x_i+e_i＝_i+e_i

有：

e_i＝Y_i-_i

最小二乘法的原则，就是使残差的平方和最小。即mine_i²＝(Y_i-Y)²
把Y=β₀+β₁x_i代入，分别对式中β₀和β₁求偏导并令其等于零，可得一元回归方程的最小二乘估计量，正规方程组如下：

解方程组得：

这样得到的估计量，将有许多很好的分析性质。对于二元和多元的回归分析，也有类似的假定条件和求解方法。所不同的是还要加上无多重共线性的假定。