（5）
ε
i
∼
N
(
0
,
σ
2
)
\varepsilon_{i}\sim N(0,\sigma ^{2})
εi∼N(0,σ2)，则
ε
∼
N
(
0
,
σ
2
)
\varepsilon\sim N(0,\sigma ^{2})
ε∼N(0,σ2)；
【QQ检验】
T检验失效
（6）解释变量和扰动项不存在线性关系；
【残差图分析：
ε
−
x
\varepsilon- x
ε−x 散点图 】
回归系数估计有偏
（7）解释变量之间不存在线性关系或强相关；
【膨胀系数判断】
回归系数的标准误被放大
三、回归参数估计
3.1 最小二乘估计
对于模型
y
=
X
β
+
ε
y=X\beta+\varepsilon
y=Xβ+ε，最小二乘法就是寻找
β
0
,
β
1
,
.
.
.
,
β
p
\beta _{0},\beta _{1},...,\beta _{p}
β0,β1,...,βp，使离差平方和达到最小/极小值，则
Q
(
β
0
^
,
β
1
^
,
.
.
.
,
β
p
^
)
=
m
i
n
∑
i
=
1
n
(
y
i
−
β
0
−
β
1
x
i
1
+
β
2
x
i
2
+
.
.
.
+
+
β
p
x
i
p
)
2
Q(\widehat{\beta _{0}},\widehat{\beta _{1}},...,\widehat{\beta _{p}})=min\sum_{i=1}^n(y_{i}-\beta _{0}-\beta _{1}x_{i1}+\beta _{2}x_{i2}+...++\beta _{p}x_{ip})^2
Q(β0,β1,...,βp)=mini=1∑n(yi−β0−β1xi1+β2xi2+...++βpxip)2
β
0
^
,
β
1
^
,
.
.
.
,
β
p
^
\widehat{\beta _{0}},\widehat{\beta _{1}},...,\widehat{\beta _{p}}
β0,β1,...,βp为回归参数的估计值。根据微分求极值原理，
{
∂
Q
∂
β
0
=
0
∂
Q
∂
β
1
=
0
∂
Q
∂
β
2
=
0
.
.
.
∂
Q
∂
β
p
=
0
\begin{cases} \frac{\partial Q}{\partial \beta _{0}}=0 \\[2ex] \frac{\partial Q}{\partial \beta _{1}}=0 \\[2ex] \frac{\partial Q}{\partial \beta _{2}}=0 \\[2ex] ...\\[2ex] \frac{\partial Q}{\partial \beta _{p}}=0\\[2ex] \end{cases}
⎩⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎧∂β0∂Q=0∂β1∂Q=0∂β2∂Q=0...∂βp∂Q=0 整理后得
β
^
=
(
X
T
X
)
−
1
X
T
y
\widehat{\beta }=(X^{T}X)^{-1}X^{T}y
β=(XTX)−1XTy 则
y
^
=
β
0
^
+
β
1
^
x
1
+
β
2
^
x
2
+
.
.
.
+
β
p
^
x
p
\widehat{y}=\widehat{\beta _{0}}+\widehat{\beta _{1}}x_{1}+\widehat{\beta _{2}}x_{2}+...+\widehat{\beta _{p}}x_{p}
y=β0+β1x1+β2x2+...+βpxp
3.2 最大似然估计
多元线性回归参数的最大似然估计与一元线性回归的思想一致，对于模型
y
=
X
β
+
ε
y=X\beta+\varepsilon
y=Xβ+ε，有
ε
∼
N
(
0
,
σ
2
)
\varepsilon\sim N(0,\sigma ^{2})
ε∼N(0,σ2)，
X
X
X 是与
y
y
y 相关的非随机变量，则
y
∼
N
(
X
β
,
σ
2
)
y\sim N(X\beta,\sigma ^{2})
y∼N(Xβ,σ2)。此时最大似然函数
L
=
(
2
π
σ
2
)
−
n
/
2
e
x
p
(
−
1
2
σ
2
(
y
−
X
β
)
T
(
y
−
X
β
)
)
L=(2 \pi \sigma^2)^{-n/2}exp(-\frac{1}{2\sigma^2}(y-X\beta)^T(y-X\beta))
L=(2πσ2)−n/2exp(−2σ21(y−Xβ)T(y−Xβ)) 取对数后
l
n
L
=
−
n
2
l
n
(
2
π
)
−
n
2
l
n
(
σ
2
)
−
1
2
σ
2
(
y
−
X
β
)
T
(
y
−
X
β
)
)
lnL=-\frac{n}{2}ln(2 \pi )-\frac{n}{2}ln(\sigma^2)-\frac{1}{2\sigma^2}(y-X\beta)^T(y-X\beta))
lnL=−2nln(2π)−2nln(σ2)−2σ21(y−Xβ)T(y−Xβ)) 这等价于使
(
y
−
X
β
)
T
(
y
−
X
β
)
(y-X\beta)^T(y-X\beta)
(y−Xβ)T(y−Xβ)达到最小值，与最小二乘法一致。参数的估计结果
β
^
=
(
X
T
X
)
−
1
X
T
y
\widehat{\beta }=(X^{T}X)^{-1}X^{T}y
β=(XTX)−1XTy 则
y
^
=
β
0
^
+
β
1
^
x
1
+
β
2
^
x
2
+
.
.
.
+
β
p
^
x
p
\widehat{y}=\widehat{\beta _{0}}+\widehat{\beta _{1}}x_{1}+\widehat{\beta _{2}}x_{2}+...+\widehat{\beta _{p}}x_{p}
y=β0+β1x1+β2x2+...+βpxp
