九、独立性检验和正态性检验
1.独立性检验
独立性检验，指的是将一个多元总体
X
∼
N
p
(
μ
,
Σ
)
X\sim N_p(\mu,\Sigma)
X∼Np(μ,Σ)划分成
k
k
k个部分，探究每个部分之间是否独立的问题，这样做的好处是显而易见的，如果一个总体
X
X
X可以划分成多个独立的部分，那么只需要对每一个部分分开讨论即可，无疑降低了运算量。在多元统计中，可以视为有如下分解：
X
=
[
X
(
1
)
⋮
X
(
k
)
]
,
μ
=
[
μ
(
1
)
⋮
μ
(
k
)
]
,
Σ
=
[
Σ
11
⋯
Σ
1
k
⋮
⋮
Σ
k
1
⋯
Σ
k
k
]
.
X=\begin{bmatrix} X^{(1)} \\ \vdots \\ X^{(k)} \end{bmatrix}, \mu=\begin{bmatrix} \mu^{(1)} \\ \vdots \\ \mu^{(k)} \end{bmatrix}, \Sigma=\begin{bmatrix} \Sigma_{11} & \cdots & \Sigma_{1k} \\ \vdots & & \vdots \\ \Sigma_{k1} & \cdots & \Sigma_{kk} \end{bmatrix}.
X=⎣⎢⎡X(1)⋮X(k)⎦⎥⎤,μ=⎣⎢⎡μ(1)⋮μ(k)⎦⎥⎤,Σ=⎣⎢⎡Σ11⋮Σk1⋯⋯Σ1k⋮Σkk⎦⎥⎤.
每一个分向量
X
(
t
)
X^{(t)}
X(t)都是
p
t
p_t
pt维的，对应的
μ
(
t
)
\mu^{(t)}
μ(t)也是
p
t
p_t
pt维的，
Σ
t
t
\Sigma_{tt}
Σtt是
p
t
×
p
t
p_t\times p_t
pt×pt的。在多元正态分布的介绍中提到，如果
X
(
1
)
,
⋯
,
X
(
k
)
X^{(1)},\cdots,X^{(k)}
X(1),⋯,X(k)是独立的，那么
Σ
i
j
=
O
\Sigma_{ij}=O
Σij=O对任何
i
≠
j
i\ne j
i=j都成立，反之也成立，因此在正态总体下，假设检验就变成了以下的形式：
H
0
:
∀
i
≠
j
,
Σ
i
j
=
O
⇔
H
1
:
∃
i
≠
j
,
Σ
i
j
≠
O
.
H_0:\forall i\ne j,\Sigma_{ij}=O\Leftrightarrow H_1:\exist i\ne j,\Sigma_{ij}\ne O.
H0:∀i=j,Σij=O⇔H1:∃i=j,Σij=O.
由于样本均值、样本离差阵是对总体均值、自协方差矩阵的估计，因此我们也可以对样本均值和样本离差阵作同型分解。如果
H
0
H_0
H0成立，则
X
(
α
)
(
t
)
∼
N
p
(
μ
(
t
)
,
Σ
t
t
)
X_{(\alpha)}^{(t)}\sim N_p(\mu^{(t)},\Sigma_{tt})
X(α)(t)∼Np(μ(t),Σtt)且相互独立，那么似然函数就是
L
(
μ
,
Σ
)
=
∏
t
=
1
k
L
t
(
μ
(
t
)
,
Σ
t
t
)
,
L(\mu,\Sigma)=\prod_{t=1}^kL_t(\mu^{(t)},\Sigma_{tt}),
L(μ,Σ)=t=1∏kLt(μ(t),Σtt),
取最大值的情况显然是
μ
(
t
)
=
X
ˉ
(
t
)
,
Σ
t
t
=
A
t
t
/
n
\mu^{(t)}=\bar X^{(t)},\Sigma_{tt}=A_{tt}/n
μ(t)=Xˉ(t),Σtt=Att/n，所以似然比统计量的分子是
∏
t
=
1
n
(
2
π
)
−
n
p
t
/
2
∣
A
t
t
/
n
∣
−
n
/
2
exp
{
−
1
2
∑
α
=
1
n
(
X
(
α
)
(
t
)
−
X
ˉ
(
t
)
)
′
(
A
t
t
n
)
−
1
(
X
(
α
)
(
t
)
−
X
ˉ
(
t
)
)
}
=
(
2
π
)
−
n
p
/
2
exp
{
−
1
2
∑
α
=
1
n
(
X
(
α
)
−
X
ˉ
)
′
(
A
n
)
−
1
(
X
(
α
)
−
X
ˉ
)
}
∏
t
=
1
k
∣
A
t
t
n
∣
−
n
/
2
.
\begin{aligned} &\prod_{t=1}^n(2\pi)^{-np_t/2}|A_{tt}/n|^{-n/2}\exp\left\{-\frac12\sum_{\alpha=1}^n(X_{(\alpha)}^{(t)}-\bar X^{(t)})'\left(\frac{A_{tt}}{n} \right)^{-1}(X_{(\alpha)}^{(t)}-\bar X^{(t)}) \right\}\\ =&(2\pi)^{-np/2}\exp\left\{-\frac12\sum_{\alpha=1}^n(X_{(\alpha)}-\bar X)'\left(\frac{A}{n} \right)^{-1}(X_{(\alpha)}-\bar X) \right\}\prod_{t=1}^k\left|\frac{A_{tt}}n{} \right|^{-n/2}. \end{aligned}
=t=1∏n(2π)−npt/2∣Att/n∣−n/2exp{−21α=1∑n(X(α)(t)−Xˉ(t))′(nAtt)−1(X(α)(t)−Xˉ(t))}(2π)−np/2exp{−21α=1∑n(X(α)−Xˉ)′(nA)−1(X(α)−Xˉ)}t=1∏k∣∣∣∣nAtt∣∣∣∣−n/2.
这里的转换可以用之前常用的迹变换得出。观察分子与分母，发现其大部分是相同的，所以得到似然比统计量为
λ
=
∏
t
=
1
k
∣
A
t
t
/
n
∣
−
n
/
2
∣
A
/
n
∣
−
n
/
2
=
(
∣
A
∣
∏
t
=
1
n
∣
A
t
t
∣
)
n
/
2
=
d
e
f
V
n
/
2
.
\lambda =\frac{\prod_{t=1}^k|A_{tt}/n|^{-n/2}}{|A/n|^{-n/2}}=\left(\frac{|A|}{\prod_{t=1}^n|A_{tt}|} \right)^{n/2}\stackrel {\rm def}=V^{n/2}.
λ=∣A/n∣−n/2∏t=1k∣Att/n∣−n/2=(∏t=1n∣Att∣∣A∣)n/2=defVn/2.
所以我们取检验统计量为
V
=
∣
A
∣
∏
i
=
1
k
∣
A
t
t
∣
.
V=\frac{|A|}{\prod_{i=1}^k|A_{tt}|}.
V=∏i=1k∣Att∣∣A∣.
并且有结论保证，在
H
0
H_0
H0成立的条件下，
−
b
ln
V
→
H
0
χ
2
(
f
)
-b\ln V\stackrel {H_0}\to \chi^2(f)
−blnV→H0χ2(f)，这里
b
=
n
−
3
2
−
p
3
−
∑
t
=
1
k
p
t
3
3
(
p
2
−
∑
t
=
1
k
p
t
2
)
,
f
=
1
2
[
p
(
p
+
1
)
−
∑
t
=
1
k
p
t
(
p
t
+
1
)
]
.
b=n-\frac32-\frac{p^3-\sum_{t=1}^k p_t^3}{3(p^2-\sum_{t=1}^k p_t^2)}, \\ f=\frac 12\left[p(p+1)-\sum_{t=1}^k p_t(p_t+1) \right].
b=n−23−3(p2−∑t=1kpt2)p3−∑t=1kpt3,f=21[p(p+1)−t=1∑kpt(pt+1)].
事实上
−
b
ln
V
-b\ln V
−blnV是
−
2
ln
λ
-2\ln \lambda
−2lnλ的近似，故
b
b
b也是
n
n
n的近似，而
f
f
f就是两个参数空间的维度之差。
2.一元数据正态性检验
回顾我们之前提到的假设检验，包括均值向量、自协方差矩阵、独立性的检验，都基于一个前提——总体是多维正态分布，如果这个正态性不满足，与三大分布相关的统计量转化、似然比统计量的表现形式都将不同于此形式，从而无法应用已有的结论。因此，本节探讨样本的正态性检验，概括起来就是，给定
n
n
n个
p
p
p维样本
X
(
α
)
X_{(\alpha)}
X(α)，判断总体
X
X
X是否服从
N
p
(
μ
,
Σ
)
N_p(\mu,\Sigma)
Np(μ,Σ)分布。
多元数据的正态性检验问题，常常转化为多个一元或二元数据的正态性检验，或者先求
X
X
X的分量的线性组合再化为一元数据的正态性检验等。虽然我们知道，边缘分布的正态性不能推出总体分布的正态性，但是在实际应用中，这种情况并不常见，所以我们可以先将目光放在一元数据的正态性检验。
常用于一元数据检验的方法有Pearson
χ
2
\chi^2
χ2检验法（比较适合离散情形）、Kolmogorov检验法（比较适合连续情形），不过在Kolmogorov检验中我们需要得知总体的参数，即均值和方差，在实际应用中这个条件很难满足，所以我们会使用总体均值和总体方差代替，这就是Lilliefors检验。
还有一些仅适用于正态分布的检验法：偏度峰度检验法，Q-Q图和P-P图检验法、Anderson-Darling统计量检验法、Cramer-von Mises统计量检验法等。
偏度峰度法指的是，计算样本偏度和样本峰度：
G
1
=
∑
(
X
i
−
X
ˉ
)
3
[
∑
(
X
i
−
X
ˉ
)
2
]
3
/
2
,
G
2
=
∑
(
X
i
−
X
ˉ
)
4
[
∑
(
X
i
−
X
ˉ
)
2
]
2
,
G_1=\frac{\sum(X_i-\bar X)^3}{[\sum(X_i-\bar X)^2]^{3/2}},\quad G_2=\frac{\sum(X_i-\bar X)^4}{[\sum(X_i-\bar X)^2]^2},
G1=[∑(Xi−Xˉ)2]3/2∑(Xi−Xˉ)3,G2=[∑(Xi−Xˉ)2]2∑(Xi−Xˉ)4,
在正态性成立时，近似有
G
1
∼
N
(
0
,
6
(
n
−
2
)
(
n
+
1
)
(
n
+
3
)
)
,
G
2
∼
N
(
3
−
6
n
−
1
,
24
n
(
n
−
2
)
(
n
−
3
)
(
n
+
1
)
2
(
n
+
3
)
(
n
+
5
)
)
.
G_1\sim N\left(0,\frac{6(n-2)}{(n+1)(n+3)} \right), \\ G_2\sim N\left(3-\frac6{n-1},\frac{24n(n-2)(n-3)}{(n+1)^2(n+3)(n+5)} \right).
G1∼N(0,(n+1)(n+3)6(n−2)),G2∼N(3−n−16,(n+1)2(n+3)(n+5)24n(n−2)(n−3)).
很容易用Z检验找到其拒绝域。
Q-Q(Quantile Quantile)图检验法是一种图示检验法，绘制
(
q
i
,
x
(
i
)
∗
)
(q_i,x_{(i)}^*)
(qi,x(i)∗)散点图，这里
q
i
=
Φ
−
1
(
p
i
)
q_i=\Phi^{-1}(p_i)
qi=Φ−1(pi)是样本的
p
i
p_i
pi分位数，
x
(
i
)
∗
x_{(i)}^*
x(i)∗是样本的
p
i
p_i
pi分位数，如果
X
X
X是一元正态总体，则这些散点应该散布在一条直线上。P-P图检验法也是图示检验，绘制的数据点是
(
p
i
,
F
(
x
(
i
)
∗
)
)
(p_i,F(x_{(i)}^*))
(pi,F(x(i)∗))，其中
p
i
p_i
pi是经验分布函数
F
n
(
x
)
F_n(x)
Fn(x)在
x
(
i
)
∗
x_{(i)}^*
x(i)∗上的值，
F
(
x
(
i
)
∗
)
F(x_{(i)}^*)
F(x(i)∗)是
Φ
(
x
)
\Phi(x)
Φ(x)在
x
(
i
)
∗
x_{(i)}^*
x(i)∗上的值。在实际应用Q-Q图检验和P-P图检验时，
x
(
i
)
∗
x_{(i)}^*
x(i)∗要先选好。
Anderson-Darling
A
2
A^2
A2检验（AD检验）的检验统计量是
A
2
=
n
∫
−
∞
∞
(
F
n
(
x
)
−
Φ
(
x
)
)
2
Φ
(
x
)
(
1
−
Φ
(
x
)
)
d
Φ
(
x
)
,
A^2=n\int_{-\infty}^\infty \frac{(F_n(x)-\Phi(x))^2}{\Phi(x)(1-\Phi(x))}{\rm d}\Phi(x),
A2=n∫−∞∞Φ(x)(1−Φ(x))(Fn(x)−Φ(x))2dΦ(x),
这里
[
Φ
(
x
)
(
1
−
Φ
(
x
)
)
]
−
1
[\Phi(x)(1-\Phi(x))]^{-1}
[Φ(x)(1−Φ(x))]−1是权重函数，如果权重函数取
1
1
1，就得到Cramer-von Mises
W
2
W^2
W2检验的检验统计量
W
2
=
n
∫
−
∞
∞
(
F
n
(
x
)
−
Φ
(
x
)
)
2
d
Φ
(
x
)
.
W^2=n\int_{-\infty}^\infty (F_n(x)-\Phi(x))^2{\rm d}\Phi(x).
W2=n∫−∞∞(Fn(x)−Φ(x))2dΦ(x).
结合Kolmogorov-Smirnov统计量
D
=
sup
∣
F
n
(
x
)
−
Φ
(
x
)
∣
D=\sup|F_n(x)-\Phi(x)|
D=sup∣Fn(x)−Φ(x)∣，这三个统计量都是原假设成立时不能过大的，依赖于一个概率表值来检验原假设是否应该被接受。不过，这三种检验方式适用于各种假设检验，只要将表达式中的
Φ
(
x
)
\Phi(x)
Φ(x)换成对应的分布函数即可。
3.多元数据的正态性检验
对于二元数据，存在一种粗糙的检验方法：等概椭圆检验法。其理论基础是二维随机向量
X
X
X如果来自于正态总体，则其概率密度函数等高线应该是一个椭圆，即
X
∼
N
2
(
μ
,
Σ
)
X\sim N_2(\mu,\Sigma)
X∼N2(μ,Σ)时，应有
f
(
x
1
,
x
2
)
=
a
⇔
(
X
−
μ
)
′
Σ
−
1
(
X
−
μ
)
=
b
2
.
f(x_1,x_2)=a\Leftrightarrow (X-\mu)'\Sigma^{-1}(X-\mu)=b^2.
f(x1,x2)=a⇔(X−μ)′Σ−1(X−μ)=b2.
所以我们计算二元数据
X
(
i
)
X_{(i)}
X(i)到
X
ˉ
\bar X
Xˉ的马氏距离
D
i
=
(
X
(
i
)
−
X
ˉ
)
′
S
−
1
(
X
(
i
)
−
X
ˉ
)
D_i=(X_{(i)}-\bar X)'S^{-1}(X_{(i)}-\bar X)
Di=(X(i)−Xˉ)′S−1(X(i)−Xˉ)，在给定数值
p
0
p_0
p0下，
D
i
≤
p
0
D_i\le p_0
Di≤p0的频率应该和某一个定值比较接近，这个定值可以通过查表获得。由于这是一种比较粗糙的方法，我们在实际应用中会使用更为正式的方法。
现在介绍
p
p
p维数据
χ
2
\chi^2
χ2统计量的Q-Q图检验法，我们将假设确定为参数已知的，即
H
0
:
X
∼
N
p
(
μ
,
Σ
)
⇔
H
1
:
X
≁
N
p
(
μ
,
Σ
)
.
H_0:X\sim N_p(\mu,\Sigma)\Leftrightarrow H_1:X\nsim N_p(\mu,\Sigma).
H0:X∼Np(μ,Σ)⇔H1:X≁Np(μ,Σ).
由于在正态性假设
H
0
H_0
H0成立的前提下，样本
X
X
X到中心
μ
\mu
μ的马氏距离存在以下关系：
D
2
=
(
X
−
μ
)
′
Σ
−
1
(
X
−
μ
)
∼
χ
2
(
p
)
,
D^2=(X-\mu)'\Sigma^{-1}(X-\mu)\sim \chi^2(p),
D2=(X−μ)′Σ−1(X−μ)∼χ2(p),
所以我们可以直观地想到验证样本的马氏距离是否具有这样的关系。因此，我们计算样本
X
(
α
)
X_{(\alpha)}
X(α)到
μ
\mu
μ的马氏距离
D
α
2
=
(
X
(
α
)
−
μ
)
′
Σ
−
1
(
X
(
α
)
−
μ
)
D_{\alpha}^2=(X_{(\alpha)}-\mu)'\Sigma^{-1}(X_{(\alpha)}-\mu)
Dα2=(X(α)−μ)′Σ−1(X(α)−μ)，并对
D
α
2
D_\alpha^2
Dα2进行排序得到次序统计量
D
(
α
)
D_{(\alpha)}
D(α)，计算其经验分布函数，这样有了经验分布函数与
χ
2
(
p
)
\chi^2(p)
χ2(p)分布的分布函数后，就可以绘制Q-Q图或者P-P图。
在实际应用中，我们往往不知道
μ
,
Σ
\mu,\Sigma
μ,Σ的值，所以会用样本均值
X
ˉ
\bar X
Xˉ和样本协方差阵
A
/
(
n
−
1
)
A/(n-1)
A/(n−1)代替，得到的Q-Q图或P-P图应该是一条通过原点、斜率为1的直线，如果是这样，就可以接受正态性假设，否则应当拒绝。
回顾总结
-
正态总体的独立性检验，我们一般会取检验统计量为
V
=
∣
A
∣
∏
t
=
1
k
∣
A
t
t
∣
.
V=\frac{|A|}{\prod_{t=1}^k |A_{tt}|}.
V=∏t=1k∣Att∣∣A∣.
当
n
→
∞
n\to \infty
n→∞时，有
−
b
ln
V
→
χ
2
(
f
)
-b\ln V\to \chi^2(f)
−blnV→χ2(f)，这里
b
=
n
−
3
2
−
p
3
−
∑
t
=
1
k
p
t
3
3
(
p
2
−
∑
t
=
1
k
p
t
2
)
,
f
=
p
(
p
+
1
)
2
−
∑
t
=
1
k
p
k
(
p
k
+
1
)
2
.
b=n-\frac32-\frac{p^3-\sum_{t=1}^k p_t^3}{3(p^2-\sum_{t=1}^k p_t^2)},\\ f=\frac{p(p+1)}{2}-\sum_{t=1}^k\frac{p_k(p_k+1)}{2}.
b=n−23−3(p2−∑t=1kpt2)p3−∑t=1kpt3,f=2p(p+1)−t=1∑k2pk(pk+1).
-
一元总体的正态性检验有很多方法，如K-S检验、A-D检验、Cramer-von Mises检验，但K-S检验的效果一般，A-D检验的效果比较好，其检验统计量是
A
2
=
n
∫
−
∞
∞
(
F
n
(
x
)
−
Φ
(
x
)
)
2
Φ
(
x
)
(
1
−
Φ
(
x
)
)
d
Φ
(
x
)
.
A^2=n\int_{-\infty}^\infty \frac{(F_n(x)-\Phi(x))^2}{\Phi(x)(1-\Phi(x))}{\rm d}\Phi(x).
A2=n∫−∞∞Φ(x)(1−Φ(x))(Fn(x)−Φ(x))2dΦ(x).
-
Q-Q图是分位数图，首先选定一组分位数间隙
x
(
i
)
∗
x_{(i)}^*
x(i)∗，然后在样本中寻找相应分位数，在总体中也寻找相应分位数，将分位数绘制成散点图，观察其是否位于一条直线上。
-
P-P图是累计分布图，首先选定一组分位数间隙
x
(
i
)
∗
x_{(i)}^*
x(i)∗，然后绘制经验分布函数与总体分布函数在
x
(
i
)
∗
x_{(i)}^*
x(i)∗处的取值，将两个取值绘制成散点图，观察其是否位于一条直线上。
-
多元总体的正态性检验采用
χ
2
\chi^2
χ2统计量的Q-Q图检验法，计算样本到中心
X
ˉ
\bar X
Xˉ的马氏距离并排序，用Q-Q图判断是否属于
χ
2
(
p
)
\chi^2(p)
χ2(p)分布，或用K-M检验法。马氏距离的定义如下：
D
α
=
(
X
(
α
)
−
X
ˉ
)
′
S
−
1
(
X
(
α
)
−
X
ˉ
)
.
D_\alpha=(X_{(\alpha)}-\bar X)'S^{-1}(X_{(\alpha)}-\bar X).
Dα=(X(α)−Xˉ)′S−1(X(α)−Xˉ).
