假设检验，就是做了一个假设 H，然后通过实验得到相关的统计数据判断 H 是否（大概率）成立，或者有多大把握认为 H 成立。这个 H 一般是一个与分布、统计量相关的的命题，如 H : P { 硬 币 朝 上 } < 0.2 H: P\{硬币朝上\} < 0.2 H:P{硬币朝上}<0.2。
直觉上，假定 H 正确，会使某个事件 A 变成小概率事件，即 P ( A ∣ H ) P(A|H) P(A∣H) 很小，那么在 H 的条件下，A 几乎不可能发生，如 H : P { 硬 币 朝 上 } < 0.2 H: P\{硬币朝上\} < 0.2 H:P{硬币朝上}<0.2， A : 连抛100次，80次朝上 A:\text{连抛100次，80次朝上} A:连抛100次，80次朝上。但若果在检验实验中 A 居然发生了，那 H 大概率是错的，于是拒绝 H。
要检验此女士是否真能分辨「茶+奶」和「奶+茶」，可以进行伯努利实验：n 杯奶茶混合液给她逐杯试，如果她能至少分对 k 次，那就认为她真的能分辨。
为此可以作出假设
H
0
:
她
其
实
不
能
分
辨
，
只
是
瞎
猜
H_0:她其实不能分辨，只是瞎猜
H0:她其实不能分辨，只是瞎猜。将
H
0
H_0
H0 的对立假设记为
H
1
H_1
H1。
选择这样假设是因为，这等价于对她的判断的分布作出假设：如果是瞎猜，那么她猜「茶+奶」和「奶+茶」的概率都应该是 0.5，对于每一杯她猜对的概率亦是 0.5，于是对于她猜对的总杯数 X，可以写出分布
X
∼
B
(
n
,
0.5
)
X\sim B(n,0.5)
X∼B(n,0.5)。
可以算出，要猜对多个的概率是很小的。即要观察的事件是
A
:
分
对
至
少
k
杯
A:分对至少k杯
A:分对至少k杯，当 k 比较大时，
P
(
A
∣
H
0
)
P(A|H_0)
P(A∣H0) 很小，
A
∣
H
0
A|H_0
A∣H0 几乎不可能发生。
接下来就是进行实验，如果 A 发生了，就拒绝
H
0
H_0
H0、接受
H
1
H_1
H1，否则相反。
这样检验有主观的成分：k 取多大，才能相信她大概率是真的能分辨（才能在 A 发生时拒绝
H
0
H_0
H0）？这可以换一种说法：
P
(
A
∣
H
0
)
P(A|H_0)
P(A∣H0) 要多小（在
H
0
H_0
H0 条件下 A 要多难发生），才能在 A 真的发生时有足够的信心相信
H
0
H_0
H0 是错的？
此例中 P-value 就是
P
(
A
∣
H
0
)
P(A|H_0)
P(A∣H0)（P-value 应该是 A 和比 A 更难发生的事件概率和）。指定 k 的大小，等价于指定一个概率阈值
α
\alpha
α，只有当
P-value
=
P
(
A
∣
H
0
)
≤
α
\text{P-value}=P(A|H_0)\leq\alpha
P-value=P(A∣H0)≤α 时，才认为：
A
发
生
⇔
H
0
明
显
/
大
概
率
是
错
的
A 发生\Leftrightarrow H_0明显/大概率是错的
A发生⇔H0明显/大概率是错的，于是在 A 发生时拒绝
H
0
H_0
H0。
所有使得拒绝
H
0
H_0
H0 的 P-value 的集合叫拒绝域，此例中就是
[
0
,
α
]
[0,\alpha]
[0,α]，即当实验测得 P-value 落在拒绝域时，就拒绝
H
0
H_0
H0。
α
\alpha
α 常取 0.05、0.01 等小值。
上帝知道 H 0 H_0 H0 实际上是真的还是假的，但人不知道，所以依据实验结果，决定要拒绝或接受 H 0 H_0 H0 时，此时做出的决策（拒绝/接受）可能是错的，错误分两类：
犯第 I 类错误的概率，就是 A 发生时拒绝 H 0 H_0 H0 的概率，即 α \alpha α，又叫显著性水平， 1 − α 1-\alpha 1−α 称为置信度。
