数学基础：概率论乘法法则
两个事件相互独立：P(A∩B) = P(A)×P(B)
· 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 事件B发生的概率
· · 举个栗子：掷两枚硬币硬币同时立着的概率 = 掷一枚硬币立着的概率 × 再掷一枚
· · 硬币立着的概率。
两个事件非独立：P(A∩B) = P(A)×P(B|A) = P(B)×P(A|B)
· 意思是事件A和事件B同时发生的概率 = 事件A发生的概率 × 在事件A发生的概率下事
· 件B发生的概率 = 事件B发生的概率 × 在事件B发生的概率下事件A发生的概率。
随机事件的不确定性，在密码学中将不确定性予以量化，并用熵来表示其不确定性的程度，值越大，不确定性越高，值为0时，为确定性事件。
熵是所包含的未知信息量。（某个事件的未知信息量越大，其不确定性就越大，对应的其熵值就越大）
设事件X有x1、x2、x3、… 、xn共n中可能的结果，称为“自信息量”，记为I(xi)
I
(
x
i
)
=
−
log
2
P
(
x
i
)
（
发
生
的
概
率
P
越
大
信
息
量
I
就
会
越
小
）
I(x_i)=-\log_2P(x_i)（发生的概率 P 越大信息量 I 就会越小）
I(xi)=−log2P(xi)（发生的概率P越大信息量I就会越小）
自信息量的 数学期望1就是事件X的熵，记作
H
(
X
)
H(X)
H(X)公式为:
H
(
X
)
=
∑
i
=
1
n
[
P
(
x
i
)
×
I
(
x
i
)
]
=
−
∑
i
=
1
n
[
P
(
x
i
)
×
log
2
P
(
x
i
)
]
H(X) = \sum_{i=1}^n[P(x_i)×I(x_i)]= -\sum_{i=1}^n[P(x_i)×\log_2P(x_i)]
H(X)=i=1∑n[P(xi)×I(xi)]=−i=1∑n[P(xi)×log2P(xi)]
如果结果x1 ··· xn的发生概率相等，则
I
(
x
i
)
I(x_i)
I(xi)的 数学期望1也就是H(X)的关系为
H
(
X
)
=
I
(
x
i
)
H(X) = I(x_i)
H(X)=I(xi)
因此熵就是各个事件信息量的平均值。
熵： 0 ≤ H ( X ) = − ∑ i = 1 n [ P ( x i ) log 2 P ( x i ) ] ≤ log 2 n 0\leq H(X)=-\sum_{i=1}^n[P(x_i)\log_2P(x_i)]\leq \log_2n 0≤H(X)=−∑i=1n[P(xi)log2P(xi)]≤log2n
联合熵：
假设X和Y是 相互独立 的两个事件，X和Y同时出现的事件xiyj有 i×j 种结果，则XY同时出现的熵值为：
H
(
X
,
Y
)
=
−
∑
i
=
1
n
∑
j
=
1
m
P
(
x
i
,
y
j
)
log
2
P
(
x
i
,
y
i
)
H(X,Y)=-\sum_{i=1}^n \sum_{j=1}^mP(x_i,y_j)\log_2P(x_i,y_i)
H(X,Y)=−i=1∑nj=1∑mP(xi,yj)log2P(xi,yi)
条件熵：
事件Y发生的条件下，事件X的熵值
H
(
X
∣
Y
)
−
∑
i
=
1
n
∑
j
=
1
m
P
(
x
i
,
y
j
)
log
2
P
(
x
i
∣
y
i
)
H(X|Y)-\sum_{i=1}^n \sum_{j=1}^mP(x_i,y_j)\log_2P(x_i|y_i)
H(X∣Y)−i=1∑nj=1∑mP(xi,yj)log2P(xi∣yi)
p ( x i , y j ) p(x_i,y_j) p(xi,yj)表示 xi,yj 结果同时发生的概率
p ( x i ∣ y j ) p(x_i | y_j) p(xi∣yj)表示 xi 在 yj 发生的情况下发生的概率
假设X和Y是 不独立 的两个事件，X和Y同时出现的事件xiyj也会有 i×j 种结果，则XY同时出现的熵值为，
定理：
H
(
X
,
Y
)
=
H
(
X
)
+
H
(
Y
∣
X
)
H(X,Y)=H(X)+H(Y|X)
H(X,Y)=H(X)+H(Y∣X) (X,Y)不独立
推论：
度量两个事件之间的相关性，用 I ( X ; Y ) I(X;Y) I(X;Y)表示
由图可知其有以下几条性质：
本篇仅说明了，熵的概念，以及熵的一些性质，和平均互信息的性质。之后会介绍熵这个概念应用于密码学的信息理论之中，在信息论中，命名为信息熵。用于抽象出密码学的本质，并以形式化的方式予以描述。
