互信息(Mutual Information)是信息论里一种有用的信息度量，它可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性。
设两个随机变量
(
X
,
Y
)
(X,Y)
(X,Y)的联合分布为
p
(
x
,
y
)
p(x,y)
p(x,y)，边缘分布分别为
p
(
x
)
p(x)
p(x),
p
(
y
)
p(y)
p(y)，互信息
I
(
X
,
Y
)
I(X,Y)
I(X,Y)是联合分布
p
(
x
,
y
)
p(x,y)
p(x,y)与边缘分布
p
(
x
)
p(x)
p(x),
p
(
y
)
p(y)
p(y)的相对熵，即
