互資訊

兩個隨機變數共享資訊量的量度，I(X;Y)=H(X)−H(X|Y)。它描述知道 Y 後對 X 不確定性的平均減少。

相關：香農熵、條件熵、資訊理論。

資訊熵