Claude Shannon 於 1948 年發表《A Mathematical Theory of Communication》，把機率分布的不確定性形式化為資訊熵 H(X) = −Σ p(x) log₂ p(x)，單位為 bit。若某隨機變數的可能結果越平均，平均不確定性越高；若結果已確定，熵為零。Shannon 熵描述訊源或隨機變數的不確定性，不直接測量訊息的語意、真偽、價值或理解程度。
思與行
- 用一個擲骰子與一個偏重某面的骰子計算 H，體會同樣的結果數量不代表相同的不確定性。
- 設計知識庫搜尋或資料分類時，先聲明機率分布與樣本空間，才解釋熵值。
參考
- 原始論文：A Mathematical Theory of Communication (1948)；DOI。
- 概念延伸：香農熵、資訊熵、互資訊。