熵（Entropy）在資訊理論中描述機率分布的不確定性，在熱力學中則是物理狀態的狀態函數；兩種脈絡有形式關聯，但定義與解釋不可任意互換。 相關概念：KL散度、變分自由能、非平衡穩態、驚訝度 維基百科：中文熵｜英文Entropy｜日文エントロピー