資訊理論中對機率分布不確定性的對數量度。離散情況常採 Shannon entropy；連續分布需注意微分熵依座標與尺度而變。 相關：香農熵、微分熵、互資訊、最大熵原理。 吉布斯熵 演算法複雜度 Renyi 熵 機率密度