香農熵衡量機率不確定性而不衡量語意價值

Shannon entropy 衡量隨機變數結果的平均資訊量或不確定性。它不會直接判斷訊息是否真實、重要、善意、有意義或值得保存。兩份內容可以有相同熵值，卻在語意、文化與行動後果上完全不同。資訊熵適合通訊、編碼、分類與機率模型，不宜代替人文判斷。

思與行

• 在知識庫中分開計算「標籤分布的不確定性」與「內容品質」；前者不能代替後者。
• 設計人工智慧應用時，將模型輸出熵作為不確定性訊號之一，不把它當成正確率的同義詞。

參考

• 香農將熵引入通訊與資訊理論、傑恩斯以最大熵原理連接資訊論與統計力學。
• 香農熵、互資訊、資訊熵。