對觀察資料 o、潛在狀態 s、生成模型 p(o,s) 與近似後驗 q(s) 而言，變分自由能可寫成 F = E_q[ln q(s) − ln p(o,s)]。它也可分解為 D_KL(q(s)||p(s|o)) − ln p(o)，因此 F ≥ −ln p(o)。右側的負對數模型證據是資料的驚訝度；變分自由能提供可計算的上界。此處的 free energy 是變分推論中的資訊論量，不可直接等同熱力學自由能。
思與行
- 練習把公式各項對應到「近似信念」、「生成模型」與「觀察資料」。
- 說明任何自由能最小化主張時，都要明確是哪一個 F、對哪些變數最小化。
參考