常用的交叉熵（透徹講解交叉熵）

2023-04-16 17:04:50

通過幾個簡單的例子來解釋和總結什麼是交叉熵（ Cross Entropy） 以及機器學習分類問題中為什麼使用交叉熵。

第一個例子

假設隨機從一個口袋裡取硬幣, 口袋裡有一個藍色的, 一個紅色的, 一個綠色的, 一個橘色的。

取出一個硬幣之後, 每次問一個問題, 然後做出判斷, 目標是, 問最少的問題, 得到正確答案. 其中一個最好的設計問題的策略如下:

每一個硬幣有1/4的概率被選中, 1/4(機率) * 2道題目 * 4顆球 = 2，平均需要問兩道題目才能找出不同顏色的球，也就是說期望值為2，就是熵（entropy）。

第二個例子

例子變了, 變成了袋子中1/8的硬幣是綠色的, 1/8 的是橘色的, 1/4 是紅色的, 1/2 是藍色的, 這時最優的問題的策略如下:

1/2 的概率是藍色, 只需要1個問題就可以知道是或者不是, 1/4 的概率是紅色, 需要2個問題, 按照這個邏輯, 猜中硬幣需要的問題的期望是 1/2×1 1/4×2 1/8×3 1/8×3=1.75

第三個例子

假設袋子中全部是藍色的硬幣, 那麼, 這時候, 需要 0 個問題就可以猜到硬幣, 即 log21=0。 需要注意的是, 只有當知道袋子中全部是藍色的硬幣的時候需要的問題是 0 個.

總結上面的例子, 假設一種硬幣出現的概率是 p, 那麼, 猜中該硬幣的所需要的問題數是 log2(1/Pi)。例如, p=1/4, log24=2。

在這個問題中, 問題個數的期望是

這個式子就是熵的表達式. 簡單來說, 其意義就是在最優化策略下, 猜到顏色所需要的問題的個數。熵代表的是隨機變量或整個系統的不確定性，熵越大，隨機變量或系統的不確定性就越大。

現在已經了解了熵是什麼, 那麼, 下面解釋交叉熵（cross entropy） 的含義.對於第二個例子, 如果仍然使用第一個例子中的策略, 如下圖:

1/8 的概率, 硬幣是橘色, 需要兩個問題, 1/2 的概率是藍色, 仍然需要兩個問題, 也就是說，認為小球的分布為（1/4，1/4，1/4，1/4），這個分布就是非真實分布。平均來說, 需要的問題數是 1/8×2 1/8×2 1/4×2 1/2×2=2。 因此, 在例子二中使用例子一的策略是一個比較差的策略. 其中2是這個方案中的交叉熵。而最優方案的交叉熵是1.75。

給定一個策略, 交叉熵就是在該策略下猜中顏色所需要的問題的期望值。更普遍的說，交叉熵用來衡量在給定的真實分布下，使用非真實分布所指定的策略消除系統的不確定性所需要付出成本的大小。交叉的字面意思在於：真實分布與非真實分布的交叉。給定一個方案, 越優的策略, 最終的交叉熵越低。具有最低的交叉熵的策略就是最優化策略，也就是上面定義的熵。因此, 在機器學習中, 我們需要最小化交叉熵。

數學上來講, 交叉熵就是

其中, p 是真正的概率, 例如例子二中, 橘色和綠色是 1/8, 紅色是 1/4, 藍色是 1/2。p^是錯誤地假設了的概率, 例如, 在例子二中我們錯誤地假設了所有的顏色的概率都是 1/4。p和 p^ 可能有點容易混淆. 記住一點, log是用來計算在 你的策略下猜中所需要的問題數, 因此, log中需要的是你的預測概率 p^。在決策樹中, 如果建立的樹不是最優的, 結果就是對於輸出的概率分布的假設是錯誤地, 導致的直接結果就是交叉熵很高。交叉熵不僅僅應用在決策樹中, 在其他的分類問題中也有應用。

分類問題

在二分類問題中, 標籤 y 是 1 的似然是對於標籤 y 的預測 y^, 同樣的, 標籤是 0 的似然是 1−y^. 我們需要最大化似然函數, 而且, 由於二分類問題的特殊性, 根據伯努力分布(Bernoulli distribution)，可以把似然函數寫成

當 y=1 的時候, 第二項為 1, 因此, 優化的是 y^

當 y=0 的時候, 第一項為 1, 優化的是 1−y^.對上面的似然函數取對數, 結果是:

最大化似然函數, 就是對上面表達式取負然後最小化。也是交叉熵的表達式。 交叉熵有時候也被稱為對數損失函數。注意與上邊例子區別是多了個負號，上邊例子是消除不確定性需要付出的成本；而現在這個加了負號的交叉熵，則是最終的目標函數。

舉例來說, 假設我有 3 枚硬幣, 正正反, 記為 1,1,0. 預測結果是 0.8, 0.9, 0.3, 那麼, 交叉熵的均值是:

−1/3(1×log0.8 1×log0.9 (1−0)×log(1−0.3))

假設有一個完美的算法, 直接預測出了 1,1,0, 那麼交叉熵的結果就是 0.

,