本文轉自徐飛翔的“貝葉斯之旅||第二講，分類問題的兩大過程，推理和決策”

版權聲明：本文為博主原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接和本聲明。

分類問題

我們在之前的文章中已經介紹過分類問題了，簡單的說就是給定一個樣本，將其劃分到有限的標簽集中。通常來說，我們可以將整個分類問題劃分為兩個獨立的過程，分別是**推理（inference）和決策(decision)**階段。在推理階段，我們通過已有的訓練集，學習到后驗概率，或者也可以通過學習聯合概率分布，然后也可以得到后驗概率。而接下來，在決策階段，就根據這個后驗概率，對樣本的類別進行判斷決策。這個決策過程可以參考文章[1]的討論。

注意到，很多時候，這兩個過程可以合在一起，將問題簡化為成：學習一個映射 ，直接將樣本映射到類別標簽。這個過程中，將不會涉及到任何的后驗概率等，而是直接得出預測結果，這個函數因此稱之為判別函數(Discriminant function)。[2] page 43

事實上，這些討論過的方法都可以用來解決分類問題，并且在實際應用中都有所應用，我們按照復雜程度進行降序排列之后，有：

通過解決推理問題之后，我們可以給每一個類別估計出類條件概率，同時，先驗概率也很容易可以估計出來，然后通過貝葉斯公式我們可以得到后驗概率：

我們有:

等價地，我們可以對聯合概率密度進行建模，然后進行標準化后得到后驗概率。像這種顯式地或者隱式地對輸入和輸出進行概率分布建模的模型，稱之為生成模型(generative models)，因為從這個聯合分布中進行采樣可以生成輸入空間中的一些虛假生成數據(synthetic data)。

通過解決推理問題后，得到后驗概率，然后通過決策論進行類別判斷。這種模型稱之為判別模型(Discriminative model)。

尋找一個函數，稱之為判別函數，直接將輸入的映射到一個類別標簽上，比如SVM分類器等。在這個情形下，并沒有用到任何概率，也就是說我們對預測的結果其實是沒有辦法判斷可靠程度的。

我們接下來分別討論下這三種方法的優劣點。

孰優孰劣，判別模型和生成模型生成模型

生成模型是對于數據量需求最高的，同時運算量也是最大的，因為其需要訓練出包含和?的聯合分布，如果數據量不夠，將會導致嚴重的過擬合現象[3]。對于很多應用下來說， 是一個維度很高的特征向量，因此為了使得類條件概率得到一個較為合理的精度，就需要很多的數據量進行計算。但是，生成模型也有一些很好的性質，比如說可以從中進行采樣生成出一些假數據，這個應用目前在很多image inpainting[4]，style transfer[5]任務中經常用到。而且，因為通過聯合概率分布可以通過式子(1.2)計算出邊緣概率分布。這個輸入空間的邊緣概率分布很有用，因為其可以判斷輸入的新數據是否是一個所謂的離群點(outlier)，離群點如下圖所示。這個就是所謂的離群點檢測(outlier detection)或者稱之為異常檢測(novelty detection)，這個在網絡欺詐預測，銀行欺詐預測，電子垃圾郵件檢測中很有用。

判別模型

在分類任務中，很多時候你只是做個分類而已，并不用進行離群點檢測，也不需要生成虛假樣本.這個時候，如果還用生成模型去進行后驗概率的估計，就浪費了很多資源。我們觀察下圖，我們可以發現，類條件概率其實和后驗概率并沒有必然的影響。這個時候，你就需要采用判別模型。

不僅如此，采用了判別模型還有一個好處就是，可以利用所謂的**拒絕域(reject option)**把一些過于邊緣的判斷拒絕掉。比如我們僅有10%的把握判斷某人為癌癥患者，那么我們就情愿不做這個判斷，交給更為權威的人或者系統進行下一步的處理。如下圖所示，綠色的水平線表示拒絕水平，只有后驗概率高于這個水平線，才能認為是可靠的判斷。我們將會看到，在基于判別函數的情況下，因為并沒有概率的存在，因此并不能進行這種操作。

判別函數方法

有比以上倆種方法更為簡單，計算量更少的方法，那就是判別函數法。在這個情況下，因為是直接用訓練數據擬合一個函數對樣本進行分類，因此無法得到后驗概率 。在這個方法中，只能最小化分類錯誤率，而沒法給不同類型的分類錯誤進行區別[1]，采用最小化分類風險，這是個遺憾的地方。

Reference

[1] 《貝葉斯之旅||第一講，貝葉斯決策》

[2] Bishop C M. Pattern recognition and machine learning (information science and statistics) springer-verlag new york[J]. Inc. Secaucus, NJ, USA, 2006.

[3] 《機器學習模型的容量，過擬合與欠擬合》

[4] 《基于深度學習的Image Inpainting (圖像修復)論文推薦(持續更新)》

[5] 《Image Style Transfer》