精確率、召回率、F1 值、ROC、AUC 各自的優缺點是什麼？

先說ROC，ROC（receiver operating characteristic curve）是曲線。也就是下圖中的曲線。同時我們也看裡面也上了AUC也就是是面積。一般來說，如果ROC是光滑的，那麼基本可以判斷沒有太大的overfitting（比如圖中0。2到0。4可能就有問題，但是樣本太少了），這個時候調模型可以只看AUC，面積越大一般認為模型越好。

再說PRC， precision recall curve。和ROC一樣，先看平滑不平滑（藍線明顯好些），在看誰上誰下（同一測試集上），一般來說，上面的比下面的好（綠線比紅線好）。F1（計算公式略）當P和R接近就也越大，一般會畫連線（0，0）和（1，1）的線，線和PRC重合的地方的F1是這條線最大的F1（光滑的情況下），此時的F1對於PRC就好象AUC對於ROC一樣。

一個數字比一條線更方便調模型。

以上兩個指標用來

判斷模型好壞

，圖有些不恰當。。。但是有時候模型沒有單純的誰比誰好（比如圖二的藍線和青線），那麼選擇模型還是要結合具體的使用場景。

下面是兩個場景：

1。 地震的預測

對於地震的預測，我們希望的是RECALL非常高，也就是說每次地震我們都希望預測出來。這個時候我們可以犧牲PRECISION。情願發出1000次警報，把10次地震都預測正確了；也不要預測100次對了8次漏了兩次。

2。 嫌疑人定罪

基於不錯怪一個好人的原則，對於嫌疑人的定罪我們希望是非常準確的。及時有時候放過了一些罪犯（recall低），但也是值得的。

對於分類器來說，本質上是給一個機率，此時，我們再選擇一個CUTOFF點（閥值），高於這個點的判正，低於的判負。那麼這個點的選擇就需要結合你的具體場景去選擇。反過來，場景會決定訓練模型時的標準，比如第一個場景中，我們就只看RECALL=99。9999%（地震全中）時的PRECISION，其他指標就變得沒有了意義。

如果只能選一個指標的話，肯定是選PRC了。

可以把一個模型看的一清二楚。

能想到的暫時就這些了，希望對你有幫助！有錯誤望糾正。