CVPR2022論文-分割篇

Semi-Supervised Semantic Segmentation Using Unreliable Pseudo-Labels

關鍵詞：

半監督，語義分割，正負樣本，對比學習，偽gt獲取

摘要：

半監督語義分割的關鍵是為未標記影象的畫素分配足夠的偽標籤

。一種常見的做法是選擇具有高置信度的預測作為偽真值，但這會導致一個問題，即大多數畫素可能由於置信度低而未被使用。我們認為，每個畫素對模型訓練都很重要，即使它的標籤是模糊的。

直覺上，畫素的不可靠的預測標籤可能會在top類別（即機率最高的類別）混淆（即可能不能判斷是不是top類別的），但是，它應該對這個畫素不屬於其餘類別是有信心的（我認為作者想表達的是：這個畫素雖然不能判斷是不是top類的，但是肯定能判斷它不是更低機率的類別。這裡這個假設存疑）

。因此，對於那些最不可能的類別，這樣一個畫素可以有很高置信度將其視為負樣本。基於這一認識，我們開發了一個有效的pipeline，以充分利用未標記的資料。具體地說，

我們透過預測熵來分離可靠和不可靠畫素，將每個不可靠畫素推送到由負樣本組成的類別佇列中，並設法用所有候選畫素來訓練模型。

考慮到訓練進化，預測變得越來越準確，我們自適應地調整可靠-不可靠劃分的閾值。在各種基準和訓練環境下的實驗結果表明，我們的方法優於最先進的其他方法。

總結：

我們提出了一個半監督語義切分框架U2PL，該框架將不可靠的偽標籤加入到訓練中，其效能優於許多現有的最先進的方法，這表明我們的框架為半監督學習研究提供了一個新的有希望的範例。我們的消融實驗證明了這項工作的想法是非常可靠的。定性結果為其有效性提供了直觀的證明，尤其是在語義物件或其他模糊區域之間的邊界上表現更好。

與完全監督的方法相比，我們的方法的訓練非常耗時

［5，6，29，35，46］，

這是半監督學習任務的一個常見缺點[9,20,21,33,43,48]。由於標籤的極度缺乏，半監督學習框架通常需要為更高的準確性及時付出代價。未來可以對他們的訓練最佳化進行更深入的探索。

思考：

本論文的想法適用於

無監督、半監督學習

，如何去獲取準確率更高的標籤。對於具有明確標籤的任務，或者標籤準確率很高的任務來講，好像並不能從中找想法；

另外如果使用

對比學習，獲取負樣本的方法

也可以參考這個論文，或許可以做資料增強一類的。

下面這篇部落格寫的很好，轉過來做mark~