雨天美圖大法：單圖去雨的RESCAN新方式

大資料文摘編輯組出品

最近一週的南北方降雨量可能不相上下，不僅雨量大，而且每場雨都在瓢潑。

南方颱風中的畫風是這樣的

而北京進入“看海”節奏，根本不需要颱風

雨滴會嚴重降低能見度，除了給日常出行造成各種不便，也導致許多當前的計算機視覺演算法都無法工作。特別是在大雨中，來自各個方向的雨水積累和使背景場景朦朧，嚴重影響比如影片監控，物體檢測，以及在自動駕駛跟蹤等方向的準確性。

因此，除去雨水並從雨水影象中恢復背景，是一項重要的任務。

其實在過去十年中，影象去除已經有了不少有趣的研究。

現有方法可以分為兩類，包括基於影片的方法和單圖去除方法。

基於影片的方法可以利用影片中圖片的關係框架，因此相對容易；相對而言，單影象去除更具挑戰性。

在今年的雨季，來自北京大學和上海交通大學的幾位研究者，針對“單圖去雨”任務進行了研究，他們基於深度卷積和迴圈神經網路，

建立了一種新穎的神經網路架構，並獲得了不錯的結果。

這一成果在ArXiv上發表，並已被ECCV（歐洲計算機視覺國際會議，計算機視覺三大會議之一）採納。

除了論文成果，裡邊對之前各種關於單圖去雨的歷史研究論述總結頗為詳細，在今天讀來是個很應景的話題，感興趣的同學可以自行下載

大資料文摘微信公眾號後臺回覆

“下雨”

獲得本論文喲~~~

我們對論文的精華編譯如下：

對於單影象去除，傳統方法，例如判別稀疏編碼、低秩表示以及高斯混合模型，都可以應用於這項任務，並且有不錯的表現。最近，基於深度學習的消除方法，由於其強大的特徵表示能力而受到廣泛關注。但是所有這些相關方法仍有很多空間需要改進。

現有方法主要有兩個侷限。

一方面，根據之前的研究，空間背景資訊對於雨點的消除非常有用。然而，許多當前的方法基於影象補丁去除雨條紋，忽略了大區域的背景資訊。

另一方面，由於大雨中的雨滴會呈現各種各樣的方向和形狀，它們會以不同的方式讓背景模糊不清。

分解整體，透過不同的階段去除雨水條紋，是一種常見的方法，這種方法可以將問題分解為多個階段，以便我們可以迭代地去除雨條紋。然而，現有方法只對每個階段獨立除雨，而不考慮它們的相關性。

我們提出了一種新穎的深度網路架構，基於深度卷積和遞迴神經網路對單張影象的雨水進行去除。

在大雨中，雨滴有各種各樣的方向和形狀，由於雨條紋層各自重疊，在一個階段去除雨水並不容易。所以我們進一步分解雨水為多個階段。利用迴圈神經網路以保留前幾個階段的有用資訊，有利於後期去雨。我們在合成和真實資料集上進行了大量實驗，所有評估指標的表現都優於先前的方法。

在解決上述兩個侷限性後，我們提出了一種新穎的深層網路，從而用於單個影象的除雨。例如上圖，體現了逐步消除雨條紋的階段。

在每個階段，我們都使用有多個卷積層的整合網路對背景影象的雨水條紋進行消除。由於雨條紋有各種方向和形狀，我們讓每個網路層對應一種雨條紋，並根據其在每個卷積層中的相互依賴性為其賦值。

受益於指數級增加的卷積層，這一神經網路接受域大且深度低，可以獲取更多的背景圖資訊。我們接下來利用三種不同的迴圈神經網路（RNN），進一步最大限度的利用之前幾個階段蒐集到的背景資訊，來指導後期的雨滴去除。

我們將這一方法命名為REcurrent SE Context Aggregation Net（RESCAN）。

本文的主要貢獻如下：

1、對於單圖除雨提出了一種新穎的整合深度網路。

2、據我們所知，這是首篇考慮不同階段除雨相關性的論文。透過RNN體系結構的三種不同迴圈單元，可以結合前幾個階段的來指導後期階段。這一神經網路適用於複雜的下雨環境。

3、與最先端的方法相比，我們的深度網路在不同資料集上展現了更卓越的效能。