IEEE TMM 2020：細化超分辨網路，解決上取樣引起的振盪

作者：田春偉，徐勇，左旺孟，張一博，費倫科，林嘉文

單位：哈工大&澳門大學&臺灣清華大學

本文介紹IEEE TMM 2020 論文：用於解決上取樣引起振盪的細化超分辨網路（Coarse-to-Fine CNN for Image Super-resolution），

程式碼已開源

。

影象成像裝置在拍照影象時常遭受到天氣、硬體和環境等影響，導致拍攝出影象出現嚴重的失真，這嚴重限制後續高水平計算機視覺任務進行。現已有深度學習方法為了保證效率，一些方法都是透過在網路末端利用上取樣操作來放大解析度來獲得高畫質影象，但這樣操作會使訓練過程發生振盪，從而使SR模型穩定性下降，這是真實相機裝置無法容忍的。

對此，本文設計一種由粗到細的超分辨CNN（Coarse-to-fine SR CNN， CFSRCNN）用於解決這個問題。CFSRCNN根據SR任務的屬性，透過充分利用網路層次低頻特徵和高頻特徵來增加SR模型的穩定性，同時該網路能在SR效能和效率之間做權衡。

工作原理

CFSRCNN的工作原理如下：

CFSRCNN由堆積的特徵提取塊FEBs， 增強塊EB， 構造塊CB和特徵細化塊FRB組成。隨著網路深度增加，淺層對深層作用會減少。對此，FEBs利用異構卷積來學習區域性特徵並透過訊號傳遞的思想來增加區域性對全域性的作用。

其中，異構卷積中的1x1卷積能對提取層次特徵進行蒸餾來提高SR效率。但考慮反覆地蒸餾可能使提取特徵損失邊緣資訊，EB融合FEBs中除1x1卷積層外所有層輸出資訊來增強提取LR特徵的魯棒性。

由於利用上取樣操作放大低分辨特徵會造成突然振盪，使模型訓練不穩定，同時放大過程使LR影象損失一些重要資訊。對此，CB將FEBs中第一個FEB得到LR特徵和EB得到LR特徵分佈經過上取樣操作放大之後利用殘差學習技術進行融合，這樣能捕獲互補的SR特徵，有效地降低由上取樣造成的資訊損失。

之後，利用一個細化塊FRB來學習更加準確的SR特徵，這能增大被訓練模型的穩定性。CSFCNN的網路結構圖，如Figs。1和2所示：

所提出的CFSRCNN與以往SR網路有以下幾點

區別：

（1）流行的RDN， CSFM的超分辨方法，如Fig。 3都是將每一層作為後續所有層的輸入，這大大增大訓練時間。而僅僅融合FEBs中相鄰FEB塊輸出特徵來增強最後獲得LR特徵。

此外，使用由3x3和1x1組成的異構卷積代替堆積3x3卷積，在沒有犧牲視覺質量情況下大大地降低網路的深度、複雜度和執行時間（CFSRCNN引數只有RDB的5。5%和CSFM的9。3%）

（2）EB模型使用殘差學習技術代替流行的Concat操作，它能和FEBs互補來增強獲得LR的魯棒性。為了防止影象畫素的過度增強，使用堆積多層來平滑所獲得LR特徵。

（3）利用殘差學習和上取樣操作整合全域性和區域性特徵能防止由於突然放大畫素而造成LR特徵丟失。之後細化網路能使訓練過程平穩並能提取更為精準的SR特徵。

貢獻：

（1）利用一個級聯網路結構結合LR和HR特徵來解決有上取樣操作帶來不穩定訓練從而引起的效能下降問題。

（2） 基於異構卷積提出一種新的特徵融合機制能有效地解決長期依賴問題和防止資訊丟失。此外，在沒有犧牲視覺質量的情況下，提升SISR效能。

（3）提出的CFSRCNN能在SISR實現良好效能和高的計算效率之間做一個權衡。

實驗結果

（1）不同方法在Set5對於不同縮放因子的SISR效能

（2）不同方法在Set14對於不同縮放因子的SISR效能

（3）不同方法在B100對於不同縮放因子的SISR效能

（4）不同方法在U100對於不同縮放因子的SISR效能

（5）不同方法在720p對於不同縮放因子的SISR效能

（6）不同方法在縮放因子為2時恢復不同大小影象所利用時間

（7）不同方法在縮放因子為2時的SR模型複雜度

（8）不同方法在縮放因子為2時來自Set14的恢復高畫質影象視覺化視覺

（8）不同方法在縮放因子為3時來自B100的恢復高畫質影象視覺化視覺

（9）不同方法在縮放因子為4時來自U100的恢復高畫質影象視覺化視覺

論文連結：

https：//

ieeexplore。ieee。org/doc

ument/9105085https：//www。researchgate。net/publication/341807125_Coarse-to-fine_CNN_for_image_super-resolution

程式碼連結：

https：//

github。com/hellloxiaoti

an/CFSRCNN