論文速遞 | 一份超全易懂的深度學習在影象去噪的綜述

作者介紹：田春偉，哈爾濱工業大學（深圳）計算機科學與技術學院2017級春季博士生， IEEE Student Member， CAAI Student Member和CCFMember。

近日哈爾濱工業大學、廣東工業大學、清華大學與臺灣國立清華大學等研究人員共同撰寫一篇深度學習在影象去噪上的綜述並在arxiv發表，該綜述系統地總結影象去噪的重要性、影象去噪技術的發展、傳統的機器學習和深度學習的影象去噪技術的優缺點以及刨析出影象去噪技術面對的挑戰與潛在的研究點。該綜述對學術界和工業界都有重要的指導作用，值得學習。

Deep Learning onImage Denoising: An Overview

論文連結：

https：//

arxiv。org/abs/1912。1317

1

相關程式碼連結：

https：//

github。com/hellloxiaoti

an

1 背景與動機

數字影象裝置已經被應用在天氣預測、災難救援、安全監控與醫學診病等多個領域。然而數字裝置常受到相機抖動、運動的物體、暗光和噪聲等影響而導致捕獲的照片不乾淨。因此影象去噪技術的研究具有重要的理論和實際應用價值。

影象去噪技術在20世紀90年代已經成為研究熱點。例如：用非區域性相似性來最佳化稀疏方法能提高去噪的效能。字典學習有助於快速移除噪聲。先驗知識透過平滑噪聲影象來恢復潛在乾淨影象的細節。更多競爭去噪方法包括MRF 、WNNM 、LSSC、CSF 、TNRD和GHEP能被利用。

雖然這些大部分方法在影象去噪上能達到好的效能，但是他們有以下缺點：（1） 在測試階段涉及複雜最佳化方法，（2） 手動設定引數， （3） 一個固定的模型來處理單個去噪任務。擁有靈活的結構，強的自學習能力的深度學習技術能用來解決這些不足。

2 本文研究框架

本文由淺到深介紹深度學習在影象去噪應用，首先介紹深度學習在影象處理的基本框架，包括：有監督和無監督機器學習、卷積網路、深度學習在影象去噪的主要結構（如：VGG、ResNet、GoogLeNet和GAN）和深度學習技術常用軟體和硬體；其次重點介紹深度學習技術在影象去噪上應用，如圖示1所示：

深度學習技術在影象去噪上應用包括外加的白噪聲影象去噪的深度學習技術、真實噪聲影象去噪的深度學習技術、盲去噪的深度學習技術和混合噪聲影象去噪的深度學習技術。

2.1 外加的白噪聲影象去噪的深度學習技術：

CNN/NN for AWNI denoising， CNN/NN and common feature extraction methods for AWNI denoising 和The combination of optimization method and CNN/NN for AWNI denoising。

2.1.1 CNN/NN for AWNI denoising：

根據噪聲的屬性設計不同網路結構是極為關鍵的，設計網路結構有以下方式：（1）利用多視角來設計網路；（2）改變Loss函式；（3）增加CNN的寬度或者深度；（4）在CNN中增加任意的外掛；（5）在CNN中使用跳躍連線 （Skip connection）或者級聯操作（Cascaded operations）。

補充說明：第（1）種方式：包括三種類型：一幅噪聲影象作為多個子網路的輸入；一個樣本的不同角度作為網路的輸入；一個網路的不同通道作為輸入。第（4）種方式：任意外掛包括啟用函式、空洞卷積、全連線層和池化層等。第（5）種方式：包括skip connection和cascaded operation。表 1 提供CNNs/NNs for AWNI denoising的總結。

2.1.2 CNN/NN and common feature extraction methods for AWNI denoising：

weak edge-information， non-linear， high-dimensional and non-salient noisy images 和high computational costs。對於weak edge-information noisy images來說，CNN with transformation domain method來移除噪聲是非常有效的。對於non-linear noisy images來說，CNN with kernel method在恢復潛在乾淨影象是非常有效的。這類方法一般有三步：第一步用CNN來提取特徵，第二步用核方法把非線性特徵轉為線性特徵，第三步利用殘差技術來重構潛在的乾淨影象。對於high dimensional noisy images來說，CNN和降維方法的組合是常用的去噪方法。對於non-salient noisy images來說，訊號處理方法能引導CNN來提取顯著的特徵。對於high computational cost， CNN和影象的屬性結合能有效地降低複雜度。上述所涉及方法的更多資訊被展示在表2。

2.1.3 The combination of optimization method and CNN/NN for AWNI denoising：

（1）提高去噪速度，（2） 提高去噪的效能。對於提高去噪效率，把最佳化方法嵌入到CNN來尋找最優解決是不錯工具。此外，把噪聲對映和噪聲影象塊作為CNN的輸入也能提高預測噪聲的速度。對於提高去噪的效能，把CNN和先驗知識結合起來能有效移除噪聲。表3展示The combination of optimization method and CNN/NN for AWNI denoising方法的詳細資訊。

2.2 Deep learning techniques for real noisy image denoising：

單一的end-to-end的CNN和CNN和先驗知識的結合。對於第一類，設計網路結構對處理真實噪聲影象是流行的。把多尺度、Skip connection、batch renormalization、dilated convolutions、attention mechanism融合到CNN中都能有效處理真實噪聲影象。這些方法的詳細資訊被展示在表4：

對於第二方面把CNN和先驗知識組合能很好地解決真實噪聲影象。驗證知識包括HQS、TV和channel prior。表5顯示這些方法的詳細資訊。

2.3 Deep learning techniques for blind denoising:

利用image device和soft shrinkage和CNN/NN結合能很好地進行blind denoising。更多方法在表6被展示。

2.4 Deep learning techniques for hybrid noisy imagedenoising:

用warped guidance和CNN組合，單一的CNN以及CNN和iterative algorithm組合都能很好地移除混合噪聲，更多資訊如表7所示：

3 實驗結果

3.1 資料庫：

3.1.1訓練集：

BSD400、Waterloo Exploration Database和polyU-Real-World Noisy Images。

3.1.2測試資料集：

Set12、BSD68、CBSD68、Kodak24、McMaster、CC、DND、NC12、SIDD和Nam。

3.2 Deep learning techniques for additive white noisy-image denoising結果

3.3 Deep learning techniques for real-noisy image denoising結果

Deeplearning techniques for blind denoising結果

3.4 Deep learning techniques for hybrid-noisy-image denoising結果

4 討論

深度學習一般在影象去噪上都是提高影象效能、去噪效率和複雜的噪聲影象。

4.1 提高去噪效能，有如下解決方法：

（1）增大網路的感受野能捕獲更多上下文資訊來提高去噪效能。其中，增加網路寬度和深度是增加感受野最常見的方式，然而，他們會導致高的計算代價和更多記憶體消耗。空洞卷積能有效解決這個問題。（2）CNN和先驗結合能提取出更魯棒的特徵。（3）組合區域性和全域性的資訊能提高網路的記憶能力。（4）把訊號處理機制融合到CNN能更好遏制噪聲。（5）資料增加能提高影象去噪效能。（6）遷移學習、圖學習和網路搜尋能很好處理噪聲影象。

4.2提高去噪效率

壓縮網路能有效地提高去噪的速度。減少網路寬度和深度、利用小的卷積核、組卷積都能有效地提高去噪速度。

4.3解決複雜的噪聲影象

利用分佈機制是非常流行的。第一步利用CNN來估計噪聲級別作為ground truth或者恢復高解析度影象。第二步用來恢復潛在乾淨影象。

4.4挑戰

（1）更深的網路需要佔用更多記憶體。（2）更深的去噪網路不能穩定地訓練真實噪聲影象、沒有類標的噪聲影象的模型。（3）真實噪聲影象不是容易獲得的。（4）更深的網路是困難來解決無監督去噪任務。（5）尋找更精確的去噪衡量指標。

5 結論

在本文我們對不同去噪網路進行全面地研究和系統地總結。首先，我們展示影象去噪的深度學習的基本框架。然後，給出不同去噪任務（如：外加白噪聲、盲噪聲、真實噪聲和混合噪聲的影象）的深度學習技術。接著，我們針對不同任務分析去噪網路的動機和理論。最後，我們比較了不同方法的去噪結果、效率和視覺化效果。此外，我們也指出深度學習技術在影象去噪的潛在研究點和挑戰。

——END——

歡迎加小助手微信（cv-mart） 備註：

研究方向-姓名-學校/公司-城市

（如：目標檢測-小極-北大-深圳），即可申請加入

目標檢測、目標跟蹤、人臉、工業檢測、醫學影像、三維&SLAM、影象分割等極市技術交流群。