如何對影象進行降噪？

使用數碼相機拍過照片的人應該都十分熟悉“噪點”，這是一種會使照片清晰度和銳度降低的變色斑點。

許多攝影師都有減少影象噪點的技巧和竅門，比如校正相機鏡頭的設定，或在不同的光線下進行拍攝。事實上，不僅是拍攝出的影象會因噪點看起來有混色，在計算機圖形中噪點的影響也非常常見。

噪點指的是不屬於原始影象的隨機亮度和顏色變化。“去除影象中的噪點”這一過程被稱為“降噪”，這在影象處理和計算機視覺領域正變得越來越普遍。

影象降噪技術能利用先進的演算法去除圖形和渲染中會對影象質量產生巨大影響的噪點。如若不使用降噪技術，就不可能實現逼真的視覺效果和身臨其境的渲染效果。

什麼是降噪？

在計算機圖形學中，影象由有用的資訊和會降低清晰度的噪點組成。最理想的降噪結果是生成一個只保留有用資訊的清晰影象。在對影象進行降噪時，保留視覺細節與組成部分也同樣十分重要（如邊緣、稜角、紋理和其他具有鮮明結構的特徵等）。

為了在不影響視覺細節的情況下減少噪點，必須對影象中的三類訊號進行降噪：

漫反射：沿所有方向反射的散射照明

高光或反射：沿特定方向的照明

無限遠光源產生的陰影：太陽或任何其他無限遠光源的可見性資訊（陰影）

為建立最清晰的影象，使用者必須按照漫反射和高光訊號的方向投射數千條光線。但在實時光線追蹤中，通常平均每個畫素只使用小於等於一條光線。

在實時光線追蹤中，所使用的光線數目越低，越能保持實時互動效能，因此降噪必不可少。

每個畫素與一條光線相匹配的噪點影象。

如何進行降噪？

影象降噪通常基於三種技術：空間過濾、時間累積以及機器學習和深度學習重建。

示例：經過空間和時間降噪後的最終影象。

空間過濾

是透過重新使用相似的相鄰畫素，有選擇性地改變影象的某些部分。空間過濾的優點是不會產生時間滯後，因此能夠立即響應不斷變化的流動條件。但空間過濾會產生模糊、混濁以及時間的不穩定性，會造成影象中的閃爍和視覺缺陷。

時間累積

會重複使用前一幀資料，以確定當前幀中是否存在可以糾正的偽影或視覺異常。儘管時間累積造成時間滯後，但它並不會產生模糊，相反它增加了時間穩定性以減少多幀閃爍和偽影。

示例：20 幀時間累積。

機器學習和深度學習重建

使用神經網路來重建訊號。該神經網路是使用各種噪點和參考訊號訓練而成的。儘管單幀的重建訊號看起來很完整，但它會隨著時間的推移逐漸暫時失去穩定性，因此需要採用一種時間穩定的形式來進行降噪。

影象中的降噪

降噪能夠向用戶提供即時視覺反饋，因此使用者可以檢視圖形和設計並與之互動，以便使用者就能夠對光線、材質、視角、陰影等變數進行各種嘗試。

開發者可以使用

NVIDIA 實時降噪器（NRD）

等解決方案，輕鬆將降噪技術整合到流程中。NRD 是與 API 無關的時空降噪庫，主要用於處理 low ray-per-pixel 訊號。

NRD 利用輸入訊號和環境條件來提供能與真實影象媲美的結果。請看下面的 NRD 實際應用影片：

https：//www。zhihu。com/video/1588141143077634048

開發者能夠利用 NRD，在每畫素光線受限的情況下實現實時結果。開發者可在以上影片中詳細瞭解 NRD 如何“舉重若輕”地實時解決影象噪點問題。

“消逝的光芒 2（Dying Light 2）”“殺手 3（Hitman III）”等熱門遊戲都使用了 Real-Time Denoisers（NRD）進行降噪。

NRD 在 Techland 的“消逝的光芒 2：人與仁之戰（Dying Light 2 Stay Human）”實現了出色的效果。

NRD 支援對漫反射、高光以及陰影訊號的降噪。NRD 包含以下降噪器：

ReBLUR

：基於自穩定迴圈模糊概念的降噪器，專門用於處理使用低光線預算生成的漫反射和鏡面反射訊號

SIGMA

：快速陰影降噪器，支援來自任何型別光源（如太陽光、區域性光源）的陰影

ReLAX

：保留

NVIDIA RTX Direct Illumination

產生的照明細節。該框架可賦能開發者實時渲染具有數百萬動態區域燈光的場景。ReLAX 還能提高時間穩定性，並持續響應不斷變化的照明條件

觀看影片，瞭解 NRD 如何幫助實現“殺手 3（Hitman III）”的豐富、細緻畫面效果：

https：//www。zhihu。com/video/1588141050308325377

*本文來源於NVIDIA英偉達。與NVIDIA產品相關的圖片或影片（完整或部分）的版權均歸NVIDIA Corporation所有。