照片你隨便拍，「光影」我任意調，MIT谷歌新研究，器材黨老法師看了會沉默

金磊 發自 凹非寺

量子位 報道 | 公眾號 QbitAI

在攝影這件事上，「光影」簡直不要太重要。

畢竟大師們攝影作品，大多都是對「光」和「影」的拿捏。

△來自俄羅斯攝影師George Mayer

而最近，MIT 和谷歌等機構聯手提出了一種用神經網路「打光」的新方法，大大降低了對「光影」拿捏的門檻——

神經光線傳輸

（Nerual Light Transport，NLT）。

例如下圖所示，只要拍好人物照片，無論背景如何轉換，都可以相應的調節人物身上的「光影」。

去背景後的「AI 打光」效果更加明顯。

還有這樣的。

雖說「打光」效果是出來了，但這畫風…有點像陰間的東西了。

言歸正傳，繼續聊聊 NLT 這項技術。

NLT——拿捏光線的一把好手

光線傳輸（LT）可以描述一個場景中，物體在不同光照和方向下所呈現出來的樣子。

而完整地瞭解一個場景的 LT，還可以實現任意光照下的新檢視合成。

於是，MIT 和谷歌的研究人員基於影象 LT 採集（以人體為主），提出了一種半引數的深度學習框架，來學習 LT 的神經表示，名曰

NLT

。

總體而言，NLT 可以單獨或同時完成以下兩項任務：

用定向光或HDRI圖，重新照亮場景的光線真實性。

合成具有檢視依賴性效果的新檢視。

來看下 NLT 在不同任務下的效果。

首先是

「定向重打光」

（Directional Relighting）。

可以看到人物在光線的變化下，陰影、高亮的變化非常自然。

接下來，是基於

「背景圖的重打光」

（Image-Based Relighting）。

從背景圖中，大致可以判斷光源（太陽）的方向，而隨著背景圖的轉動，人物身上的陰影也會隨之發生改變。

最後，是

「檢視合成+同步光源」

（View Synthesis & Simultaneous）。

除了視覺效果驚豔之外，從定性角度來看，NLT 方法也取得了不錯的效果。

例如，在「重打光」（Redlighting）任務中，與其它基線方法相比，在 PSNR 和 SSIM 兩個指標中都取得了最先進的結果。

同樣，在「檢視合成」任務中，NLT 的結果也是相當不錯。

那麼，NLT 具體是如何實現這般效果的呢？

NLT模型：「查詢」、「觀測」兩步走

NLT 的模型網路主要由2條路徑構成，分別是

查詢路徑

（Query Path）和

觀測路徑

（Observation Path）。

「觀測路徑」將附近的 K 個觀測值作為輸入，在目標光和觀察方向周圍取樣，並將它們編碼成多尺度特徵，彙集起來用來消除對其順序和數量的依賴。

接下來，這些彙集起來的特徵將被連線到 「查詢路徑 」的特徵啟用上。

這條路徑將所需的光線和觀察方向，以及物理上精確的 disue base 作為輸入。

「查詢路徑」預測了一個殘差圖，該殘差圖被新增到diuse base上，用來產生紋理渲染。

最後，透過將深度神經網路嵌入到UV紋理空間中，便可以合成與可見光線和觀看角度對應的紋理空間RGB影象。

華人小哥一作

這項研究的第一作者，是來自MIT的博士生，張修明。

張修明目前在 MIT 計算機科學與人工智慧實驗室（CSAIL），從事計算機視覺和計算機圖形學領域的工作，尤其對重光照、檢視合成和材料建模感興趣。

另一位主要作者是Sean Fanello。

Sean Fanello是一名研究科學家，也是谷歌的經理，在谷歌領導容量效能捕獲方面的工作。

研究興趣主要包括數字人類、體積重建、高質量的深度感測和非剛性跟蹤。

最後，專案將在近日開源，感興趣的朋友持續關注下方參考連結中的資訊更新。

參考連結：

—完—

@量子位 · 追蹤AI技術和產品新動態

深有感觸的朋友，歡迎贊同、關注、分享三連վ‘ᴗ’ ի ❤