最近深度學習生成對抗網路GAN的最新進展？

腦聯網人工智慧2022-01-10 10:50:46

生成對抗網路，在原理上沒有質的改變，還是最基本的生成器-判別器模式，但生成了好多衍生器，如star-Gan， cycle-Gan， couple-Gan等，它們在影象處理中應用較多，但現在GAN發展還不是很成熟，存在一些待解決的問題。而且，現在GAN由於訓練困難，計算量較大，目前僅僅在學術上使用，真正投入產品使用的模型不是很多。

麗臺科技2022-03-16 17:28:13

生成式對抗網路（GAN）一直是是深度學習領域內熱門的主題，生成式對抗網路透過減少訓練深度學習演算法所需的資料量來解決該問題。針對大部分為圖片資料的訓練時，它們提供了一種利用現有資料訓練深度學習演算法以建立標記資料的獨特方法。

NVIDIA Research一直致力於科技前沿的研發與探索，關於GAN也有許多的研究和成果：

GauGAN

GauGAN是用於生成逼真影象的AI演示工具，使任何人都能夠用生成對抗網路（GAN）創作出精美絕倫的風景。它以後印象派畫家保羅·高更的名字命名，由NVIDIA Research建立，可以透過NVIDIA AI Demos免費體驗。

https：//www。zhihu。com/video/1487477383736852481

最新的演示版本GauGAN2可以將任何文字和圖畫組合變成栩栩如生的影象。使用者只需輸入像“山前湖泊”這樣的短語，然後按下按鈕就能實時生成場景。如果將文字改為“雪山前的湖泊”或“山前森林”，AI模型會立即修改影象。

喜歡自主繪製場景的藝術家可以使用演示版中的智慧畫筆來修改文字自動生成的場景，或者在巨石、樹木或雲朵背景中重新繪畫。使用者可以點選過濾器（或上傳自定義影象）嘗試不同的照明效果或將特定的繪畫風格應用於創作。

GauGAN2的核心就是生成對抗網路（GAN）。這種深度學習模型包含一對神經網路：生成器和鑑別器。生成器建立合成影象。鑑別器經過數百萬真實景觀影象的訓練，為生成器網路提供逐畫素反饋，使合成影象更加逼真。

GANverse3D

NVIDIA研究院還有研發一種全新深度學習引擎，該引擎可以根據標準的2D影象來建立3D模型。由NVIDIA AI研究實驗室開發的GANverse3D應用將平面圖像放大成逼真的3D模型，可以在虛擬環境中視覺化和控制。這種效能可以幫助建築師、創作者、遊戲開發人員和設計師輕鬆地將新物件新增到他們的實體模型中，而不需要3D建模方面的專業知識，也不需要在渲染上花費大量預算。

例如，單張汽車照片可以轉換為3D模型，該模型可以在虛擬場景中行駛，並配有逼真的前燈、尾燈和轉向燈。

https：//www。zhihu。com/video/1487478599846027264

為了生成訓練資料集，研究人員利用生成性對抗網路 ——GAN合成影象，從多個角度描繪同一物體 — 就像攝影師繞著一輛停著的汽車走動，從不同的角度拍攝。這些多檢視影象被插入到逆圖形的渲染框架中，逆圖形是從2D影象推斷3D網格模型的過程。

一旦完成了多檢視影象訓練，GANverse3D只需要一個2D影象即可預測3D網格模型。該模型可以與3D神經渲染器一起使用，使開發人員能夠自定義物件和交換背景。

GAN重塑影片會議

Vid2Vid Cameo ，是用於影片會議的 NVIDIA Maxine SDK 背後的深度學習模型之一，它藉助生成式對抗網路 （GAN），僅用一張人物 2D 影象即可合成逼真的人臉說話影片。

要使用該模型，參與者需要在加入影片通話之前提交一張參照影象（真實照片或卡通頭像）。在會議期間，AI 模型將捕捉每個人的實時動作，並將其應用於之前上傳的靜態影象。

也就是說，上傳一張穿著正裝的照片之後，與會人員即使頭髮凌亂、穿著睡衣，也能在通話中以穿著得體工作服裝的形象出現，因為 AI 可以將使用者的面部動作對映到參照照片上。如果主體向左轉，則技術可以調整視角，以便參與者看上去是直接面對攝像頭的。

除了可以幫助與會者展現出色狀態外，這項 AI 技術還可將影片會議所需的頻寬降低 10 倍，從而避免抖動和延遲。

https：//www。zhihu。com/video/1487479298935857152

更多其他資訊，可以前往NVIDIA官方部落格瞭解：

NVIDIA 引領人工智慧計算 | NVIDIA