SRGAN訓練出來的模型，生成的圖片區域性模糊嚴重，請問該如何解決（除了繼續訓練）？

知影2022-11-21 15:13:37

1，首先，建議視覺化訓練的損失函式變化，包括重建損失（用於約束結構不變的，不清楚題主是使用了歐式距離損失還是感知損失）和生成對抗損失（gan loss）。這裡最擔心的就是生成器和鑑別器直接的生成對抗訓練崩潰了（鑑別器和生成器各自的 gan loss 曲線失去了規律的震盪）。如果發現崩潰了，就可以從 gan loss 函式入手，根據個人經驗，可以採用帶梯度罰項的 gan loss ，會穩定很多，比如wgan-gp loss，正樣本梯度懲罰的交叉熵損失（可以參見starGANv2，他使用的就是這個損失，文章只提到了一點，可以看原始碼）。

2，在排除 gan loss 的原因（可能性最大）後，可能是gan loss和重建損失的係數設定的不好，重建損失關注低頻結構，gan loss注重高頻細節。

3，排除上述兩點原因後，再看模型結構。生成器是否有降取樣，如果有降取樣建議不要使用池化，改用步長為2的卷積。生成器的標準化建議使用instance norm。在設計生成器時要考慮生成器的感受野，感受野太小效果也不好。當然，還有引數量，引數量是否足夠也是需要考慮的。鑑別器結構建議先嚐試只有卷積和啟用的結構，在合成影象正常之後再往裡新增norm層。

4，最後，也可能是資料的原因。資料量不夠？趕緊augment。另外高分辨標籤和低分辨影象一定要對齊，不然重建損失會有問題。

以上4點是按可能性來排的。題主提供的材料比較少很難分析出具體的問題，還有就是個人能力比較有限，只能幫到這了，希望題主能解決問題。lucky