[論文總結] nnUnet

［論文總結］ nnUnet：Automated Design of Deep Learning Methods for Biomedical Image Segmentation

說在前面：

原文連結：

https：//

arxiv。org/abs/1904。0812

8

官方開源原始碼：

https：//

github。com/MIC-DKFZ/nnU

Net

預訓練的模型權重：

https：//

zenodo。org/record/37342

94

本文作於2020年11月11日。

1。 要解決的問題

語義分割將原始的生物醫學影象資料轉換為有意義的空間結構資訊，因此對於該領域的科學發現起著至關重要的作用。同時，語義分割是許多臨床應用的重要組成部分，包括

人工智慧在診斷支援系統、治療計劃支援、術中輔助或腫瘤生長監測中的應用

。對自動分割方法的高度興趣體現在蓬勃發展的研究領域，佔生物醫學領域國際影象分析競賽的

70％

。

儘管基於深度學習的分割方法最近取得了成功，但它們在終端使用者的特定影象分析問題上的適用性通常受到限制。

方法的特定任務設計和配置需要高水平的專業知識和經驗，而小的錯誤會導致效能大幅下降

。尤其是在3D生物醫學成像中，資料集屬性（如成像方式、影象大小、（各向異性）體素間距或類別比率）會發生巨大變化，流程設計可能很麻煩，因為構成較好配置的經驗可能無法轉化到手頭的資料集。設計和訓練神經網路涉及的眾多專家決策，從確切的網路體系結構到訓練時間表和資料增強或後處理方法，不一而足。每個子元件都由基本的超引數控制，例如學習率、批處理大小或類別抽樣。可用於訓練和推理的硬體給整體設定增加了一層複雜性。在超引數的這種高維空間中，對相互依賴的設計選擇進行演算法最佳化在技術上要求很高，並且會放大所需訓練案例的數量以及計算資源的數量級。結果，

終端使用者通常在方法設計過程中會經歷反覆的反覆試驗過程，而反覆試驗和錯誤過程主要是由他們的個人經驗決定的，只有很少的文獻記載和難以複製，不可避免地會引起次優的分割渠道和方法論上的發現到其他資料集

。

作者提到，有大量的研究論文提出了架構變化和擴充套件以提高效能，這些研究對於非專家而言是難以理解的，甚至對於專家而言也難以評估。大約有12000項研究引用了2015年有關生物醫學影象分割的U-Net架構，其中許多提出了擴充套件和進步。於是，作者提出了這樣的假設：

如果能設計合適的處理過程，基本的U-Net架構是很難被打敗的

。

於是作者提出了nnU-Net（“no new net”），該技術使成功的3D生物醫學影象分割可用於生物醫學研究應用程式。nnU-Net可以自動適應任意資料集，並由於以下兩個關鍵因素而實現了開箱即用的分割：

根據資料指紋（data fingerprint，代表資料集的關鍵屬性）和管道指紋（pipeline fingerprint，代表分割演算法的關鍵設計選擇）來制定流水線最佳化問題；

透過將領域知識濃縮到一組啟發式規則中，使它們的關係明確化，該規則將在考慮相關聯的硬體約束的情況下從相應的資料指紋穩健地生成高質量的管道指紋。

nnUnet可以無需人工介入，充分利用資料集的特點訓練基本的U-Net模型，從而達到超越各種魔改U-Net架構的能力。

2。 方法和效果

nnUnet自動適應任意新的資料集。

上圖a代表了現在根據專家知識和實驗修正的模型設計思路，針對於任務。

b代表nnUnet的設計思路，定義了dataset fingerprint和pipeline fingerprint。Dataset fingerprint是資料集的關鍵表徵，比如影象大小、體素空間資訊和類別比例；Pipeline fingerprint被分為三組：blueprint、inferred和empirical引數。Blueprint代表基本的架構設計，比如U-Net類的模板、損失函式、訓練策略和資料增強；Inferd代表對新資料集的必要適應進行編碼，幷包括對確切的網路拓撲、補丁大小、批次大小和影象預處理的修改。資料指紋和inferd之間的關係是透過執行一組啟發式規則建立的，當應用於看不見的資料集時，無需進行昂貴的重新最佳化。透過對訓練案例進行交叉驗證，可以自動確定empirical引數。預設情況下，nnU-Net會生成三種不同的U-Net配置：一個2D U-Net、一個以全影象解析度執行的3D U-Net和一個3D U-Net級聯。交叉驗證後，nnU-Net會根據經驗選擇效能最佳的配置或整體。

nnUnet可以處理各種結構和影象的屬性

。

作者將nnU-Net應用於10種國際生物醫學影象分割挑戰，包括19個不同的資料集和49個在各種器官，器官亞結構、腫瘤、病變和磁共振成像（MRI），計算機斷層掃描（CT）以及電子顯微鏡（EM）影象中的細胞結構。

nnUnet在大量的任務上超過了專業為某個任務設計的模型

。

下圖概述了nnU-Net和競爭的挑戰團隊在所有49個分割任務中獲得的定量結果。儘管具有通用性質，但是nnU-Net優於大多數現有的語義分割解決方案，即使後者針對各個任務進行了專門最佳化。總體而言，

nnU-Net在49個目標結構中的29箇中達到了SOTA，其他方面的表現也與頂級排行榜相同或接近

。

管道配置中的細節對效能的影響比體系結構變化更大

。

為了強調與特定任務的設計和配置相比，選擇先前在U-Net上提出的眾多體系結構擴充套件和改進中的一種方法的重要性，作者透過分析，將結果納入當前研究的背景MICCAI協會主辦的最近的2019年腎臟和腎臟腫瘤分割（KiTS）挑戰賽中的演算法。KiTS挑戰賽共有100多個競爭對手，是MICCAI 2019上最大的挑戰。對KiTS排行榜的分析揭示了基於深度學習的細分方法設計當前現狀的一些見解：首先，前15種方法是2016年（3D）U-Net架構或改進，證實了其對生物醫學影象分割領域的影響。其次，該圖表明使用相同型別的網路做出的貢獻會導致績效分佈在整個排行榜上。第三，當仔細觀察前15名時，沒有一種常用的體系結構修改（例如，殘餘連線，密集連線，注意力機制或膨脹卷積）不能代表在KiTS任務上取得良好效能的必要條件。透過這個例子，這表明，許多先前引入的演算法修改通常可能無法優於正確調整的baseline方法。

上圖b透過分析演算法來分析超引數調整的重要性，該演算法使用與贏得挑戰的貢獻相同的體系結構變體，即帶有殘差連線的3D U-Net。儘管其中一種方法贏得了挑戰，但基於相同原理的其他貢獻涵蓋了評估分數和排名的整個範圍。從各個管道指紋中選擇了關鍵配置引數，並顯示了所有未級聯的採茶U-Net的關鍵配置引數，說明了每個團隊在管道設計過程中做出的相互依賴的設計選擇。參賽者提交的急劇變化的配置表明高維最佳化問題的潛在複雜性，這是透過設計用於生物醫學3D影象分割的深度學習方法隱式提出的。

不同的資料集要求不同的管道配置

。

上圖是19個數據集的data fingerprint。

多工可實現可靠的設計決策

，可用於跨多個數據集對方法的新修改或擴充套件進行基準測試，而無需手動為每個資料集重新配置整個管道。

3。 展望

綜上所述，nnU-Net在各種語義分割挑戰中樹立了新的技術水平，並顯示了強大的概括性，而無需任何人工干預，例如超引數的調整。正如Litjens等人所指出的，並在此得到定量證實，超引數最佳化是生物醫學影象分割領域過去和當前研究的主要困難。nnU-Net使原本通常不繫統且繁瑣的過程自動化，從而可以減輕這種負擔。作者將nnU-Net用作開箱即用的工具，用於進行最新的分割，無需進行人工操作即可大規模評估新創意的框架，以及用作將創意與無需針對特定任務進行最佳化。