3D例項分割

其它機器學習、深度學習演算法的全面系統講解可以閱讀

《機器學習-原理、演算法與應用》

，清華大學出版社，

雷明著

，由SIGAI公眾號作者傾力打造。

書的購買連結

書的勘誤，最佳化，原始碼資源

本文PDF全文連結：

3D例項分割

本文作者：嶽麓青年

3D例項分割

3D語義分割區分場景中各類物件，3D例項分割區分場景中各類別中的各種個體。近兩年來，3D例項分割的關注度越來越高，相應的方法也被接連提出。眾多方法的思想主要分為兩類：基於候選區域的例項分割（proposal-based）和免候選區域的例項分割（proposal-free）。其中，proposal-based先獲取場景中的感興趣的候選區域，如：3D bounding boxes等，並在候選區域內對3D資料進一步預測得到例項標籤。考慮到proposal-based 例項分割通常需要2個過程（先得到候選區域，再例項分割），分割過程繁瑣，則proposal-free則摒棄了基於候選區域的方式，直接透過資料特徵或者結合語義分割結果，得到例項分割結果。下面根據這兩個方向總結現有的例項分割方法。

（一） proposal-based

[1] GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud _ Li Yi

本文思路：先透過GSPN得到目標候選區域（object proposal），在利用R-PointNet 細化proposal得到例項分割結果。

本文創新點：GSP&R-PointNet

介紹：一種得到候選區域的辦法就是簡單估計物體的近似幾何形狀，比如3D bounding boxes，但是bounding boxes不太需要對底層物件的幾何結構有很強的的理解，這可能導致boxes中包含了多物體或者單個物體的部分，本文采用analysis-by-synthesis策略，從含有噪音的場景中重建出外形得到 object proposals。另外，R-PointNet很像2D影象領域的Mask-RCNN，包含了候選區域提取和候選區域分類， R-PointNet能直接處理點雲資料並給予目標候選區域得到例項標籤。

[2] SGPN: Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation _ Weiyue Wang

本文思路：透過計算點雲的相似矩陣（similarity matrix）和對應的置信值（confidence map）得到候選區域（group proposals），並結合語義分割結果得到例項標籤

創新點：新的候選區域方法（similarity matrix + confidence map）

介紹：本網路利用PointNet/PointNet++來提取點雲的特徵，然後在這些點雲特徵上操作分類，後端有三個模組：similarity matrix， confidence map 和sematic map，三者的作用不用。其中，similarity matrix 的作用是計算group proposals 直接獲取精確的例項分割結果，confidence map即置信區間，加入置信值，起到最佳化的作用；semantic map 的作用是充當逐點分類器的作用。

[3] 3D-SIS: 3D Semantic Instance Segmentation of RGB-D Scans _ Ji Hou

本文思路：先目標檢測得到proposal，再在propoasl中mask prediction得到例項分割結果

創新點：結合了2D和3D資料的特徵，框架新穎。

介紹：本文思想比較簡單。透過神經網路學習RGB和點雲特徵（這裡的點雲是透過RGBD中的深度資訊恢復得到，並不是雷達點雲），將透過2D卷積網路提取得到2D特徵，反投影到對應的3D場景網格上，2D和3D特徵的融合能夠很大程度上提高proposal 獲取的精度。在proposal中進一步預測得到例項標籤。

[4] Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds _ Bo Yang

本文思路：先獲bounding box，再mask prediction

創新點：計算效率高

介紹： 本文提出了3D-BoNet網路，遵循了逐點的多層感知機的簡單基本原理，該網路對所有例項個體進行3D bounding box的迴歸， 同時對每個例項個體的點雲進行逐點mask預測。本網路包括兩個並行的網路，1）邊界框迴歸和2）點雲mask預測。亮點就是計算效率高，不需要任何的後處理過程。（這個論文思想就是站在巨人肩膀上，利用現有網路得到全域性和區域性特徵，後續的的proposal和prediction就很簡單了）

（二） proposal-free

[1] 3D Instance Segmentation via Multi-task Metric Learning_Jean Lahoud

本文思路：直接獲得資料的特徵，直接例項分割

創新點：一種可獲取資料的兩種主要特徵的演算法

介紹： 不像傳統的例項分割方法的思想：用語義標籤提升例項標籤。本文的技術透過聚類方法專注於例項標籤。本網路將語義資訊作為區域性線索從中獲得便利，另外將3D維度資訊和3D聯絡納入其中。本文的亮點在於提出了一種演算法，該演算法可以直接處理3D網格並學習得到兩類主要的特徵：針對每一個例項物件的獨有的特徵描述；指向例項物件中心的方向。（基於SSCNet這個網路框架改進的，大家可以重點關注一下這個網路，在ScanNet資料集中，SSCNet網路的語義分割結果評比第二）

[2] Associatively Segmenting Instances and Semantics in Point Clouds_xinlong wang

本文思路：透過例項分割和語義分割相互提升分割精度

創新點：ASIS

介紹： 實際情況下，例項分割和語義分割的目的是不同的，前者在同一類中精確區分不同的個體，後者是將它們賦予同一個標籤。 然而，兩種任務之間是可以相互合作共贏的，語義分割將點雲按不同類別區分，這僅僅是例項分割的一個目標（不同類別的點雲一定屬於不同個體的）。例項分割對同一例項個體賦予同一標籤，這與語義分割是保持一致的（同一個體的點雲一定屬於同一類別）。本文利用這層關係實現兩種任務的共贏。並設計了ASIS模組，實現精度的相互提升。

[3] JSIS3D: Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields_Quang Hieu Pham

本文思路：透過網路獲取語義標籤和例項標籤，通過後續最佳化融合兩種標籤，達到共贏（和上文的不同在於，一個在前端融合，一個在後端融合）

創新點：MT-PNet+MV-CRF

介紹： 本文提出了一種多工逐點處理的網路，同時實現兩種任務：預測點雲的語義類別；將點雲轉換為高維向量，致使相同例項的點雲有著近似的表達。另外，本文提出了多值條件隨機場去協調語義和例項標籤。（語義分割和例項分割，這兩個問題通常被單獨處理，例項分割是語義分割的後續處理步驟，然而，兩者之間是相互作用的，對於例項分割，例項的外形和容貌特徵提取有助於區分物體種類，另一方面，不同類別的點雲是不可能屬於同一個例項的。這篇文章和上面有一篇論文很像。）

[4] MASC: Multi-scale affinity with Sparse Convolution for 3D Instance Segmentation Technical Report_Chen Liu

本文思路：基於語義分割結果，實現例項分割

創新點：多尺度的資料的關聯性預測

介紹： 文章利用U-Net和submanifold sparse convolutions卷積處理整個室內場景點雲，對每個點類別預測（語義分割）。另外，對不同尺度下相鄰體素之間的關聯性預測，結合語義標籤，利用簡單而有效的聚類演算法得到點雲的例項標籤。

[5]3d graph embedding learning with a structure-aware loss function for point cloud semantic instance segmentation_Zhidong Liang

本文思路：語義分割和例項分割結合

創新點：新穎的損失函式

介紹：利用SSCNet得到語義標籤和例項標籤，並在該網路後增加GCN網路，對例項分割結果細化。

[6]3D Bird’s-Eye-View Instance Segmentation_Cathrin Elich

本文思路：語義分割和例項分割結合

創新點：2D和3D結合

介紹： 本文的有點在於展現了2D和3D結合的網路框架用於聯合語義和例項分割；同時展現瞭如何實現規則的2D特徵和不規則的3D點雲特徵的融合。

注：補充網路（來源於ScanNet）

Occipital-SCS：

DPC-instance

Seg-cluster

MaskRCNN proj。

參考文獻

Proposal-based

［1］ Yi L ， Zhao W ， Wang H ， et al。 GSPN： Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud［J］。 2018。

［2］ Wang W ， Yu R ， Huang Q ， et al。 SGPN： Similarity Group Proposal Network for 3D Point Cloud Instance Segmentation［J］。 2017。

［3］ Hou J ， Dai A ， Nießner， Matthias。 3D-SIS： 3D Semantic Instance Segmentation of RGB-D Scans［J］。 2018。

［4］ Yang B ， Wang J ， Clark R ， et al。 Learning Object Bounding Boxes for 3D Instance Segmentation on Point Clouds［J］。 2019。

Proposal-free

［1］ Lahoud J ， Ghanem B ， Pollefeys M ， R。Oswald M。 3D Instance Segmentation via Multi-task Metric Learning［J］。 2019。

［2］ Wang X ， Liu S ， Shen X ， et al。 Associatively Segmenting Instances and Semantics in Point Clouds［J］。 2019。

［3］ Pham Q H ， Nguyen D T ， Hua B S ， et al。 JSIS3D： Joint Semantic-Instance Segmentation of 3D Point Clouds with Multi-Task Pointwise Networks and Multi-Value Conditional Random Fields［J］。 2019。

［4］ Liu C ， Furukawa Y 。 MASC： Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation［J］。 2019。

［5］ Liang Z ， Yang M ， Wang C 。 3D Graph Embedding Learning with a Structure-aware Loss Function for Point Cloud Semantic Instance Segmentation［J］。 2019。

［6］ Elich C ， Engelmann F ， Kontogianni T ， Leibe B。 3D-BEVIS： Bird‘s-Eye-View Instance Segmentation［J］。 2019