鐳射雷達和相機感知融合簡介
前言
本文介紹鐳射雷達和相機融合的兩種方法：
前融合：融合原始資料（點雲和畫素/目標框）。
後融合：融合目標框。
1 前融合
前融合一般指融合原始資料，最容易、最普遍的方式是將點雲
投影
到影象。然後檢查點雲
是否屬於
影象中檢測的2D目標框。流程如下：
1。1 點雲投影
三步：
將3D鐳射雷達點轉換為
齊次座標
將點雲變換到影象座標系（LiDAR-Camera外參）
透視投影到影象平面 （相機內參）
1。2 影象目標檢測
一般使用YOLO系列演算法。可以參考：Introduction to YOLOv4： Research review
1。3 ROI匹配
ROI （Region Of Interest）匹配即融合目標邊界框內的資料。這一步的輸出：
對於每個2D邊界框，影象檢測提供
類別
。
對於每個LiDAR投影點，我們有準確的
距離
。
因此，融合目標語義類別和空間位置就完善了。這一步的重點是
如何融合目標邊界框內的投影點，作為目標位置
：求平均，中值，中心點，最近點？
另外，影象目標框往往比真實目標大一些
，目標邊界框內投影點雲可能不屬於真實目標
（比如可能屬於背景，或附近目標）。針對這個問題，採用
影象分割
，可以更準確地匹配投影點和畫素。
下圖箭頭處顯示了投影點在目標框內，但不屬於目標框對應的車輛，而是前方車輛的點雲。
2 後融合
後融合是融合各個感測器獨立的檢測結果，有兩種融合思路：
2D融合：影象2D檢測，點雲3D檢測投影到影象生成的2D檢測。如下圖：
3D融合：影象3D檢測，點雲3D檢測。流程如下：
下文詳細介紹下3D融合的思路。
2。1 點雲3D目標檢測
傳統方法：聚類，L-shape fitting等
深度學習方法：centerpoint等
2。2 影象3D目標檢測
單目3D目標檢測，需要知道投影引數（相機內參，標定外參），並使用深度學習。知道目標的真實大小和朝向也有助於得到目標的準確邊界框。
分享一篇單目3D檢測論文： 3D Bounding Box Estimation Using Deep Learning and Geometry
2。3 IOU匹配
IOU即Intersection Over Union， 描述兩個邊界框的重合程度。
2。3。1 空域上的IOU匹配
匹配
就是看影象3D邊界框和點雲3D邊界框是否
重合
（用IOU衡量），重合度高則是同一個目標。 3D Iou——Net （2020）中的示例影象：
因此，我們可以在
空域
上將不同感測器的檢測目標進行
關聯
。
這個過程在9 Types of Sensor Fusion Algorithms中，被定義為中級（middle-level）感測器融合。
中級感測器融合和高階感測器融合的區別是，高階感測器融合包括跟蹤。
而為了時間跟蹤，則需要時域上的
資料關聯
。
2。3。2 時域上的IOU匹配
目標跟蹤
一般用
卡爾曼濾波
和
匈牙利演算法
來關聯時域上的目標，從而跨幀跟蹤目標，甚至預測目標位置。
跟蹤3D邊界框位置時，一般
用IOU作為度量進行資料關聯
。當然也可以使用深度卷積特徵來確保目標一致。我們稱該過程為SORT （Simple Online Realtime Tracking）， 或Deep SORT，如果使用深度卷積特徵。
時域上IOU匹配
的原理與空域上類似：如果第一幀和第二幀的邊界框
重合
，則說明兩個目標是相同的。
既然我們可以在空域和時域上跟蹤目標，那麼也可以利用類似方法進行高階的感測器融合。
2。4 後融合總結
融合檢測目標是中級的融合，需要空域上的IOU匹配；融合跟蹤軌跡是高階的融合，需要時域上的IOU匹配（匹配度量），卡爾曼濾波（狀態估計），匈牙利演算法（資料關聯）。
