ADAS攝像頭影象環視拼接演算法

ADAS攝像頭影象環視拼接演算法

輸入輸出介面

Input：

（1）4個攝像頭採集的影象影片解析度 （整型int）

（2）4個攝像頭採集的影象影片格式 （RGB，YUV，MP4等）

（3）攝像頭標定引數（中心位置（x，y）和5個畸變

係數（2徑向，2切向，1稜向），浮點型float）

（4）攝像頭初始化引數（攝像頭初始位置和三個座標方向

的旋轉角度，車輛寬度高度車速等等，浮點型float）

Output：

（1）影象融合和拼接的image/video的座標位置（浮點型float）

（2）影象融合和拼接的影象影片解析度（整型int）

（3）影象融合和拼接的影象影片格式 （RGB，YUV，MP4等）

（4）車輛周圍障礙物報警 （字元型char）

22.1

功能定義

1）計算影象融合和拼接的image/video的座標位置。

2）算出影象融合和拼接的影象影片解析度。

3）確定影象融合和拼接的影象影片格式。

4）檢測車輛周圍障礙物並報警。

22.2

技術路線方案

在360°全景檢視泊車輔助系統中，透過安裝在車輛前、後、左、右 4 個方位的廣角攝像頭採集車輛四周的影片影像，利用影象融合和拼接技術合成一幅車身周圍的全景檢視，最後在中控臺的螢幕上顯示，以擴大駕駛員視野。藉助360°全景檢視泊車輔助系統，駕駛員坐在車中即可直觀地看到車輛周圍是否存在障礙物以及障礙物的相對方位與距離，以便在狹窄擁堵的停車場從容操控車輛泊車入位或透過複雜的路面，可有效防止刮蹭、碰撞、陷落等事故的發生。同時，全景檢視也可以為自動駕駛系統中識別、檢測、跟蹤等演算法提供支援。

富士通（Fujitsu）開發的影片成像技術， 可實時實現車輛的完整360°環繞檢視。四個相機安裝在車輛前後左右周邊，車輛周圍環境的影片影象透過富士通的3D虛擬投影/視點轉換技術進行合成。先進的三維演算法可以比較流暢地結合四個獨立相機的影象，提供一個無縫和清晰的360°檢視。具體來說，四個攝像頭的影象被髮送到影片處理LSI，包括影片捕捉和3D功能，然後相機影象合成為單個實時3D影象並投影到三維碗形網格，生成虛擬3D環繞影片，可以任意轉換車輛周圍環境檢視視角。

圖1。 富士通環視方案流程圖

為了滿足影片拼接的實時性要求，同時考慮到攝像頭安裝的位置、角度以及不同攝像頭之間相互位置相對固定，在本專案中可以使用基於特定影象拼接與查表法相結合的多視點影片拼接方法。在初始化階段，首先採集預先放置於車輛前、後、左、右 4個方位的帶有棋盤格的標定影象，利用標定影象分別對4個攝像頭進行引數標定，求出並儲存每個攝像頭影象畸變矯正引數，對標定影象進行畸變矯正，消除攝像頭成像失真； 然後對畸變矯正後的標定影象進行射影變換，求出並儲存射影變換引數； 接著採集預先放置於車輛前、後、左、右4個方位的帶有豐富特徵點的特定影象，並透過查詢攝像頭影象畸變矯正引數進行畸變矯正，透過查詢射影變換引數將矯正後的特定影象變換成俯瞰圖； 最後對4個俯瞰圖提取 ORB（ Oriented FAST and Rotated BRIEF） 特徵並進行粗匹配，利用 RANSAC（ Random Sample Consensus，隨機抽樣一致） 演算法剔除誤匹配點，並擬合出單應性矩陣的初始值，再使用 Levenberg-Marquardt 非線性迭代最小逼近法進行求精，經影象配準、融合和拼接後，生成360°俯瞰全景檢視。在泊車輔助系統啟用期間，透過查詢已儲存的攝像頭影象畸變矯正引數、射影變換引數以及單應性矩陣引數，將4個攝像頭的影片影象進行拼接，生成虛擬的俯瞰全景檢視。

由於攝像頭內外引數校正準確性對影象投影效果影響大；需要結合攝像頭安裝具體情況進行演算法的調整；為滿足嵌入式系統實時性需求，需要不斷最佳化演算法；儘量進行流程簡化或者流程自動化。

圖2。 演算法流程

圖3。 攝像頭成像及其座標系

主要數學原理，世界座標系中某點

投影到影象平面上的畫素點（ u，v）。該過程要經過齊次座標轉換：

其中，s為任意的非零比例因子； αu=f/dx，f是攝像頭的焦距，dx代表x軸方向一個畫素的寬度

是影象在 u 軸上的尺度因子，或稱為u軸上的歸一化焦距；

其中dy代表y軸方向一個畫素的高度，αv是影象在v軸上的尺度因子，或稱為v軸上的歸一化焦距；

它們是攝像頭座標系相對於世界座標系的旋轉向量；

是攝像頭座標系相對於世界座標系的平移向量； M1 由

決定，只與攝像頭內部引數有關，稱為攝像頭內部引數矩陣； M2 由攝像頭相對於世界座標系的方位決定，稱為攝像頭外部引數矩陣； M 是一個3×4矩陣，稱作投影矩陣，用於計算從世界座標系到影象座標系的轉換。可見，若已知攝像頭的內、外引數，就能夠知道投影矩陣 M，對空間內任何一點，如果已知它的空間座標

就可以求出對應的畫素點座標（u，v） 。

張正友標定法，採用棋盤格平面靶標作為標定物，可以把世界座標系構造在 Zw = 0的平面上。

其中，

和

是徑向畸變係數。將式（3）化成矩陣形式為

（4）

以上是畸變矯正公式。

以上是射影變換。

以上是畸變矯正及射影變換所對應的座標畫素計算公式。

以上是影象拼接單應性矩陣求解公式。

以上是平均值法對拼接重疊區域進行融合。

以上是3-D ship模型視角轉換矩陣。

圖4。 alpha fusion

22.3

關鍵技術引數和效能指標

一種基於自適應特徵點配準的環視系統拼接效果評估和自動微調方法，其特徵在於：包括以下步驟：

步驟A、獲得拼接前影象，並擷取根據拼接引數算出的拍攝的相同位置的影象；

步驟B、採用自適應特徵點配准算法來獲得拼接前相同位置的影象的旋轉平移矩陣；

步驟C、將旋轉平移矩陣或者對其進行計算得到的角度資訊和位移資訊作為環視系統拼接效果的評估指標，並用此矩陣對拼接效果進行微調。