關於三維重建過程框架的研究

研究生第一個學期已經結束了，目前的研究方向是基於無人機平臺的三維重建，幾個月的摸索下來，基本上對三維重建的基本過程有了大致的瞭解，有啥技術有啥難點也都心裡有數。說實話，研究生的研究過程確實很辛苦，需要自己摸索，找線索，將網上大量的資料和資訊進行提煉，找到自己想要的東西，反反覆覆，螺旋式上升。進入一個全新的領域真的是要付出許多時間和精力才能逐漸的找到正確的方向，我寫這篇文章的目的其實可以看我上一篇文章，主要是分享這個歷程，讓更多剛進入這個領域的同學能夠找到一點方向，能夠一起多交流。這篇文章會一直更新下去，記錄所學所想，有圖有程式碼，一直到研究生畢業，也算是記錄下這個艱辛卻又充實的過程吧。本人水平有限，望多批評指正！

一、三維重建整個過程的框架

導師常常對我說，研究某個東西要參與到其全過程之中，我們研究一個全新的領域，也應該首先對其有一個宏觀上的認識，知道其中的大模組，在總體上對其有一些感性認識。這裡大家可以參考《基於多幅影象的三維重建理論及演算法研究》（戴嘉境）的論文框架，同時我根據自己的理解，進了一些調整與修改，注意以下內容均為概要，詳細的內容將在第二章開始介紹，主要如下：

（一）影象預處理

由於我是基於無人機的三維重建，所獲得的航拍影象往往有不少的問題，如畸變、噪音等，因此影象預處理階段主要是對影象進行篩選、去噪、校正的一個過程。這裡需要提到的是基於傾斜影象的三維重建技術，主要是透過一個五軸的立體相機來進行航拍，再利用所得到的傾斜影象來進行三維重建，一般都用於建築群、城市等戶外的場景，而這也是我在後續需要繼續研究的內容。

（二）稀疏點雲重建

在三維重建領域，基於點雲資料的重建方式是相當成熟的，本文也是基於此技術進行研究。透過下圖（實物為筆芯盒）就可以對點雲有一個大致感性認識了，即將三維實體使用一系列的三維空間點來表示，現在對於這種點雲資料的獲取，主要透過鐳射掃描以及透過相關演算法對影象進行分析得到，我所研究的是後者。 所謂稀疏點雲，其來源即為特徵點，而特徵點即為影象中一些特徵明顯、便於檢測、匹配的點，如建築物的角、邊緣點等。特徵點的檢測是整個三維重建過程中最為基礎、根本的一步，其檢測效果的好壞對最後的結果有很大的影響，現在常用的檢測演算法有SIFT、SURF等。

放大後可以看得更加明顯：

在檢測出每張圖片所有的特徵點後，就需要對對應的特徵點進行匹配，在這個匹配的過程中，需要完成相機的標定，完成這一步的意義在於在後面能夠透過標定的結果，將影象中二維資料點反推出其三維位置，由此就能將所有的二維特徵點反推至三維空間，形成稀疏點雲。這一步所使用的技術主要為SFM（Structure from motion）。

（三）稠密點雲重建

首先看下圖，體會一下稀疏點雲和稠密點雲之間的區別：

稀疏點雲：

同一物體的稠密點雲：

稠密點雲的生成主要使用到了PMVS（Patch-Based Multi-View Stereo Software ，基於面片的三維立體重建演算法）這一技術。形成稠密點雲後，實物的輪廓、特徵等都有了明顯的改善，基本可識別。

（四）表面（曲面）重建（Surface Reconstruction）

稠密點雲雖然能夠更加形象地還原出實物面貌，但是其仍只是大量孤立的三維空間的集合而已，要想實現真正的實物三維化，那就必須要對其進行表面重建，這裡首先需要去了解Delaunay三角化的相關概念和原理，然後學習Power Crust演算法，這個演算法較為複雜，需要多花點時間去學習。

（五）紋理對映

在對點雲資料進行表面重建之後，實物的輪廓、形狀已經清晰可見，但是還需最後一步，即紋理對映，紋理對映的作用是使得重建的3D模型更接近實物，具有實物的顏色、紋理以及細節特點。

以上五步即為三維重建的主要過程，只是一些大概的思路，能讓大家知道全過程的框架即可，且我提到了我所需要研究的技術，其他相關技術並未提及，一是研究不夠，二是不想讓新手看得雲裡霧裡，大家可以學習的時候自行選擇其他的相關技術。本文後續即將對以上五步進行詳細的闡述，一邊學習，一邊反思！望批評指正！

第二章 影象預處理

《影象的獲取與預處理研究》

第三章 稀疏點雲重建

《稀疏點雲的重建研究》

——————待更新，2017 2 2