深度學習、訓練樣本庫、遙感雲平臺...遙感AI分類正在發生怎樣的變化？

作者：由超擎時空發表于攝影時間：2022-07-10

在上期的《遙感智慧之監督分類VS非監督分類》一文中，我們介紹了在遙感智慧分類中的兩大基礎分類模式，監督分類與非監督分類，但兩者的目標始終是一致的——都是在海量遙感影像中更快、更精準地獲取有效資訊。正式為了這個目標，更多深度學習方法也來到這個賽道；另一方面，遙感產業鏈也在發生變化，更高解析度、更多對地觀測資料獲取手段；更為豐富的地物模型庫、訓練樣本也在不斷積累。

這些接踵而來的變化，又為遙感智慧分類帶來怎樣的趨勢和挑戰？

新選手加入：

深度學習、物件影象分割

深度學習在計算機視覺領域的巨大成功，遙感智慧分析提供了重要機遇；機器學習創新，也為遙感影像分類帶來更多思路。近年來這些演算法被廣泛應用在遙感領域，在大範圍目標自動快速檢測、複雜場景精細分類、地表引數快速識別等方面展示了巨大優勢和發展潛力，不斷提升智慧影像分類效率與質量，為遙感大資料的智慧資訊提取帶來發展契機。

例如

基於物件的影象分割

（OBIA），就擺脫了監督與非監督分類的畫素歸類思維模式，將分類物件作為主要目標，讓分割成果更具有意義。因為無論是監督分類還是非監督分類，都是透過為每個畫素指定一個類別進而實現影像分類，但畫素之間是離散而獨立的，其大小、形狀都相同，沒有相鄰概念。

OBIA將高解析度影像分割成向量物件 | 開源地理空間基金會中文分會

OBIA根據幾何圖形、面積、顏色、形狀、紋理、相鄰等要素進行分類，將影象分割成向量物件。這樣的分割模式更接近於人類視覺工作方式，可以克服以畫素為目標分類的傳統影像模式帶來的一些問題，如“

椒鹽效應

”。

在基於畫素的精細空間解析度影象分類中，影象上常會出現像鹽和胡椒粉末散落的噪點，這是因為以畫素為目標的分類過於精細，實際上它們可能屬於同一種地物型別，例如河流、屋頂、農田等，本質上，這也是過度擬合的問題。OBIA的分類思路，就避免了這種情況出現，更適合應用於目前高解析度遙感影像的智慧分類中。

“椒鹽效應”常見於基於畫素的精細空間解析度影象分類：（a）加利福尼亞郊區土地覆蓋的無監督分類；（b）使用基於物件的分類器對同一區域進行分類。| Maggi Kelly

透過這種方式，不僅可以對影像目標區域區分和生成更有意義的向量物件，在土地覆蓋、溼地分類應用中，可實現更高的製圖精度；並且在圖源解析度更高、光譜型別更多樣化的情況下，如DEM， DSM、NIR，甚至Lidar資料，生成更高階的影象分類。

在深度學習方向上，一些研究人員針對遙感資料的特殊性，開始嘗試將自然影象語義分割網路模型遷移到遙感影像地物分類中來，探索將遙感的多波段輻射資訊、光譜資訊與空間紋理資訊融合，力求達到最優的遙感資訊深度挖掘和利用，由此，

語義分割

（Semantic segmentation）也參與到遙感影像分類中來。

語義分割的概念最早由Ohta等人於1978年提出，將其定義為：“為影象中每個畫素分配一個預先定義的表示其語義目標類別的標籤”，是將標籤或類別與圖片的每個畫素關聯的一種深度學習演算法，用來識別構成可區分類別的畫素集合。

語義分割的常用方法是建立SegNet，該網路基於卷積神經網路（CNN）架構。

卷積神經網路（CNN）的典型架構。在畫素級別上分類，而不是對整個影象分類，可追加一次CNN的逆向實現。上取樣過程的執行次數與下采樣過程相同，以確保最終影象的大小與輸入影象相同。最後使用一個畫素分類輸出層，將每個畫素對映到一個特定類。這就形成了一個編碼器-解碼器架構，從而實現語義分割。

CNN 在每一層執行影象相關的功能，然後使用池化層（綠色）對影象進行下采樣。對於網路的前半部分，此過程會重複多次。此圖形前半部分的輸出後面緊接著同等數量的反池化層（橙色）。

語義分割應用預遙感影像的不同在於，讓計算機根據影象的語義來進行分割，透過訓練神經網路讓機器自動識別道路、河流與建築物等，並對影象中每個畫素進行向量化標註，隨著訓練加深，預測準確率也不斷提升。

多譜段衛星影象的語義分割

作為計算機視覺與遙感空間影像的交叉領域，基於深度學習的視覺演算法會給遙感影像分類擴充套件新的應用場景和提升效率水平，這些新演算法和思路，與遙感影像本身的地理空間特徵、光譜波段分析結合，也在激發該領域新的縱深發展趨勢。

產業鏈發展：

時空高解析度對地觀測帶來“資料密集型科學發現”正規化

2007年，圖靈獎得主，著名的計算機科學家吉姆·格雷在“科學方法的一次革命”演講中提出了科學研究的第四類正規化：

資料密集型科學發現

，也就是“大資料”正規化，這是繼傳統的實驗正規化、理論正規化、模擬正規化之外，人類認知領域的一種全新方式，簡單來說，就是歸納，演繹，類比，大資料四種方式。

當前，遙感影像資料獲取手段不斷多源化，解析度也在不斷提升，已經達到亞米級，這都對遙感影像智慧分類意味著更多可能性——豐富空間特徵支援計算機視覺實現更多，例如提高地表覆蓋分類製圖精度；衛星星座對地觀測的重訪週期大大縮短，積累了大量的存量時空資料，增量變化影像也在不斷更新，都在推動進入

遙感大資料時代

，為遙感智慧分類、地物樣本的先驗知識積累，提供了訓練和認知的資料基礎。

我們知道，影像的每個像元都對應固定的地面座標、地物或部分地物，部分種類的地物總在相應的空間中存續或隨著時間發生變化，這讓分析者可以從時空維度去建立融合深度神經網路的智慧分類與資訊提取模式。

依靠深度神經網路來呈現不同型別的土地覆蓋中包含的上下文資訊，積累同一解譯物件在不同空間、時間維度下所展現出不同的特性資料樣本；並透過真偽標記和樣本選擇提高深度模型的可遷移性，真正實現從資料中學習一般概念的地物資料模型。

這僅是一個開始，現實世界複雜性，需要更多模型引數與學科知識參與進來，提升遙感影像分類的普適性與通用性。

訓練樣本：

遙感知識庫與行業樣本積累，遙感智慧廣泛應用的基礎

不同行業、不同場景對海量遙感影像分類量化需求是多樣性的，可能是對某一類綜合體進行分類量化，例如農田、道路等；也可能需要對細分類別，並對其不同狀態進行識別分類量化與預測評估，例如農田中的小麥分類繁多，並有不同的生長階段。現實世界的複雜性，使得基於監督學習方式透過深度學習方法得到的遙感智慧解譯模型的普適性和複用性低於預期。

但遙感影象本身就包含了豐富的資料屬性。充分利用資料屬性，融合地學中豐富的地表自然屬性、學科屬性與社會屬性，發展記錄目標物件或地類的樣本標記資料、影象元資料及其地理學屬性、背景和其他關聯大資料資訊平臺，構建面向物件的

遙感知識庫

—— 以單一地物或者地物組合體為關注物件為基礎，記錄其特徵性的存在背景和關聯資料，成為遙感智慧分類廣泛應用的另一大重點趨勢：不僅為深度神經網路提供基礎影象及對應的屬性類別、位置資訊，還提供了地物物件的物理、社會特徵和學科等輔助資訊。

在此驅動下，深入擴充套件基於遙感時空大資料平臺的開放標註與演算法融合的“資料密集認知正規化”，將標記影象型別與位置的樣本庫，擴充套件到包括遙感影象元資料資訊、樣本目標的影象屬性、物理屬性、地理學屬性、社會屬性等在內的知識樣本庫，是提升樣本普適性的重要途徑。

同時，我們在之前的《

遙感智慧之監督分類VS非監督分類

》中也提到，現階段構建人工智慧遙感解譯深度學習演算法模型對海量標註樣本的依賴，有限的標記樣本可能會降低演算法的訓練精度，特別在森林資源分類、大規模農業種植結構等應用場景，因此，對某一類個體區分成為建立更精細化模型的前提。

例如，農作物分類識別而言，地球上共有植物39萬餘種，其中被人類利用的栽培植物約2300種，農作物約90餘種，我國常見的農作物有60多種，同一類別農作物在不同地區甚至相同地區不同地理環境下所呈現的特徵各不相同，同一種類的農作物在不同生長階段表現出的光譜特徵也有細微差異，例如，油菜花在接近開花、半開花、全部盛開等各個生長階段，光譜特徵都不盡相同。對這些農作物進行深入的學科研究，藉助沉澱的植物種類的資料模型與訓練樣本，不僅能夠實現精準的遙感影像機器分類，更能進一步實現精準的農作物估產預測，在農業信貸、金融等領域都能實現廣泛應用。

基於遙感地物光譜特性的複雜種植結構農作物機器分類：該區域同時存在開花與未開花的油菜花地，模型可以很好地區分開，只提取出已開花的菜地區域 | 籮筐遙感

遙感時空平臺：海量機器學習影像平臺構建

無論是“資料密集型科學發現”的大資料AI認知正規化，還是遙感知識庫、專業地物模型庫的積累，都需要多源、海量遙感資料支援，能夠允許各地的科研者在同一時空環境下，基於地理座標對特定地物進行標記與訓練。

然而，在構建面對海量機器學習、訓練需求的超大規模時空雲平臺時，也面臨諸多挑戰，如多源時空資料融合、海量資料底層驅以及算力瓶頸等。

由於地表場景和觀測目標的複雜性，在單一資料來源無法滿足資訊提取要求時，常常透過多源資料融合來解決問題，如在解決遙感影象中山區陰影和水體混淆的問題中引入數字高程模型資料，所以，多源遙感時空資料的支援、管理、實時處理與融合，是關鍵環節。

另一方面，遙感智慧底層的資料驅動與算力問題。由於卷積神經網路在不同分塊影象（柵格影像）中感受到的視野差異，將導致分塊預測結果在接邊處存在差異，採用免切片的影像資料進行訓練，可有效提升分類精準度與效率，但這帶來的挑戰是，處理超大規模的遙感影象大幅增加了訓練和預測、結果輸出等多個環節的工程化操作。因此，如何在有限的硬體資源條件下保證工程化實施，也是平臺系統發展和生態化的一大重點。