IHS遙感影象融合演算法綜述

作者：由雲嶠發表于攝影時間：2022-01-27

一、多光譜影象MS和全色影象PAN

大部分衛星提供的遙感影象分為兩類，一類是

多光譜影象，另一類是

全色影象。

有四個通道，分別為

$R, \ G,\ B,\ NIR$

，即紅、綠、藍、近紅外。

多光譜影象和普通的

影象是一樣的，只不過多了一個近紅外的通道。

只有一個全色通道，其中全色是指全部可見光波段

$0.38\sim0.76\mu m$

，全色影象為這一波段範圍的混合影象。因為

只有一個通道，所以為灰度圖片，但

具有較高的空間解析度，其解析度在長和寬上一般是

的4倍，共16倍。一個具體的例子為：多光譜影象 4@800x800，全色影象 1@3200x3200。

由於

具有較高的頻譜解析度（共四個通道），

具有較高的空間解析度（尺寸為16倍），所以我們嘗試融合

和

，得到頻譜解析度、空間解析度均較高的融合影象，一般稱這種過程為

銳化(Pan-sharpening)

，為了直觀，我們下面均將這種過程稱為

融合。

近年來，許多優秀的融合演算法被提出。它們大致可以分為四類：分量替換（CS）［包括IHS變換，GS，主成分分析PCA］，多解析度分析（MRA），變數運算（VO）以及深度學習（DL）。本文主要對分量替換中的IHS變換作出綜合敘述。

二、IHS色彩空間與RGB色彩空間

是我們最常見的一種色彩空間，其是Red-Green-Blue的縮寫，意即RGB有

紅-綠-藍

三個通道。

也是一種色彩空間，是Intensity-Hue-Saturation的縮寫，意即IHS有

強度-色調-飽和度

三個通道。

色彩空間轉換為

色彩空間稱為

正變換，反之則稱為

反變換。

正變換：

$\begin{bmatrix} I \\ v_1 \\ v_2 \end{bmatrix} = \begin{bmatrix} 1/3 & 1/3 & 1/3\\ -\sqrt2/6 & -\sqrt2/6 & 2\sqrt2/6\\ 1/\sqrt2 & -1/\sqrt2 & 0 \end{bmatrix} \begin{bmatrix} R \\ G \\ B \end{bmatrix} = T \begin{bmatrix} R \\ G \\ B \end{bmatrix} \\$

反變換：

$\begin{bmatrix} R \\ G \\ B \end{bmatrix} = \begin{bmatrix} 1 & -1/\sqrt2\ &\ 1/\sqrt2 \ \\ 1 & -1/\sqrt2\ &\ -1/\sqrt2 \ \\ 1 & \sqrt2\ &\ 0 \ \end{bmatrix} \begin{bmatrix} I \\ v_1 \\ v_2 \end{bmatrix} = T^{-1} \begin{bmatrix} I \\ v_1 \\ v_2 \end{bmatrix} \\$

其中，

為強度分量，

為中間變數，色調分量

和飽和度分量

由下式得到：

$\begin{aligned} &H=arctan(v_2/v_1) \\ &S\ = \sqrt{v_1^2+v_2^2} \end{aligned} \\$

在影象融合中，一般是對

進行

變換，但

變換隻能對

三通道的影象進行，而

有

四通道。如何解決這個問題將在後文具體闡述，我們先暫且認為

只有

三個通道，作為第三小節的基本前提。

三、融合的基本思想

對

進行

正變換之後，我們認為強度分量

剔除了影象的顏色資訊，只包含影象的空間資訊。於是我們大膽地假設

的強度分量

和

具有類似的空間結構，直接用

替換強度分量

，再進行

反變換，得到最終的融合影象。

具體的流程如下：

① 將

上池化，提高影象尺寸至與

一致。之後通常也會進行直方圖匹配。

② 對

作

正變換。

$\begin{bmatrix} I \\ v_1 \\ v_2 \end{bmatrix} = T \begin{bmatrix} R \\ G \\ B \end{bmatrix} \\$

③ 用

替換強度分量

$\begin{bmatrix} I \\ v_1 \\ v_2 \end{bmatrix} \longrightarrow \begin{bmatrix} PAN\\ v_1 \\ v_2 \end{bmatrix} \\$

④ 對替換後的三分量作

反變換

$\begin{bmatrix} R$

四、FIHS

Te-Ming Tu等人於2004發表的《A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery》對基礎的IHS變換在銳化上的應用作出了開創性的改進，拓展到了

通道，即任意通道。其數學原理非常簡單，只是對第三小節的過程作了些許改寫。

我們將③④步歸併，有：

$\begin{bmatrix} R$

我們把

$T^{-1}$

展開，有：

$T^{-1} \begin{bmatrix} I+\delta\\ v_1 \\ v_2 \end{bmatrix} = \begin{bmatrix} 1 & -1/\sqrt2\ &\ 1/\sqrt2 \ \\ 1 & -1/\sqrt2\ &\ -1/\sqrt2 \ \\ 1 & \sqrt2\ &\ 0 \ \end{bmatrix} \begin{bmatrix} I+\delta\\ v_1 \\ v_2 \end{bmatrix} = \begin{bmatrix} I+\delta + \alpha\\ I+\delta + \beta \\ I+\delta + \gamma \end{bmatrix} = \begin{bmatrix} R$

在沒有用

替換強度分量

時，我們也將公式展開：

$T^{-1} \begin{bmatrix} I\\ v_1 \\ v_2 \end{bmatrix} = \begin{bmatrix} 1 & -1/\sqrt2\ &\ 1/\sqrt2 \ \\ 1 & -1/\sqrt2\ &\ -1/\sqrt2 \ \\ 1 & \sqrt2\ &\ 0 \ \end{bmatrix} \begin{bmatrix} I\\ v_1 \\ v_2 \end{bmatrix} = \begin{bmatrix} I+ \alpha\\ I + \beta \\ I + \gamma \end{bmatrix} = \begin{bmatrix} R\\ G \\B \end{bmatrix}$

對比兩式得到，做完矩陣乘法後兩式的

$\alpha,\beta,\gamma$

均相同，於是可以得到：

$\begin{bmatrix} R$

上式即為融合影象與原始影象之間的關係，這個式子可以很方便地拓展到

通道：

$M_i^f = M_i + \delta = M_i + (PAN-I) \\$

其中

表示

的第

個通道。

這樣我們就解開了之前的疑惑，對於四通道的

，有：

$\begin{bmatrix} R$

我們發現

融合方法，只用到了強度分量

，而與

無關。而事實上，強度分量

是

四個通道的平均值，所以我們不再需要變換矩陣

，也不用再做正變換反變換，直接用上式求出

$\delta = PAN-I$

後即可完成影象融合。

五、AIHS

根據第三小節和第四小節的思想，我們可以很順利地完成融合，計算效率很快，融合結果的空間解析度好但光譜失真嚴重，部分原因是強度分量

是

四個通道的平均值，與

圖差異過大。

$I = \frac14 \sum_{i=1}^{4}M_i \neq PAN \\$

Sheida Rahmani等人在2010年發表的《An Adaptive IHS Pan-Sharpening Method》中基於

儘可能逼近強度分量

可減少光譜失真的假設，欲令：

$I = \sum_{i=1}^{4} \alpha_iM_i \approx PAN \\$

其中

$\alpha_i$

為自適應引數，透過約束方程求解：

$\mathop{\arg\min}\limits_{\alpha} G(\alpha) = \sum_i (\alpha_iM_i-PAN)^2+\gamma \sum_i(max(0,-\alpha_i))^2 \\$

在該文獻中，還引入了邊沿檢測運算元

來提取

的邊緣資訊，以便更好地融合：

$W_p = exp(-\frac\lambda {|\nabla P|^4+\epsilon})\\$

其中

$\lambda = 10^{-9},\ \ \epsilon=10^{-10}$

。

最後利用得到的邊沿檢測運算元完成影象融合：

$M_i^f = M_i + W_p(PAN-I)\\$

下面放出原始影象融合式作對比：

$M_i^f = M_i + (PAN-I) \\$

可見邊沿檢測運算元

是對

$\delta = PAN-I$

的平滑處理，在一定程度上減少了光譜失真。

六、IAIHS

在第五小節的AIHS方法中，邊沿檢測運算元

僅僅考慮了

的邊緣資訊，而沒有考慮

的邊緣資訊。在2014年發表的《An Improved Adaptive Intensity–Hue–Saturation Method for the Fusion of Remote Sensing Images》中，引入基於

的邊緣檢測運算元

$W_{M_i}$

：

$W_{M_i} = exp(-\frac\lambda {|\nabla M_i|^4+\epsilon}) \\$

其中

代表第

個通道。

$W_{M_i}$

與上文提到的基於

的邊沿檢測運算元

互相對稱：

$W_P = exp(-\frac\lambda {|\nabla P|^4+\epsilon})\\$

透過權衡

和

$W_{m_i}$

，得到一個加權的邊緣檢測運算元

：

$W_i = \frac {M_i} {(1/n)\sum_{i=1}^nM_i} (\beta W_{M_i}+(1-\beta)W_P)\\$

。

其中

$\beta$

是超引數，需要手動調參。

最後利用得到的全新邊緣檢測運算元

完成融合：

$M_i^f = M_i + W_i(PAN-I)\\$

七、IAIHS with

$\alpha_i$

在2015年發表的《An improved adaptive IHS method for image fusion》中，在IAIHS的基礎上更進一步，提出了全新的邊緣檢測運算元

：

$W_i(t) = \frac {t-1} t (\alpha_iW_{M_i}+(1-\alpha_i)W_P)\\$

相比於IAIHS，運算元固定的超引數

$\beta$

換成了

$\alpha_i$

，即上文最佳化目標函式

$PAN \approx \frac14 \sum_{i=1}^{4} \alpha_iM_i$

中的

$\alpha_i$

，接又把前面隨著通道數

而固定的

$\frac {M_i} {(1/n)\sum_{i=1}^nM_i}$

換成了一個可以隨著通道數

變化的的衰減因子

$\frac {t-1} t$

（不同

可以取不同的

）。

最後利用得到的邊緣檢測運算元

完成融合：

$M_i^f = M_i + W_i(t)(PAN-I)\\$

八、AWIHS

以往發表的文獻中，都僅僅致力於

的資訊融合到

中，得到一個融合影象。而在2021年發表的《A Novel Adaptive Hybrid Fusion Network for Multiresolution Remote Sensing Images Classification》中，提出了

和

雙融合演算法，得到彼此加強的兩個融合影象。

① 在

資訊融合到

的支路中，邊緣檢測運算元

為：

$W_i = \frac {\alpha_i} {\sum_{i=1}^n\alpha_i} (\alpha_i W_{M_i}+(1-\alpha_i)W_P)\\$

此式無任何超引數，均為自適應引數，在一定程度上進一步減少了光譜失真。

最後利用得到的邊緣檢測運算元

完成融合：

$M_i^f = M_i + W_i(PAN-I)\\$

② 在

資訊融合到

的支路中：

$PAN^f = PAN + \sum_{i=1}^n\frac {\alpha_i} {\sum_{i=1}^n\alpha_i} (M_i-\alpha_iM_i)\\$

當

$\alpha_i = \frac 1 4$

時，上式就會退化成下式：

$\begin{aligned} PAN^f &= PAN + \sum_{i=1}^n\frac {\alpha_i} {\sum_{i=1}^n\alpha_i} (M_i-\alpha_iM_i)\\ &=PAN + \frac {1} {4}\sum_{i=1}^n (M_i-\alpha_iM_i)\\ &=PAN + \frac {1} {4}(\ \sum_{i=1}^nM_i-\sum_{i=1}^n\alpha_iM_i\ )\\ &=PAN + \frac {1} {4}(\ \sum_{i=1}^nM_i-I\ )\\ &=PAN + \frac {1} {4}\delta$

此公式以另一種形式對稱地重現了

$\delta = PAN-I$

這個因子，其中

$\frac14$

也可以類比作邊緣檢測運算元。

另，頭圖即為AWHIS的流程圖，不過本文為了統一符號，將圖中的

$g_{MS}$

替換成了

，

$g_{PAN}$

在上面的特殊情況下為

$\frac14$

。

九、參考文獻

［1］ IHS遙感影象融合演算法及其相關的演算法_Chaolei3的部落格-CSDN部落格

［2］王萬同，李銳。基於IHS的高解析度遙感影像自適應融合演算法［J］。計算機工程與應用， 2010， 46（31）： 22-24。

［3］ Te-Ming Tu， Shun-Chi Su， Hsuen-Chyun Shyu， Ping S。 Huang， A new look at IHS-like image fusion methods， Information Fusion， Volume 2， Issue 3， 2001。

［4］ Te-Ming Tu， P。 S。 Huang， Chung-Ling Hung and Chien-Ping Chang， “A fast intensity-hue-saturation fusion technique with spectral adjustment for IKONOS imagery，” in IEEE Geoscience and Remote Sensing Letters， vol。 1， no。 4， pp。 309-312， Oct。 2004， doi： 10。1109/LGRS。2004。834804。

［5］ S。 Rahmani， M。 Strait， D。 Merkurjev， M。 Moeller and T。 Wittman， “An Adaptive IHS Pan-Sharpening Method，” in IEEE Geoscience and Remote Sensing Letters， vol。 7， no。 4， pp。 746-750， Oct。 2010， doi： 10。1109/LGRS。2010。2046715。

［6］ Y。 Leung， J。 Liu and J。 Zhang， “An Improved Adaptive Intensity–Hue–Saturation Method for the Fusion of Remote Sensing Images，” in IEEE Geoscience and Remote Sensing Letters， vol。 11， no。 5， pp。 985-989， May 2014， doi： 10。1109/LGRS。2013。2284282。

［7］ Ting Wang “An improved adaptive IHS method for image fusion”， Proc。 SPIE 9817， Seventh International Conference on Graphic and Image Processing （ICGIP 2015）， 98170D （9 December 2015）。

［8］ W。 Ma et al。， “A Novel Adaptive Hybrid Fusion Network for Multiresolution Remote Sensing Images Classification，” in IEEE Transactions on Geoscience and Remote Sensing， vol。 60， pp。 1-17， 2022， Art no。 5400617， doi： 10。1109/TGRS。2021。3062142。

標簽：影象融合運算元 IHS 通道

上一篇:2021下半年旗艦機怎麼選？三款“最佳”機型推薦，適合才是最好的

下一篇：新手小白攝影，初期要怎麼給周圍環境找攝影角度？

IHS遙感影象融合演算法綜述

猜你喜歡

民生大面積封卡和Apple Pay單日5000限額是否屬實？

CVPR 2020 Poster丨ACGPN: 基於影象的虛擬換裝新思路

如何快速的提高自己的思維能力，記憶力和注意力?

朱元璋向道士問自己的壽命，道士答“比我多一日”，朱元璋：斬了

巨大優化筆記 (2) Operator Splitting

IHS遙感影象融合演算法綜述

猜你喜歡

民生大面積封卡和Apple Pay單日5000限額是否屬實？

CVPR 2020 Poster丨ACGPN: 基於影象的虛擬換裝新思路

如何快速的提高自己的思維能力，記憶力和注意力?

朱元璋向道士問自己的壽命，道士答“比我多一日”，朱元璋：斬了

巨 大 優 化 筆 記 (2) Operator Splitting

巨大優化筆記 (2) Operator Splitting