無監督跨域步態識別的可遷移鄰域發現演算法

步態識別開始應用在公共場域身份識別中。

步態識別，俗稱“走姿”識身份，不同人的“走姿”是不一樣的，走姿是人的“另一種身份”。

另外，人在不同場域的步態也是不一樣的，比如在超市裡購物步伐偏慢，而在火車站趕車步伐急促，所以跨域步態識別為“走姿”識身份增加了難度。

而視覺步態識別的目的是利用多個攝像頭捕捉到的步態序列來識別一個人。

這項任務已經研究了十多年，因為步態是一種無需受試者合作即可遠端獲取的鑑別生物特徵。

由於深度學習在各種計算機視覺任務中取得了巨大成功，基於深度學習的步態識別方法在單個數據集上也取得了優異的效能。

然而，在實際應用中，更實際的做法是在從一個場景（即源域）收集的資料集上學習模型，同時將其應用於另一個場景（即目標域）。

論文解讀

TraND： Transferable Neighborhood Discovery for Unsupervised Cross-domain Gait Recognition

論文連結

：

https：//

arxiv。org/pdf/2102。0462

1v1。pdf

什麼是可遷移鄰域發現演算法

作者說可遷移鄰域發現演算法是：

“如果想讓一個小孩識別國內的動物種類，你會給他一些動物圖片和對應的動物名字。透過學習，小孩能認出許多動物。你可能覺得還不夠，希望小孩能識別國外的動物，於是給小孩一些國外動物的圖片，讓他把屬於同一物種的圖片都放到一起進行分類。”由於小孩之前學習了很多國內的動物，一開始會比較順利，能夠挑選出一張或者幾張長得最像老虎的放一組、像獅子的放一組，等等。接著，小孩可能會繼續尋找那些還長得比較像老虎、獅子等的圖片，直到他再也找不到自己學過的圖片之後，他發現剩餘那些之前沒見過的圖片裡，有好幾張長得很類似，於是猜測它們屬於一個新物種。小孩可能同時發現好幾個新物種，把它們分別放一組，接著繼續尋找和這些新物種長得很像的圖片。

可遷移鄰域發現演算法模擬了上述一過程，直到所有圖片都被找完為止。可遷移鄰域發現演算法與傳統聚類賦偽標籤識別不一樣。

——-摘抄至第一作者的官方報道。

網路結構

具有兩個主要階段的Transferable Neighborhood Discovery方法。

在第一階段，我們採用GaitSet作為主幹網路，從輪廓序列中學習步態特徵。

我們在標記的源資料集上訓練GaitSet網路來學習gaits的先驗知識。

在第二階段，我們首先用訓練好的主幹將未標記的目標樣本對映到特徵空間。

然後，利用從源資料中學習到的先驗知識，將目標樣本分佈在流形中。採用樣本熵度量的類一致性指標，以漸進的方式選擇樣本的置信鄰域。探索了一種高熵優先策略來選擇可信的鄰居點，最終用於更新網路。

2。1 GaitSet as the Backbone

為了從步態序列中學習區分性表示，我們採用最先進的基於CNN的模型，即Gait- Set ［1］，作為TraND框架中的主幹網路，根據網路結構圖可見。GaitSet網路直接將輪廓序列作為輸入，將該序列視為一個集合，但基於輪廓的外觀包含其位置資訊的假設，忽略幀的順序。

透過這種方法，首先可以保留所有幀的空間特徵，從而對步態表示進行綜合建模。然後，我們使用Set Pooling （SP）操作將幀級特徵聚合為序列級特徵，最後，為了發現多尺度特徵，採用水平金字塔對映（HPM）生成步態序列的判別表示，將SP提取的特徵對映分解。給定步態輪廓序列。Xk是一個silhouette image， K是一個序列的長度，GaitSet網路的整體過程可以公式化如下：

f（·）是提取幀級特徵的CNN，g（·）是生成序列級特徵的SP函式，h（·）是GaitSet中的HPM操作。

2。2 對先前知識的監督學習

由於我們只有源資料的標籤，但沒有關於目標域的知識，因此有必要有效地利用源資料集中步態表示的先驗知識。

受無監督人員重新識別方法的啟發，我們在源資料集上訓練主幹，由於源資料和目標資料中的ID不重疊，因此最好讓模型學習樣本之間的相似性或差異，而不是對它們進行分類。因此，我們採用Triplet Loss 代替交叉熵損失進行先驗知識學習。

實驗結果

3。1 定性結果

下圖a是 CASIA-B資料集中一個人在不同條件和視角下的步態序列。圖b是 從OU-LP資料集中的四個視點捕獲一個人的步態序列。

3。2 定量結果

實驗結果如表1所示，我們首先可以發現，與在目標資料上訓練的模型相比，直接將在源資料上訓練的模型應用於目標資料會獲得非常差的結果。結果表明，不同資料集之間的領域差異會極大地影響模型的適應能力。

此外，基於聚類的方法，即GaitSet+DBSCAN和Gait-Get+k均值，不能很好地完成這項任務。這是因為聚類演算法生成的偽標籤可能會產生誤導，這會在微調模型時帶來大量噪聲。透過比較不同的鄰域選擇策略，我們的方法獲得了最好的效能。這反映了我們的方法可以透過類一致性指標和高熵優先策略有效地發現自信鄰域。

在OU-LP上訓練的模型轉移到CASIA-B上的BG和CL條件下時，所有方法的結果都很差。這是因為OU-LP沒有有標誌的圖片，這使得模型們對這些知識一無所知。因此，應進一步研究交叉條件設定，以提高效能。

參考文獻：

［1］ Weijian Deng， Liang Zheng， Qixiang Ye， Guoliang Kang， Yi Yang， and Jianbin Jiao。 Image-image domain adaptation with preserved self- similarity and domain-dissimilarity for person re-identification。 In IEEE CVPR， pages 994–1003， 2018。