深度步態識別綜述（一）

作者：由顧道長生發表于舞蹈時間：2022-11-11

Part1Deep Gait Recognition: A Survey

Abstract

步態識別是一種極具吸引力的生物特徵識別方法，旨在根據人走路的方式來識別人。

自2015年以來，深度學習透過自動學習辨別性特徵的能力重塑了該領域的研究格局。基於深度學習的步態識別方法目前在該領域佔據主導地位，並且促進了實際應用。本文全面概述了深度學習步態識別的突破和最新發展，涵蓋了廣泛的主題，包括

資料集

、

測試協議

、

最先進的解決方案

、

挑戰

和

未來的研究方向

。首先概述了常用的步態資料集以及用於評估它們的原則。然後，本文提出了一種由四個獨立維度組成的新分類法，即

身體表徵

、

時間表徵

、

特徵表徵

和

神經架構

，以幫助描述和組織該領域的研究現狀和文獻。在提出的分類法之後，本文對使用深度學習的步態識別方法進行了全面的綜述，並討論了它們的

效能

、

特點

、

優點

和

侷限性

。最後，本文討論了當前的挑戰，並提出了步態識別未來研究的一些有希望的方向。

1INTRODUCTION

$\quad \quad$

步態，被定義為人們走路的方式，包含了關於人類受試者的相關線索。

因此，它已被廣泛應用於不同的應用領域，如

影響分析

、

體育科學

、

健康

和

使用者識別

。步態資訊可以透過一些感測方式來捕獲，例如附著在人體上的可穿戴感測器，例如

加速計

、

陀螺儀

以及

力和壓力感測器

。非穿戴式步態識別系統主要使用視覺，因此通常稱為基於視覺的步態識別。這些系統使用成像感測器捕捉步態資料，而不需要受試者的合作，甚至可以從很遠的距離採集。本文的重點

是綜述主要依賴深度學習的基於視覺的步態識別系統

。本文只關注基於視覺的步態識別，因為最近發表了一篇綜合性綜述文章，對基於穿戴的步態識別方法進行了調查。

$\quad \quad$

基於視覺的步態識別系統（以下僅稱為步態識別）的效能可能會受到i）

個人外觀變化

的影響，例如攜帶手提包/揹包或穿著諸如帽子或外套等衣物；ii）

攝像機視角的變化

；iii）

遮擋因素

，例如，在某些視角（也稱為自遮擋）中，受試者身體的一部分被物體部分覆蓋，或者被受試者自身身體的一部分覆蓋；iv）

環境的變化

，例如複雜背景和高或低水平照明，這通常使分割和識別過程更加困難。

$\quad \quad$

在過去的二十年中，許多步態識別方法被開發用來解決上述問題。近年來，步態識別從

非深度方法

向基於

深度學習的解決方案

過渡的趨勢十分明顯。為了視覺化這一趨勢，作者畫了圖1，圖1顯示了2015年後發表的步態識別論文的數量。據觀察，2019年和2020年的大多數步態識別方法都是基於

深度神經網路

設計的。在圖2中，本文展示了一些最重要的步態識別方法的演變，以及它們在

CASIA-B

（也許是最流行的步態識別資料集）上的相關準確性。第一個步態識別方法於1997年提出，隨後於2008年提出了第一個用於步態識別的淺層神經網路，它僅由一個輸入層、一個隱藏層和一個輸出層組成。2015年，該領域取得了

重大突破

，主要得益於深度神經網路的普及。2016年，基於6層卷積神經網路（CNN），提出了名為

GaitNet

的方法。2017年，提出了基於深度信念網路（

DBN

）的

DBNGait

，並在

CNNGait

中融合了三種不同深度的CNN架構，用於步態識別。

VGR-Net

是2018年的重要貢獻之一，隨後在2019年引入了幾種重要方法，包括

PoseGait

、

DisentangledGait

和

GaitSet

，其中

GaitSet

達到了

84。2%

的最佳識別準確率。2020年取得了顯著進步，特別是出現了幾種高效方法，包括

PartialRNN

、

GaitPart

、

GLN

、

HMRGait

和

3DCNNGait

。目前在CASIA-B資料集上最先進的結果是由

3DCNNGait

報告的，識別準確率為

90。4%

。

$\quad \quad$

到目前為止，幾篇調查論文10、11、12、13、14、36、37、38綜述了步態識別的最新進展，其中一些論文，例如13、37、38，側重於

非基於視覺

的步態識別方法。關於

基於視覺

的步態識別的最新調查論文有10、11、12、14、36，僅涵蓋2018年年中之前發表的論文。儘管如此，如圖1和圖2所示，自2019年以來，深度學習在步態識別方面取得了許多重大突破。此外，沒有一項調查［10］、［11］、［12］、［14］、［36］專門關注步態識別的深度學習方法。

$\quad \quad$

本文調查了截至2021年1月底的步態識別的最新進展，以系統的方式對深度步態識別方法的技術和效能方面提供了見解。在此背景下，我們首先提出了一種具有四個維度的新分類法，即

身體表徵

、

時間表徵

、

特徵表徵

和

神經結構

，以幫助描述和組織可用的方法。根據本文提出的分類法，對所有可用的深度步態識別方法進行了全面的綜述，並對其特徵和效能進行了討論。作者已經建立了特定的搜尋協議，以確保其他學者能夠自信地在未來的研究中使用該綜述。

本文主要貢獻總結如下：

提出了一種新的四維分類法來描述和組織現有的深度步態識別方法。

對深度步態識別方法的演變進行了分類指導的概述，其中大部分方法在以前的調查中沒有被概述。

使用大規模公共步態資料集上報告的現有結果，對最新技術進行了比較，深入瞭解了不同深度步態識別方法的有效性。

概述了15個公開的基於視覺的步態識別資料集及其相關的測試協議

討論了一些公開的挑戰，並確定了重要的未來研究方向，這將對步態識別的研究人員有幫助。

$\quad \quad$

綜述的其餘部分結構如下。首先描述了用於搜尋收集論文和文獻中收集論文的系統方法。接下來，在第3節中，將概述可用的步態資料集及其相關的測試協議。然後，在概述深度步態識別方法時，使用這些資料集和協議來報告現有的效能結果。第4節介紹了本文提出的分類法。接下來，第5節綜述了深步態識別的最新進展，並討論了近幾年來深步態識別的發展趨勢。最後，第6節討論了一些深層步態識別挑戰，並確定了一些未來的研究領域。（

概述了論文剩餘部分的結構

）

2REVIEW METHODOLOGY

$\quad \quad$

作者採用了特定的搜尋協議，以確保其他學者能夠自信地在未來的研究中使用該綜述。為此，首先透過

Google Scholar

搜尋引擎和數字圖書館，即

IEEE Xplore

、

ACM Digital Library

、

ScienceDirect

和

CVF Open Access

查詢候選論文。搜尋詞包括以下查詢的組合：“步態識別”、“步態識別”、“步態生物識別”、“神經結構”、“深度學習”和“深度表徵”。然後，審查並過濾了搜尋結果，從而排除了既沒有使用深度學習方法進行步態識別，也沒有展示足夠技術清晰度/深度的論文。為了更具體地說明“清晰度/深度”標準，排除了i）使用非視覺感測器進行步態識別的論文；ii）沒有提出新的解決方案；iii）使用非標準或私有資料集進行績效評估；iv）沒有將其解決方案的效能與最新技術進行比較。在其他模式與基於視覺的感測器相結合的情況下，只研究了側重於基於視覺方面的技術解決方案。（

這段在說作者如何查詢和篩選論文

）

$\quad \quad$

本文對出版物的日期進行了限制，只包括2014年之後的搜尋結果，當時深度神經網路首次被用於生物識別。然後，作者利用返回的結果進行前向和後向搜尋，分別確定引用過返回文章的其他資源以及返回文章所引用的參考文獻。對新確定的資源重複這一過程，直到我們收集到作者所知的最相關的論文。最終得到了一組使用深度學習進行步態識別的出版物。

（

以上從兩個方面收集論文，一個是搜尋引擎和數字圖書館中檢索，另一個是從收集到的文獻中進一步檢索文獻，進而收集論文

）

3TEST PROTOCOLS AND DATASETS

Protocols

$\quad \quad$

步態識別解決方案的評估協議通常可分為

受試者相關

和

受試者無關

。如圖3所示，在受試者相關協議中，訓練集和測試集都包括來自所有受試者的樣本。然而，在受試者無關協議中，測試受試者與訓練受試者是不相交的。在後一種協議下，測試資料被進一步分為

註冊集

和

驗證集

，然後用在不相交的訓練物件上學習到的模型來提取

註冊集

和

驗證集

的特徵。

最後，使用分類器將驗證特徵與註冊特徵進行比較，以識別最相似的步態模式，並將它們標記為來自相同的人。

在步態識別中，受試者相關和受試者無關協議被廣泛採用。例如，在TUM GAID資料集中，經常使用受試者相關協議，而在CASIA-B和OU-MVLP

大規模

資料集中，則使用受試者無關協議。文獻中的步態識別結果都是使用

rank-1

識別精度進行測量和表示的。

Datasets

$\quad \quad$

為了評估步態識別系統，收集了不同的資料集。這些資料集包括了與採集視角、環境條件和受試者外觀相關的各種引數。一般來說，大資料集，無論是在樣本和引數的數量和分佈上，都是人們所希望的，也是首選的，以使深度神經網路得到有效訓練。本文在表1中概述了著名步態資料集的主要特徵。這些特徵包括資料的型別和模式、受試者和序列的數量、視角的數量，以及每個資料集中包含的變化。為了顯示這些資料集的時間演變，本文按照表1中釋出日期的順序對這些資料集進行了排序。根據表1，

CASIA-B

、

CASIA-E

、

OU-ISIR MV

和

OU-MVLP

涵蓋了最多的

採集視角

，而

OU-ISIR

、

OU-ISIR LP Bag

和

OU-MVLP

包含了最多的

步態序列

。在下文中，作者概述了表1中提供的步態資料集以及相關的測試協議。

$\quad \quad$

CMU MoBo:

The CMU Motion of Body （MoBo）資料集是文獻中第一個步態資料集，由25名在跑步機上行走的不同受試者的

RGB

和

輪廓

資料組成。此資料集涵蓋三個子集，包括

慢速行走

、

快速行走

和

持球行走

。

$\quad \quad$

SOTON:

SOTON資料集包含115名受試者的步態資料。所有的序列在

室內

和

室外

都被記錄下來，用一個固定的攝像機，捕捉沿著一條筆直的路徑行走的受試者。在跑步機上行走時，從受試者身上獲取了室內步態資料。不同的論文將該資料集劃分為不同的訓練集和測試集，並且沒有預定義的測試協議可與該資料集一起使用。

$\quad \quad$

CASIA-A:

CASIA-A資料集，包括20名受試者在

室外

環境中的步態序列。受試者沿著一條直線行走，三個攝像頭位於

，

，和

。拍攝的步態影片，平均每個序列90幀。跨視角測試協議是該資料集最廣泛使用的協議，其中測試協議使用所有可用視角進行訓練，不包括用於測試的視角。

$\quad \quad$

USF HumanID:

USF HumanID資料集是在HumanID步態挑戰的背景下收集的，包括122名在橢圓路徑上行走的受試者的

戶外

步態影片。該資料集涵蓋了各種具有挑戰性的變化，包括攜帶公文包、在不同表面行走、穿著不同的鞋以及採集時間。資料是由左、右兩個攝像頭從兩個觀察角度採集的。評估研究已與資料集一起提供，該資料集考慮了與上述變化相關的 12 種不同測試協議。

$\quad \quad$

CASIA-B:

CASIA-B資料集是使用最廣泛的步態資料集，包含124人的RGB和輪廓形式的多視角步態資料。從11個不同的視角進行採集，範圍從

到

，增量為

。該資料集考慮了三種不同的行走條件，即

正常行走

（NM）、

穿外套行走

（CL）和

攜包行走

（BG），每個人每個視角分別有6、2和2個步態序列。 CASIA-B最常用的測試協議是受試者無關協議，該協議使用前74名受試者的資料進行訓練，其餘50名受試者進行測試。然後將測試資料拆分為一個註冊集，其中包括NM步態資料中的前四個步態序列，驗證集由其餘序列組成，即每個受試者每個視角的剩餘2個NM、2個CL和2個BG序列。結果主要針對所有視角報告，不包括角度與參考相同的probe序列。

$\quad \quad$

CASIA-C:

CASIA-C 資料集包括來自 153 個不同受試者的紅外和輪廓資料，並且序列是在夜間不同變化下捕獲的。這些變化包括三種不同的步行速度，即

慢走

（SW）、

正常步行

（NW）

和快速步行

（FW），以及

攜包行走

（BW）。每個受試者有 4 個 NW、2 個 SW、2 個 FW 和 2 個 BW 序列。測試協議考慮了跨速步態識別測試。

$\quad \quad$

OU-ISIR Speed：

OU-ISIR Speed資料集提供34名受試者的輪廓資料。該資料集適用於評估步態識別方法對

步行速度的魯棒性

，因為它包括

九種不同的速度

，從2 km/h到11 km/h不等，間隔為1 km/h。該資料集採用了跨速度測試。

$\quad \quad$

OU-ISIR Clothing：

OU-ISIR Clothing資料集包括68名受試者的資料，他們穿著多達

32種不同型別的服裝組合

。在同一天的兩次室內採集過程中收集步態序列。與資料集OU-ISIR一起提供了一個受試者無關的測試協議，該協議將資料劃分為預定義的訓練、測試和驗證集，特別是與

服裝條件

有關的資料集。

$\quad \quad$

OU-ISIR MV:

OU-ISIR MV資料集包含168名受試者的步態輪廓，受試者年齡範圍很廣，從4歲至75歲，男女受試者人數幾乎相等。資料是從

大範圍的視角變化

中獲取的，包括24個方位角檢視和1個俯檢視。跨檢視測試協議已被廣泛用於該資料集。

$\quad \quad$

OU-ISIR:

OU-ISIR：OU-ISIR資料集是一個大規模的步態資料集，由4007個性別分佈幾乎相等、年齡從1歲到94歲不等的受試者的步態資料組成。步態序列是在

室內

大廳的兩個不同採集過程中使用四個以

、

和

放置的攝像機捕獲的。由於每個受試者有兩個序列可用，測試協議使用第一個序列作為註冊樣本，另一個作為驗證樣本。

$\quad \quad$

TUM GAID:

TUM GAID是一個多模態步態資料集，包括305名受試者的RGB、深度和音訊資料。對於一組選定的32名受試者，資料集是在

冬季

和

夏季

的兩次不同的戶外採集過程中採集。從每個受試者身上捕獲了10個序列，包括

正常行走

（N）、

揹包行走

（B）和

一次性鞋套行走

（S）。測試協議由原始作者提供，將資料分為訓練、驗證（validation）和測試集。識別實驗通常針對

N、B和S步態變化

進行。

$\quad \quad$

TUM GAID:

TUM GAID是一個多模態步態資料集，包括305名受試者的RGB、深度和音訊資料。對於一組選定的32名受試者，資料集是在

冬季

和

夏季

的兩次不同的戶外採集過程中採集。從每個受試者身上捕獲了10個序列，包括

正常行走

（N）、

揹包行走

（B）和

一次性鞋套行走

（S）。測試協議由原始作者提供，將資料分為訓練、驗證（validation）和測試集。識別實驗通常針對

N、B和S步態變化

進行。

$\quad \quad$

OU-ISIR LP Bag：

OU-ISIR LP Bag資料集由62528名受試者攜帶物體的步態影片組成，在受限的

室內

環境中使用一臺攝像機拍攝。每個受試者獲得了三個序列，一個帶有攜帶物體，兩個沒有攜帶物體。按照提出的測試方案，訓練集包含來自29097名受試者的資料，其中有兩個序列，帶或不帶攜帶物體，測試集包括其他29102的受試者。為了將測試集劃分為驗證集和註冊集，分別在協作和非協作場景下采用了兩種方法。對於協作場景，註冊集僅包含不攜帶物體的序列，其中驗證集包括帶七種不同型別攜帶物體的序列。在非協作場景中，隨機形成註冊和驗證集，以便它們都包含帶或不帶攜帶物體的序列。

$\quad \quad$

OU-MVLP：

OU-MVLP 資料集是就

步態序列數量而言最大的

可用步態資料集（259，013）。該資料集提供輪廓的影片，並在每個受試者的兩個採集過程中獲得。受試者的性別分佈幾乎相等，年齡範圍為 2 至 87 歲。該資料集是從 0° 到 90° 和 180° 到 270° 的 14 個不同視角中獲取的，其中每一步的角度變化為 15°。已指定 5153 和 5154 名受試者的預定義列表，並與資料集一起分別作為訓練集和測試集提供。為了測試，來自第一和第二採集過程的序列分別形成註冊集和驗證集。在最近的大多數步態識別論文中，都考慮了所有或四個視角，特別是 0°、30°、60° 和 90°。

$\quad \quad$

CASIA-E:

CASIA-E資料集由1014名受試者的步態輪廓組成，每個受試者有數百個影片序列，在三種場景中捕獲，分別為

簡單靜態背景

、

複雜靜態背景

和

複雜動態背景

。這些資料是根據三種不同的行走條件採集的，包括

正常行走

（NM）、

帶外套行走

（CL）和

帶包行走

（BG）。該資料集是從 15 個不同的視角獲得的，包括兩個高度為 1。2 m 和 3。5 m 的垂直視角，以及 13 個從 0° 到 180° 以 15° 為增量的水平視角。該資料集最近用於 2020 年 TC4 遠端人類識別競賽和研討會，其中訓練集包括前500名受試者的全部資料，而最後514名受試者的25個序列用於驗證（validation）。最後514名受試者的剩餘序列用於測試。

$\quad \quad$

OU-MVLP Pose：

OU-MVLP Pose資料集建立在OU-MVLP的基礎上，從OUMVLP中可用的RGB影象中提取人體骨骼形式的姿勢序列。使用OpenPose和AlphaPose的預訓練版本建立了兩個子集，以提取人體關節資訊。測試協議類似於為OU-MVLP提出的協議。

4參考文獻

［10］ C。Wan， L。Wang， and V。 V。 Phoha， “A survey on gait recognition，” ACM Computing Surveys， vol。 51， no。 5， pp。 1–35， August 2018。

［11］ I。 Rida， N。 Almaadeed， and S。 Almaadeed， “Robust gait recognition： a comprehensive survey，” IET Biometrics， vol。 8， no。 1， pp。 14–28， January 2019。

［12］ A。 Nambiar， A。 Bernardino， and J。 C。 Nascimento， “Gait-based person re-identification： A survey，” ACM Computing Surveys， vol。 52， no。 2， pp。 1–34， April 2019。

［13］ M。 D。 Marsico and A。 Mecca， “A survey on gait recognition via wearable sensors，” ACM Computing Surveys， vol。 52， no。 4， pp。 1–39， September 2019。

［14］ J。 P。 Singh， S。 Jain， S。 Arora， and U。 P。 Singh， “Vision-based gait recognition： A survey，” IEEE Access， vol。 6， pp。 70 497–70 527， November 2018。

［36］ P。 Connor and A。 Ross， “Biometric recognition by gait： A survey of modalities and features，” Computer Vision and Image Understanding， vol。 167， pp。 1–27， February 2018。

［37］ M。 J。 Nordin and A。 Saadoon， “A survey of gait recognition based on skeleton model for human identification，” Research Journal of Applied Sciences， Engineering and Technology， vol。 12， no。 7， pp。 756–763， April 2016。

［38］ J。 P。 Singh， S。 Jain， S。 Arora， and U。 P。 Singh， “A survey of behavioral biometric gait recognition： Current success and future perspectives，” Archives of Computational Methods in Engineering， vol。 28， no。 1， pp。 107–148， November 2019。

標簽：步態受試者資料識別 oU

上一篇:有一個奇葩老丈人，不負責任的岳父是什麼體驗！?

下一篇：減肥半年沒吃晚飯突然恢復會反彈嗎？