行人跟蹤演算法

『壹』 無人駕駛(三)行人跟蹤演算法

姓名：王夢妮

學號：20021210873

學院：電子工程學院

【嵌牛導讀】本文主要介紹了無人駕駛中所需的行人跟蹤演算法

【嵌牛鼻子】無人駕駛 環境感知 計算機視覺 卡爾曼濾波 粒子濾波 均值漂移

【嵌牛提問】無人駕駛中所用到的行人跟蹤演算法有哪些

【嵌牛正文】

行人跟蹤一直是視覺領域的一個難點，實際應用環境復雜、遮擋以及行人姿態變化等外界因素都影響著行人跟蹤演算法的研究。行人跟蹤演算法模型主要分為生成模型和判別模型。

（一）生成式模型

生成式模型是一種通過在線學習行人目標特徵，建立行人跟蹤模型，然後使用模型來搜索誤差最小的目標區域，從而完成對行人的跟蹤。這種演算法在構建模型只考慮了行人本身的特徵，忽略了背景信息，沒有做到有效利用圖像中的全部信息。其中比較經典的演算法主要有卡爾曼濾波，粒子濾波，mean-shift等。

（1）卡爾曼濾波演算法

卡爾曼濾波演算法是一種通過對行人構建狀態方程和觀測方程為基礎，計算最小均方誤差來實現跟蹤的最優線性遞歸濾波演算法，通過遞歸行人的運動狀態來預測行人軌跡的變化。

首先設定初始參數，讀取視頻序列。然後進行背景估計，產生初始化背景圖像。然後依次讀取視頻序列，利用Kahnan濾波演算法，根據上一幀估計的背景和當前幀數據得到當前幀的前景目標。然後對前景目標進行連通計算，檢測出運動目標的軌跡。經典的卡爾曼濾波演算法．只能對線性運動的行人實現跟蹤，之後學者改進了卡爾曼濾波演算法，能夠實現對非線性運動的行人進行跟蹤，計算量小，能實現實時跟蹤，但是跟蹤效果不理想。

（2）粒子濾波

    粒子濾波的核心就是貝葉斯推理和重要性采樣。粒子濾波可用於非線性非高斯模型，這是由於貝葉斯推理採用蒙特卡洛法，以某個時間點事件出現的頻率表示其概率。通過一組粒子對整個模型的後驗概率分布進行近似的表示，通過這個表示來估計整個非線性非高斯系統的狀態。重要性採用就是通過粒子的置信度來賦予不同的權重，置信度高的粒子，賦予較大的權重，通過權重的分布形式表示相似程度。

（3）均值漂移（mean-shift）

    Mean-shift演算法屬於核密度估計法。不必知道先驗概率，密度函數值由采樣點的特徵空間計算。通過計算當前幀目標區域的像素特徵值概率來描述目標模型，並對候選區域進行統一描述，使用相似的函數表示目標模型與候選模板之間的相似度，然後選擇在具有相似函數值最大的候選模型中，您將獲得關於目標模型的均值漂移向量，該向量表示目標從當前位置移動到下一個位置的向量。通過連續迭代地計算均值偏移矢量，行人跟蹤演算法將最終收斂到行人的實際位置，從而實現行人跟蹤。

（二） 判別式模型

判別模型與生成模型不同，行人跟蹤被視為二分類問題。提取圖像中的行人和背景信息，並用於訓練分類器。通過分類將行人從圖像背景中分離出來，以獲取行人的當前位置。以行人區域為正樣本，背景區域為負樣本，通過機器學習演算法對正樣本和負樣本進行訓練，訓練後的分類器用於在下一幀中找到相似度最高的區域，以完成行人軌跡更新。判別式模型不像生成式模型僅僅利用了行人的信息，還利用了背景信息，因此判別式模型的跟蹤效果普遍優於生成式模型。

（1）基於相關濾波的跟蹤演算法

      核相關濾波(KCF)演算法是基於相關濾波的經典跟蹤演算法，具有優良的跟蹤效果和跟蹤速度。這是由於其採用了循環移位的方式來進行樣本生產，用生成的樣本來訓練分類器，通過高斯核函數來計算當前幀行人與下一幀中所有候選目標之間的相似概率圖，找到相似概率圖最大的那個候選目標，就得到了行人的新位置。KCF演算法為了提高跟蹤精度，使用HOG特徵對行人進行描述，同時結合了離散傅里葉變換來降低計算量。

（2）基於深度學習的跟蹤演算法

    近年來，深度學習在圖像和語音方面取得了較大的成果，因此有許多科研人員將深度學習與行人跟蹤相結合，取得了比傳統跟蹤演算法更好的性能。DLT就是一個基於深度學習的行人跟蹤演算法，利用深度模型自動編碼器通過離線訓練的方式，在大規模行人數據集上得到一個行人模型，然後在線對行人進行跟蹤來微調模型。首先通過粒子濾波獲取候選行人目標，然後利用自動編碼器進行預測，最終得到行人的預測位置即最大輸出值的候選行人目標位置。2015年提出的MDNet演算法採用了分域訓練的方式。對於每個類別，一個單獨的全連接層用於分類，並且全連接層前面的所有層都是共享，用於特徵提取。2017年提出的HCFT演算法使用深度學習對大量標定數據進行訓練，得到強有力的特徵表達模型，結合基於相關濾波的跟蹤演算法，用於解決在線進行跟蹤過程中行人樣本少、網路訓練不充分的問題。此外，通過深度學習提取特徵，利用數據關聯的方法來實現跟蹤的演算法，其中最為著名的就JPDAF與MHT這兩種方法。

『貳』 步態識別的軟體演算法

根據醫學和心理學等學科的研究表明：人可以感知步態，並可以通過步態進行人的身份認證。尤其自「911事件」以來，使得遠距離的身份識別研究備受關注。而與其他生物特徵識別相比，步態識別的突出特點主要是能遠距離識別。因此，步態識別的研究，己越來越引起國內外學者的關注。目前，己研究出的步態識別的軟體演算法有如下幾種：
對於每個步態序列而言，一種改進的背景減除技術被使用來提取人的空間輪廓。這些輪廓的邊緣，被逆時針方向展開為一系列相對於質心的距離模板。這些模板特徵通過使用主元統計分析方法來訓練，從而得出步態形狀的變化模式在特徵空間中的軌跡表達。識別時，採用了時空相關匹配方法和基於歸一化歐氏距離的最近鄰規則，並引入了相應於個人的體形等生理特徵的融合，以用於必要的步態分類校驗。
該演算法來源於「從行走運動的時空模式中可學習人體的外觀模型」的觀點。對於每個序列而言，背景減除過程用來提取行人的運動輪廓，這些輪廓隨時間的姿態變化在二維空間中被對應描述為一個序列的復數配置(Complex Configuration)。利用Procrustes形狀分析方法，從該序列配置中獲取主輪廓模型作為人體的靜態外觀特徵。實驗結果表明，該演算法獲得了令人鼓舞的識別性能。
該演算法來源於「人體行走運動很大程度上依賴於輪廓隨著時間的形狀變化」的直觀想法。對於每個序列而言，背景減除與輪廓相關方法用於檢測和跟蹤行人的運動輪廓，這些時變的二維輪廓形狀被轉換為對應的一維距離信號，同時通過特徵空間變換來提取低維步態特徵。基於時空相關或歸一化歐氏距離度量，以及標準的模式分類技術用於最終的識別。實驗結果表明，該演算法不僅獲得了令人滿意的識別性能，而且擁有相對較低的計算代價。
該演算法來源於「行走運動的關節角度變化包含著豐富的個體識別信息」的思想。首先，結合人體模型、運動模型和運動約束等先驗知識，利用Condensation演算法進行行人的跟蹤。然後，從跟蹤結果中獲取人體主要關節的角度變化軌跡。這些軌跡經過結構和時間歸一化後，作為動態特徵而用於身份識別。
這是一種基於新的特徵提取方法的自動步態識別演算法，該演算法僅從腿部的運動進行身份識別。對於每個序列，用一種基於圖像色度偏差的背景減除演算法來檢測運動對象。在經過後處理的二值圖像序列中，利用邊界跟蹤演算法獲取對象邊界，在對象邊界圖像上，局部應用Hough變換檢測大腿和小腿的直線，從而得到大腿和小腿的傾斜角。用最小二乘法將一個周期內的傾斜角序列，擬合成5階多項式，把Fourier級數展開後得到的相位與振幅的乘積，定義為低維步態特徵向量。在小樣本的資料庫上用Fisher線性分類器驗證所研究演算法的性能，正確分類率為79.17%，在步態資料庫不很理想的情況下也獲得了較好的識別率。
基於廣義多尺度分析理論，針對不同的應用圖像或信號庫，得到最優小波分解, 並在人體步態識別中與二維小波矩結合進行應用。在三維物體的表示方面, 作為三維物體的一種無冗餘的描述和識別方法，提出了三維小波矩理論。與現存的方法相比，它不但具有平移、縮放和旋轉不變性，在徑向上還增加了多尺度分析的特性。可以根據不同的需要，提供多層次的特徵描述子，同時引進球面調和函數加速演算法和小波的Mallat演算法後，使小波矩的計算得到了雙重加速。有人計劃搭建實用的三維物體檢索平台，將進一步完善該演算法。
此外，有人在基於人體生物特徵不僅包含靜態外觀信息，也包含行走運動的動態信息的思想，提出了一種判決級上融合人體靜態和動態特徵的身份識別方法。利用此方法在不同融合規則下的實驗結果表明，融合後的識別性能均優於使用任何單一模態下的識別性能。

『叄』 ts涓鏂囨槸浠涔堟剰鎬濓紵

DUTS鍏ㄧО涓篋eepU-Tracker with Similarity learning錛堟繁搴︾浉浼煎害瀛︿範鐩鏍囪窡韙鍣錛夛紝鏄鐩鍓嶈緝涓哄厛榪涚殑鐗╀綋璺熻釜綆楁硶涔嬩竴銆傚畠閲囩敤娣卞害瀛︿範鍜岀浉浼煎害瀛︿範鐩哥粨鍚堢殑鏂規硶錛岃兘澶熷湪澶嶆潅鑳屾櫙涓嬪噯紜鍦拌窡韙鐗╀綋鐨勪綅緗鍜屽艦鐘訛紝鍏鋒湁杈冮珮鐨勭簿搴﹀拰椴佹掓с
璇ョ畻娉曞湪瀹為檯搴旂敤涓寰楀埌浜嗗箍娉涚殑搴旂敤銆備緥濡傦紝鍦ㄧ洃鎺х郴緇熶腑錛屼嬌鐢―UTS鍙浠ヨ嚜鍔ㄨ瘑鍒鍜岃窡韙琛屼漢銆佹苯杞︾瓑鐗╀綋錛屾湁鏁堟彁楂樹簡鐩戞帶緋葷粺鐨勫畨鍏ㄦу拰鍙闈犳э紱鍦ㄨ嚜鍔ㄩ┚椹墮嗗煙錛孌UTS涔熷彲浠ョ敤浜庤濺杈嗙殑鐗╀綋璺熻釜鍜屼綅緗璇嗗埆錛屽府鍔╄濺杈嗗疄鐜拌嚜涓誨艱埅鍜屾櫤鑳介┚椹躲
鎬諱箣錛孌UTS鏄涓縐嶉珮鏁堝噯紜鐨勭墿浣撹窡韙綆楁硶錛屽叿鏈夊箍娉涚殑搴旂敤鍓嶆櫙鍜屽彂灞曠┖闂達紝鏄璁＄畻鏈鴻嗚夐嗗煙鐨勯噸瑕佺爺絀舵柟鍚戜箣涓銆

『肆』 行人檢測

參考資料：

行人檢測演算法

行人檢測是使用計算機視覺技術來判斷圖像或視頻中是否存在行人。可以通過跟行人跟蹤，行人重識別技術，來應用於人工智慧系統，車輛輔助駕駛系統、智能交通等領域

① 處理數據

② 訓練模型

③ 輸出目標位置

① 外觀差異大。包括視覺、姿態、服飾和附著物、光照、成像距離等。行人不同的運動姿態、角度，都會顯示出不同的外觀，而且成像距離遠近不一，也會造成外觀大小不同

② 遮擋問題，在行人密集的地方，會發生行人被遮擋的問題，或者是被周圍的建築物遮擋住

③ 背景復雜，有些物體的外觀、造型、顏色、紋理等都比較接近人體，例如雕塑或人像廣告牌、假人等。之前就有個新聞說紅綠燈行人越線檢測時，把公共汽車上的代言人廣告中的代言人也檢測了出來

④ 檢測速度，行人檢測一般使用了比較復雜的模型，運算量相當大，要達到實時非常困難，一般需要大量的優化

Faster R-CNN

文獻[16]分析了Faster R-CNN在行人檢測問題上的表現，結果表明，直接使用這種演算法進行行人檢測效果並不滿意。作者發現，Faster R-CNN中的RPN網路對提取行人候選區域是相當有效的，而下游的檢測網路表現的不好。作者指出了其中的兩個原因：對於小目標，卷積層給出的特徵圖像太小了，無法有效的描述目標；另外，也缺乏難分的負樣本挖掘機制。作者在這里採用了一種混合的策略，用RPN提取出候選區域，然後用隨機森林對候選區域進行分類。這一結構如下圖所示：

DeepParts

文獻[21]提出了一種基於部件的檢測方案，稱為DeepParts，致力於解決遮擋問題。這種方案將人體劃分成多個部位，分別進行檢測，然後將結果組合起來。部位劃分方案如下圖所示：

整個系統的結構如下圖所示：

RepLoss

RepLoss[14]由face++提出，主要目標是解決遮擋問題。行人檢測中，密集人群的人體檢測一直是一個難題。物體遮擋問題可以分為類內遮擋和類間遮擋兩類。類內遮擋指同類物體間相互遮擋，在行人檢測中，這種遮擋在所佔比例更大，嚴重影響著行人檢測器的性能。

針對這個問題，作者設計也一種稱為RepLoss的損失函數，這是一種具有排斥力的損失函數，下圖為RepLoss示意圖：

RepLoss 的組成包括 3 部分，表示為：

其中L_Attr 是吸引項，需要預測框靠近其指定目標；L_RepGT 和 L_RepBox 是排斥項，分別需要當前預測框遠離周圍其它的真實物體和該目標其它的預測框。系數充當權重以平衡輔助損失。

HyperLearner

文獻[25]提出了一種稱為HyperLearner的行人檢測演算法，改進自Faster R-CNN。在文中，作者分析了行人檢測的困難之處：行人與背景的區分度低，在擁擠的場景中，准確的定義一個行人非常困難。

作者使用了一些額外的特徵來解決這些問題。這些特徵包括：

apparent-to-semantic channels

temporal channels

depth channels

為了將這些額外的特徵也送入卷積網路進行處理，作者在VGG網路的基礎上增加了一個分支網路，與主體網路的特徵一起送入RPN進行處理：

其他的基本上遵循了Faster R-CNN框架的處理流程，只是將anchor參數做了改動。在實驗中，這種演算法相比Faster R-CNN有了精度上的提升。

從上面的回顧也可以看出，與人臉檢測相比，行人檢測難度要大很多，目前還遠稱不上已經解決，遮擋、復雜背景下的檢測問題還沒有解決，要因此還需要學術界和工業界的持續努力。