無人駕駛演算法

㈠ 無人駕駛(二)行人檢測演算法

姓名：王夢妮

學號：20021210873

學院：電子工程學院

【嵌牛導讀】本文主要介紹了無人駕駛中所需的行人檢測演算法

【嵌牛鼻子】無人駕駛 環境感知 計算機視覺 SVM Adaboost演算法 R.CNN

【嵌牛提問】無人駕駛中所用到的行人檢測演算法有哪些

【嵌牛正文】

在同樣的交通路況下，無人車通過對自身運動狀態及行駛環境信息進行分析，決策出最佳行駛策略和行駛方案代替駕駛員完成一系列駕駛沖升拆行為，從而降低道路交通事故的發生率。而在無人駕駛中最為重要的技術便是環境感知，而在城市道路上有大量的行人出行，只有準確快速地檢測出行人與對其進行跟蹤，才能避免車撞人。

計算機視覺是研究賦予機器「人眼」功能的科學，通過多個感測器來獲取一定范圍內的色彩數據，用演算法分析得到的數據從而理解周圍環境，這個過程模擬了人眼以及大腦的處理過程，從而賦予機器視覺感知能力。現有的行人檢測技術大多都是檢測照片中的行人目標，這種照片的拍攝大多是拍攝的靜止目標，圖像的解析度和像素點包含的語義信息都及其豐富，對應的演算法在這樣的圖片上往往能取得理想的效果，但是用於無人車的「眼睛」，演算法的魯棒性就表現的非常差。這是因為在實際的道路環境中，攝像頭需要搭載的車身上，在行進過程中跟隨車以一定的速度移動，並且在實際道路中，行人目標往往是在運動的，由此提取出拍攝視頻中的一幀就會出現背景虛化，造成像素點包含的語義信息大量減少，增加了行人檢測的難度。

行人檢測是計算機視覺領域的一個重要研究課題。在實際生活中，行人大多處於人口密集、背景復雜笑攔的城市環境中，並且行人的姿態各不相同，如何將行人從色彩豐富、形狀相似的環境中快速准確地提取出來，是行人檢測演算法的難點。

行人檢測演算法分為兩大類，一散棗類是基於傳統圖像處理，另一類是基於深度學習的方法。近年來隨著計算機計算速度的大幅提升，基於深度學習的方法有著越來越高的檢測速度與檢測精度，在行人檢測領域應用越加廣泛。

（一）基於傳統圖像處理的行人檢測演算法

使用傳統的圖像處理方法來做行人檢測一般都是由兩個步驟組成，第一就是需要手工設計一個合理的特徵，第二就是需要設計一個合理的分類器。手工設計特徵就是找到一種方法對圖像內容進行數學描述，用於後續計算機能夠區分該圖像區域是什麼物體，分類器即是通過提取的特徵判斷該圖像區域屬於行人目標還是屬於背景。在傳統的圖像處理領域，手工特徵有許多種，比如顏色特徵、邊緣特徵(canny運算元和sobel運算元)以及基於特徵點的描述子(方向梯度直方圖)等。 學者們一致認為方向梯度直方圖是最適合行人檢測的人工特徵，其主要原理是對圖像的梯度方向直方圖進行統計來表徵圖像。該特徵是由Dalal於2005提出的，並與SVM分類器相結合，在行人檢測領域取得了前所未有的成功。

傳統的行人檢測方法首先需要通過提取手工設計特徵，再使用提取好的特徵來訓練分類器，得到一個魯棒性良好的模型。在行人檢測中應用最廣泛的分類器就是SVM和Adaboost。SVM分類器就是要找到一個超平面用來分割正負樣本，這個超平面的滿足條件就是超平面兩側的樣本到超平面的距離要最大，即最大化正負樣本邊界。下圖即為線性SVM的示意圖。

Adaboost分類演算法的主要原理不難理解，就是採用不同的方法訓練得到一系列的弱分類器，通過級聯所有的弱分類器來組成一個具有更高分類精度的強分類器，屬於一種迭代演算法。原理簡單易於理解且有著良好的分類效果，唯一不足就是練多個弱分類器非常耗時。下圖為面對一個二分類問題，Adaboost演算法實現的細節。

           

 

（二）基於深度學習的行人檢測演算法

    近年來，隨著硬體計算能力的不斷增強，基於卷積神經網路的深度學習飛速發展，在目標檢測領域取得了更好的成績。卷積神經網路不再需要去手動設計特徵，只需要將圖片輸入進網路中，通過多個卷積層的卷積操作，提取出圖像的深層語義特徵。要想通過深度學習的方法得到一個性能良好的模型，需要大量的樣本數據，如果樣本過少，就很難學習到泛化能力好的特徵，同時在訓練時，由於涉及到大量的卷積操作，需要進行大量計算，要求硬體設備具有極高的算力，同時訓練起來也很耗時。隨著深度學習的飛速發展，越來越多基於深度學習的模型和方法不斷被提出，深度學習在目標檢測領域會有更加寬廣的發展空間。

Ross Girshick團隊提出了R.CNN系列行人檢測演算法，其中Faster R—CNN 演算法通過一個區域提議網路來生成行人候選框，在最後的特徵圖上滑動來確定候選框。Faster RCNN是首個實現端到端訓練的網路，通過一個網路實現了特徵提取、候選框生成、邊界框回歸和分類，這樣的框架大大提高了整個網路的檢測速度。 He Kaiming等人在2017年提出Mask R—CNN演算法，該演算法改進了Faster·R—CNN， 在原有的網路結構上增加了一個分支進行語義分割，並用ROI Align替代了ROI Pooling，取得了COCO數據集比賽的冠軍。

㈡ 無人駕駛的核心是什麼是如何運行的

4級或5級的自主駕駛很難有一個明確的標准來定義，自主駕駛應該不復雜。自動駕駛其實涉及三個問題:一、我在哪裡？第二，我要去哪裡？第三是怎麼去。這三個問題的完整解決方案就是真正的自動駕駛。所以特斯拉升級的8000美元自動駕駛2.0隻有部分線控功能，並不是真正的自動駕駛。福特、網路、谷歌做的都是真正的自動駕駛，遠超特斯拉，兩者差別巨大。

機器人定位有三種常見的類型:相對定位、絕對定位和組合定位。自動駕駛一般採用組合定位。首先，本體感受感測器如里程計和陀螺儀測量相對於機器人初始姿態的距離和方向，以確定機器人的當前姿態，這也稱為軌跡估計。然後使用激光雷達或視覺感知環境，使用主動或被動識別、地圖匹配、GPS或導航信標進行定位。位置的計算方法包括三角測量、三邊測量和模型匹配演算法。從這個角度來說，IMU也是自動駕駛必不可少的一部分。

同時，機器人定位實際上是一個概率問題和嘩數，所以機器人定位演算法有兩個流派，一個是卡爾曼濾波，一個是貝葉斯推理。有擴展卡爾曼濾波器(EKF)、卡爾曼濾波器(KF)和無跡卡爾曼濾波器(UKF)。另一種是基於貝葉斯推理的定位方法。網格和粒子用於描述機器人位置空間，遞歸計算狀態空間中的概率分布，如馬爾可夫定位(MKV)和蒙特卡羅定位(MCL)。

在地圖匹配中，必須有一個優先地圖與之比較。這張地圖不一定是厘米級高精度地圖。有必要談談地圖，它可以分為四類，即度量、拓撲、感測器和語義。我們最常見的地圖是語義級地圖。無人駕駛不是導彈。一般輸入目的地應該是語義層面。畢竟人類的交通方式是語義層面，不是地理坐標。這是機器人和無人駕駛的區別之一。機器人一般不考慮語義，只需要知道自己在坐標系中的位置。全球定位系統提供全球坐標系的度量。未來，V2X將提供雷達和視覺探測距離(NLOS)之外的特定物體(移動的行人和汽車)的地圖，或V2X地圖。目前國內處於研究階段的無人車大多採用GPS RTK定位，必須配合厘米級高精度地圖才能獲得語義信息，不可能做到真正的無人。

㈢ slam演算法是什麼

SLAM是Simultaneous localization and mapping縮寫，意為「同步定位與建圖」，主要用於解決機器人在未知環境運動時的定位與地圖構建問題。

Simultaneous Localization and Mapping (SLAM)原本是Robotics領域用來做機器人定位的，最早的SLAM演算法其實是沒有用視覺camera的（Robotics領域一般用Laser Range Finder來做SLAM）。

SLAM對實時性要求比較高，而要做則氏洞到比較精確、穩定、可靠、適合多種場景的方案一般計算量相對較大，目前移動式設備的計算能力還不足夠支撐這么大的計算量，為了達到實時性能，往往需要在精確度和穩定性上做些犧牲。

因此在具體的應用中，往往需要根據移動設備所具有的感測器組合、計算能力、用戶場景等，選擇和深度定製合適的SLAM演算法。比如，無人駕駛汽車和手機端AR類應用的SLAM演算法就非常不同。

SLAM的典型應用領域

機器人定位導航領域：地圖建模。SLAM可以輔助機器人執行路徑規劃、自主探索、導航等任務。國內的科沃斯、塔米以及最新面世的嵐豹掃地機器人都可以通過用SLAM演算法結合激光雷達或者攝像頭的方法，讓掃地機高效繪制室內地圖，智能分析和規劃掃地環境，從而成功讓自己步入了智能導航的陣列。

VR/AR方面：輔助增強視覺效果。SLAM技術能夠構建視覺效果更為真實的地圖，從而針對當前視角渲染虛擬物體的疊加效果，使之更真實沒有違和感。VR/AR代表性產品中微軟Hololens、谷歌ProjectTango以及MagicLeap都應用了SLAM作為視覺增強手段。

無人機領域：地圖建模。SLAM可以快速構建局部3D地圖，並與地理信息系統（GIS）、視覺對象識別技術相結合，可以輔助無人機識別路障並自動避障規劃路徑，曾經刷爆核升美國朋友圈的Hovercamera無人機，就應用到了SLAM技術。

無人孫枯駕駛領域：視覺里程計。SLAM技術可以提供視覺里程計功能，並與GPS等其他定位方式相融合，從而滿足無人駕駛精準定位的需求。例如，應用了基於激光雷達技術Google無人駕駛車以及牛津大學MobileRoboticsGroup11年改裝的無人駕駛汽車野貓(Wildcat)均已成功路測。

以上內容參考：slam路徑規劃演算法 - CSDN

㈣ 無人駕駛(三)行人跟蹤演算法

姓名：王夢妮

學號：20021210873

學院：電子工程學院

【嵌牛導讀】本文主要介紹了無人駕駛中所需的行人跟蹤演算法

【嵌牛鼻子】無人駕駛 環境感知 計算機視覺 卡爾曼濾波 粒子濾波 均值漂移

【嵌牛提問】無人駕駛中所用到的行人跟蹤演算法有哪些

【嵌牛正文】

行人跟蹤一直是視覺領域的一個難點，實際應用環境復雜、遮擋以及行人姿態變化等外界因素都影響著行人跟蹤演算法的研究。行人跟蹤演算法模型主要分為生成模型和判別模型。

（一）生成式模型

生成式模型是一種通過在線學習行人目標特徵，建立行人跟蹤模型，然後使用模型來搜索誤差最小的目標區域，從而完成對行人的跟蹤。這種演算法在構建模型只考慮了行人本身的特徵，忽略了背景信息，沒有做到有效利用圖像中的全部信息。其中比較經典的演算法主要有卡爾曼濾波，粒子濾波，mean-shift等。

（1）卡爾曼濾波演算法

卡爾曼濾波演算法是一種通過對行人構建狀態方程和觀測方程為基礎，計算最小均方誤差來實現跟蹤的最優線性遞歸濾波演算法，通過遞歸行人的運動狀態來預測行人軌跡的變化。

首先設定初始參數，讀取視頻序列。然後進行背景估計，產生初始化背景圖像。然後依次讀取視頻序列，利用Kahnan濾波演算法，根據上一幀估計的背景和當前幀數據得到當前幀的前景目標。然後對前景目標進行連通計算，檢測出運動目標的軌跡。經典的卡爾曼濾波演算法．只能對線性運動的行人實現跟蹤，之後學者改進了卡爾曼濾波演算法，能夠實現對非線性運動的行人進行跟蹤，計算量小，能實現實時跟蹤，但是跟蹤效果不理想。

（2）粒子濾波

    粒子濾波的核心就是貝葉斯推理和重要性采樣。粒子濾波可用於非線性非高斯模型，這是由於貝葉斯推理採用蒙特卡洛法，以某個時間點事件出現的頻率表示其概率。通過一組粒子對整個模型的後驗概率分布進行近似的表示，通過這個表示來估計整個非線性非高斯系統的狀態。重要性採用就是通過粒子的置信度來賦予不同的權重，置信度高的粒子，賦予較大的權重，通過權重的分布形式表示相似程度。

（3）均值漂移（mean-shift）

    Mean-shift演算法屬於核密度估計法。不必知道先驗概率，密度函數值由采樣點的特徵空間計算。通過計算當前幀目標區域的像素特徵值概率來描述目標模型，並對候選區域進行統一描述，使用相似的函數表示目標模型與候選模板之間的相似度，然後選擇在具有相似函數值最大的候選模型中，您將獲得關於目標模型的均值漂移向量，該向量表示目標從當前位置移動到下一個位置的向量。通過連續迭代地計算均值偏移矢量，行人跟蹤演算法將最終收斂到行人的實際位置，從而實現行人跟蹤。

（二） 判別式模型

判別模型與生成模型不同，行人跟蹤被視為二分類問題。提取圖像中的行人和背景信息，並用於訓練分類器。通過分類將行人從圖像背景中分離出來，以獲取行人的當前位置。以行人區域為正樣本，背景區域為負樣本，通過機器學習演算法對正樣本和負樣本進行訓練，訓練後的分類器用於在下一幀中找到相似度最高的區域，以完成行人軌跡更新。判別式模型不像生成式模型僅僅利用了行人的信息，還利用了背景信息，因此判別式模型的跟蹤效果普遍優於生成式模型。

（1）基於相關濾波的跟蹤演算法

      核相關濾波(KCF)演算法是基於相關濾波的經典跟蹤演算法，具有優良的跟蹤效果和跟蹤速度。這是由於其採用了循環移位的方式來進行樣本生產，用生成的樣本來訓練分類器，通過高斯核函數來計算當前幀行人與下一幀中所有候選目標之間的相似概率圖，找到相似概率圖最大的那個候選目標，就得到了行人的新位置。KCF演算法為了提高跟蹤精度，使用HOG特徵對行人進行描述，同時結合了離散傅里葉變換來降低計算量。

（2）基於深度學習的跟蹤演算法

    近年來，深度學習在圖像和語音方面取得了較大的成果，因此有許多科研人員將深度學習與行人跟蹤相結合，取得了比傳統跟蹤演算法更好的性能。DLT就是一個基於深度學習的行人跟蹤演算法，利用深度模型自動編碼器通過離線訓練的方式，在大規模行人數據集上得到一個行人模型，然後在線對行人進行跟蹤來微調模型。首先通過粒子濾波獲取候選行人目標，然後利用自動編碼器進行預測，最終得到行人的預測位置即最大輸出值的候選行人目標位置。2015年提出的MDNet演算法採用了分域訓練的方式。對於每個類別，一個單獨的全連接層用於分類，並且全連接層前面的所有層都是共享，用於特徵提取。2017年提出的HCFT演算法使用深度學習對大量標定數據進行訓練，得到強有力的特徵表達模型，結合基於相關濾波的跟蹤演算法，用於解決在線進行跟蹤過程中行人樣本少、網路訓練不充分的問題。此外，通過深度學習提取特徵，利用數據關聯的方法來實現跟蹤的演算法，其中最為著名的就JPDAF與MHT這兩種方法。

㈤ 基於行人軌跡預測的無人駕駛汽車主動避撞的演算法是什麼

首先要了解行人步行的意圖，要預測行人之後的運動軌跡，要通過行人圖像信息的方式確定位置，之後傳給車載感測器，要提高行車安全問題，還應該保證道路的正常通行，要預防轉移的可能性，要預測最佳的動態狀態。

㈥ 人工智慧在無人駕駛的應用

人工智慧在無人駕駛中的具體應用
人工智慧技術是無人納擾駕駛發展的基礎，並且在系統上有著大量的應用，可以說是密不可分。這其中主要分為三大部分：環境感知模塊、決策規劃模塊以及控制執行模塊。
（1）環境感知模塊
作為無人駕駛中最重要的一環，它的發展往往決定了無人駕駛的應用程度。無人駕駛最重要的遲茄氏就是實時感知周圍環境信息，以便及時獲取數據信息，這些都是由感測器完成的，比如攝像頭、激光雷達、毫米波雷達、超聲波感測器[4]，無論是在熟悉的環境還是新環境，汽車可根據這些感測器數據做聚類處理，並利用各種演算法對周圍進行車道線或標志物檢測，並通過系統內的分析模塊來分析。唯一的不足就是已有的自身感知技術無法達到較高精度，只能通過GPS獲取車身狀態信息，位置來進行導航。
（2）決策規劃模塊
根據感測器傳回的實時路網信息、交通環境信息和自身駕駛狀態等信息，無人駕駛系統通過分析來產生決策，比如遵守交通規則（包括突發異常狀況）的安全快速的自動駕駛決策[5]。這與最近剛出現的5G技術有關，由於無人駕駛碼散技術在道路上會有巨量的實時數據進行傳輸和獲取，原本的網路技術已經滿足不了這種需求，5G就合理的應用起來，既更加保證了行駛的安全，也加速了該技術的發展。
（3）控制執行模塊
根據規劃的行駛軌跡，以及當前行駛的位置、姿態和速度，產生對油門、剎車、方向盤和變速桿等的控制命令。傳統控制方法有PID 控制、滑模控制、模糊控制、模型預測控制等[6]。如較低等級的汽車定速巡航到現在的無人駕駛都是這一模塊控制的具體體現。