視覺演算法題

A. 無人駕駛(二)行人檢測演算法

姓名：王夢妮

學號：20021210873

學院：電子工程學院

【嵌牛導讀】本文主要介紹了無人駕駛中所需的行人檢測演算法

【嵌牛鼻子】無人駕駛 環境感知 計算機視覺 SVM Adaboost演算法 R.CNN

【嵌牛提問】無人駕駛中所用到的行人檢測演算法有哪些

【嵌牛正文】

在同樣的交通路況下，無人車通過對自身運動狀態及行駛環境信息進行分析，決策出最佳行駛策略和行駛方案代替駕駛員完成一系列駕駛沖升拆行為，從而降低道路交通事故的發生率。而在無人駕駛中最為重要的技術便是環境感知，而在城市道路上有大量的行人出行，只有準確快速地檢測出行人與對其進行跟蹤，才能避免車撞人。

計算機視覺是研究賦予機器「人眼」功能的科學，通過多個感測器來獲取一定范圍內的色彩數據，用演算法分析得到的數據從而理解周圍環境，這個過程模擬了人眼以及大腦的處理過程，從而賦予機器視覺感知能力。現有的行人檢測技術大多都是檢測照片中的行人目標，這種照片的拍攝大多是拍攝的靜止目標，圖像的解析度和像素點包含的語義信息都及其豐富，對應的演算法在這樣的圖片上往往能取得理想的效果，但是用於無人車的「眼睛」，演算法的魯棒性就表現的非常差。這是因為在實際的道路環境中，攝像頭需要搭載的車身上，在行進過程中跟隨車以一定的速度移動，並且在實際道路中，行人目標往往是在運動的，由此提取出拍攝視頻中的一幀就會出現背景虛化，造成像素點包含的語義信息大量減少，增加了行人檢測的難度。

行人檢測是計算機視覺領域的一個重要研究課題。在實際生活中，行人大多處於人口密集、背景復雜笑攔的城市環境中，並且行人的姿態各不相同，如何將行人從色彩豐富、形狀相似的環境中快速准確地提取出來，是行人檢測演算法的難點。

行人檢測演算法分為兩大類，一散棗類是基於傳統圖像處理，另一類是基於深度學習的方法。近年來隨著計算機計算速度的大幅提升，基於深度學習的方法有著越來越高的檢測速度與檢測精度，在行人檢測領域應用越加廣泛。

（一）基於傳統圖像處理的行人檢測演算法

使用傳統的圖像處理方法來做行人檢測一般都是由兩個步驟組成，第一就是需要手工設計一個合理的特徵，第二就是需要設計一個合理的分類器。手工設計特徵就是找到一種方法對圖像內容進行數學描述，用於後續計算機能夠區分該圖像區域是什麼物體，分類器即是通過提取的特徵判斷該圖像區域屬於行人目標還是屬於背景。在傳統的圖像處理領域，手工特徵有許多種，比如顏色特徵、邊緣特徵(canny運算元和sobel運算元)以及基於特徵點的描述子(方向梯度直方圖)等。 學者們一致認為方向梯度直方圖是最適合行人檢測的人工特徵，其主要原理是對圖像的梯度方向直方圖進行統計來表徵圖像。該特徵是由Dalal於2005提出的，並與SVM分類器相結合，在行人檢測領域取得了前所未有的成功。

傳統的行人檢測方法首先需要通過提取手工設計特徵，再使用提取好的特徵來訓練分類器，得到一個魯棒性良好的模型。在行人檢測中應用最廣泛的分類器就是SVM和Adaboost。SVM分類器就是要找到一個超平面用來分割正負樣本，這個超平面的滿足條件就是超平面兩側的樣本到超平面的距離要最大，即最大化正負樣本邊界。下圖即為線性SVM的示意圖。

Adaboost分類演算法的主要原理不難理解，就是採用不同的方法訓練得到一系列的弱分類器，通過級聯所有的弱分類器來組成一個具有更高分類精度的強分類器，屬於一種迭代演算法。原理簡單易於理解且有著良好的分類效果，唯一不足就是練多個弱分類器非常耗時。下圖為面對一個二分類問題，Adaboost演算法實現的細節。

           

 

（二）基於深度學習的行人檢測演算法

    近年來，隨著硬體計算能力的不斷增強，基於卷積神經網路的深度學習飛速發展，在目標檢測領域取得了更好的成績。卷積神經網路不再需要去手動設計特徵，只需要將圖片輸入進網路中，通過多個卷積層的卷積操作，提取出圖像的深層語義特徵。要想通過深度學習的方法得到一個性能良好的模型，需要大量的樣本數據，如果樣本過少，就很難學習到泛化能力好的特徵，同時在訓練時，由於涉及到大量的卷積操作，需要進行大量計算，要求硬體設備具有極高的算力，同時訓練起來也很耗時。隨著深度學習的飛速發展，越來越多基於深度學習的模型和方法不斷被提出，深度學習在目標檢測領域會有更加寬廣的發展空間。

Ross Girshick團隊提出了R.CNN系列行人檢測演算法，其中Faster R—CNN 演算法通過一個區域提議網路來生成行人候選框，在最後的特徵圖上滑動來確定候選框。Faster RCNN是首個實現端到端訓練的網路，通過一個網路實現了特徵提取、候選框生成、邊界框回歸和分類，這樣的框架大大提高了整個網路的檢測速度。 He Kaiming等人在2017年提出Mask R—CNN演算法，該演算法改進了Faster·R—CNN， 在原有的網路結構上增加了一個分支進行語義分割，並用ROI Align替代了ROI Pooling，取得了COCO數據集比賽的冠軍。

B. 百度計算機視覺演算法工程師面經(research 崗，已offer)

一面(技術面)：
1、相機外參，相機內參
2、分水嶺演算法
3、目標檢測了解嗎
4、3D這塊有了解嗎
5、論文是你寫的嗎
6、介紹一下圖像分割
7、Deeplab v1, v2, v3, v3+
8、U-net後續改進
9、Non-local
10、經典三維重建公式
11、分割常用backbone

二面(技術面)：
1、數據增強方法
2、dropout方法
3、圖像分割常見深度學習方法
4、簡單介紹一下三維重建項目，平行還是stereo，如何估計的depth map
5、deep lab v3與deep lab v3+的區別
6、深度可分離卷積介紹，輸入輸出，channel數
7、為什麼mobile net要用深度可分離卷積
8、數據集imbalance如何處理
9、常見的圖像分割損失函數
10、iou能作為損失函數嗎
11、linux 下shell命令行開發熟悉嗎
12、組里以發論文為主，寫論文的意願
13、相機鉛培內外參
14、現在大幾，可實習到段激猜什麼時候
15、希望自驅性比較高

三面(hr面)
因為是日常實習崗不是校招所以沒有...

總結
二次面試過程中我都有些太隨意了，有過一些打斷面試小姐姐握型說話的舉動，謝謝說的比較少，中間不舒服還活動了下嗓子...還好問的問題比較簡單最後過了。

C. 機器視覺特徵描述方法

常用的機器視覺提取特徵方法有哪些？一般常用的機器視覺圖像特徵有顏色特徵、紋理特徵、形狀特徵、空間關系特徵，沃德普機器視覺昨天給大家介紹過了顏色特徵的提取，今天給大家介紹的是紋理特徵、形狀特徵、空間關系特徵這三種特徵方法提取。
1.紋理特徵描述方法分類：
（1）統計方法
統計方法的典型代表是一種稱為灰度共生矩陣的紋理特徵分析方法，在研究共生矩陣中各種統計特徵基礎上，通過實驗，得出灰度共生矩陣的四個關鍵特徵：能量、慣量、熵和相關性。統計方法中另一種典型方法，則是從圖像的自相關函數（即圖像的能量譜函數）提取紋理特徵，即通過對圖像的能量譜函數的計算，提取紋理的粗細度及方向性等特徵參數。
（2）幾何法
所謂幾何法，是建立在紋理基元（基本的紋理元素）理論基礎上的一種紋理特徵分析方法。紋理基元理論認為，復雜的紋理可以由若干簡單的紋理基元以一定的有規律的形式重復排列構成。在幾何法中，比較有影響的演算法有兩種：Voronio 棋盤格特徵法和結構法。
（3）模型法
模型法以圖像的構造模型為基礎，採用模型的參數作為紋理特徵。典型的方法是隨機場模型法，如馬爾可夫（Markov）隨機場（MRF）模型法和 Gibbs 隨機場模型法。
（4）信號處理法
紋理特徵的提取與匹配主要有：灰度共生矩陣、Tamura 紋理特徵、自回歸紋理模型、小波變換等。
灰度共生矩陣特徵提取與匹配主要依賴於能量、慣量、熵和相關性四個參數。Tamura 紋理特徵基於人類對紋理的視覺感知心理學研究，提出6種屬性，即：粗糙度、對比度、方向度、線像度、規整度和粗略度。自回歸紋理模型（simultaneous auto-regressive, SAR）是馬爾可夫隨機場（MRF）模型的一種應用實例。