圖片追蹤演算法

㈠ 視覺追蹤的分類

（1）單攝像頭與多攝像頭
在視頻跟蹤的過程中，根據使用的攝像頭的數目，可將目標跟蹤方法分為單攝像頭跟蹤方法（Monocular camera）與多攝像頭跟蹤方法（Multiple cameras）。由於單攝像頭視野有限，大范圍場景下的目標跟蹤需要使用多攝像頭系統。基於多個攝像頭的跟蹤方法有利於解決遮擋問題，場景混亂、環境光照突變情況下的目標跟蹤問題。
（2）攝像頭靜止與攝像頭運動
在實際的目標跟蹤系統中，攝像頭可以是固定在某個位置，不發生變化，也可以是運動，不固定的。例如，對於大多數的視頻監視系統而言，都是在攝像機靜止狀態下，對特定關注區域進目標的識別跟蹤；而在視覺導航等的應用系統中，攝像頭往往隨著無人汽車、無人機等載體進行運動。
（3）單目標跟蹤與多目標跟蹤
根據跟蹤目標的數量可以將跟蹤演算法分為單目標跟蹤與多目標跟蹤。相比單目標跟蹤而言，多目標跟蹤問題更加復雜和困難。多目標跟蹤問題需要考慮視頻序列中多個獨立目標的位置、大小等數據，多個目標各自外觀的變化、不同的運動方式、動態光照的影響以及多個目標之間相互遮擋、合並與分離等情況均是多目標跟蹤問題中的難點。
（4）剛體跟蹤與非剛體跟蹤
根據被跟蹤目標的結構屬性，可將跟蹤目標分為剛體與非剛體。所謂剛體，是指具備剛性結構、不易形變的物體，例如車輛等目標；非剛體通常指外形容易變形的物體，例如布料表面、衣服表面等。針對剛體目標的跟蹤一直得到廣泛深入的研究，而非剛體目標的跟蹤，由於目標發生變形以及出現自身遮擋等現象，不能直接應用基於剛體目標的跟蹤演算法針對非剛體目標的跟蹤一直是非常困難並且具有挑戰性的課題。
（5）可見光與紅外圖像的目標跟蹤
根據感測器成像的類型不同，目標跟蹤還可以分為基於可見光圖像的跟蹤和基於紅外圖像的跟蹤。目標的紅外圖像和目標的可見光圖像不同，它不是人眼所能看到的可見光圖像，而是目標表面溫度分布的圖像。紅外圖像屬於被動式成像，無需各種光源照明，全天候工作，安全隱敝，使用方便；紅外光較之可見光的波長長得多，透煙霧性能較好，可在夜間工作。可見光圖像具有光譜信息豐富、解析度高、動態范圍大等優點，但在夜間和低能見度等條件下，成像效果差。
比較常用的目標跟蹤演算法有以下幾種：基於目標運動特徵的跟蹤演算法，如：幀差分法、基於光流的跟蹤方法等；基於視頻序列前後相關性的目標跟蹤演算法，如：基於模板的相關跟蹤演算法、基於特徵點的相關跟蹤演算法等；基於目標特徵參數的跟蹤演算法，如基於輪廓的跟蹤演算法、基於特徵點的跟蹤演算法等。另外，很多研究者將小波、人工智慧、神經網路等相關知識應用於目標跟蹤領域，並取得了很好的效果。以上這些演算法各有其優缺點，應該根據應用場合進行選擇。

㈡ 現在所說的多目標跟蹤是在單攝像頭還是多攝像頭下的

一、靜態背景下的目標跟蹤方法1、單目標：目標跟蹤還可以分為單目標的跟蹤和多目標的跟蹤。單目標的靜態背景下的目標跟蹤指的是攝像頭是固定在某一方位，其所觀察的視野也是靜止的。通常採用背景差分法，即先對背景進行建模，然後從視頻流中讀取圖像（我們稱之為前景圖像），將前景圖像與背景圖像做差，就可以得到進入視野的目標物體。對於目標的描述，通常用目標連通區域的像素數目的多少來表達目標的大小，或者用目標區域的高寬比等。目標的位置信息可採用投影的方式來定位。2、多目標：靜態環境下的多目標跟蹤，需要確定每個目標的特徵，位置，運動方向，速度等信息。3、預處理：由於獲得的圖像總會有著雜訊，需要對圖像做一些預處理，如高斯平滑，均值濾波，或者進行一些灰度拉伸等圖像增強的操作。二、動態背景下的目標跟蹤 攝像頭在雲台控制下的旋轉，會使得他所採集的圖像時可在變化，所以，對於整個目標跟蹤過程來說，背景是變化，目標也是在整個過程中運動的，所以跟蹤起來較有難度。 目前課題組提出的方案是：跟蹤過程：在攝像頭不同偏角情況下取得若干背景圖片，建立背景圖片庫――>攝像頭保持固定時，取得當前幀圖片，與圖片庫中的背景圖像匹配，背景差分(灰度差分？)，獲得目標――>目標特徵提取――>實時獲得當前幀圖片，採用跟蹤演算法動態跟蹤目標。 提取特徵是一個難點，課題組提出多顏色空間分析的方法。根據彩色圖像在不同的顏色空間里表徵同一物體呈現出的同態性，可以把目標物體在不同的顏色空間里進行分解，並將這些關鍵特徵信息進行融合，從而找出判別目標的本質特徵。跟蹤過程中採用的各種方法說明：1）在0－360度不同偏角時，獲得背景圖片，可進行混合高斯背景建模，建立圖片庫，以俯仰角和偏轉角不同標志每張背景圖片，以備匹配使用；2）背景差分獲得目標後，對差分圖像需要進行平滑、去噪等處理，去除干擾因素；3）對目標採用多顏色空間（HSV、YUV）特徵提取，對不同顏色空間的特徵相與（AND），得到目標特徵，以更好的在當前幀圖片中找到目標；4）實時得到的當前幀圖片，進行混合高斯建模，排除樹葉搖動等引起的背景變化；5）跟蹤演算法可採用多子塊匹配方法、camshift方法等。

㈢ camshift或者mishift 運動目標自動跟蹤的實現

camshift 實現自動化跟蹤的小技巧opencv 提供了使用基於顏色的跟蹤演算法camshift, 很好的演算法，可是它是個半自動的演算法，它需要用戶在跟蹤界面設定跟蹤的目標。怎麼預先設定目標再來跟蹤呢？
本人偷了個懶，加入了用一張圖片來設定跟蹤的目標，在啟動中載入圖片，生成跟蹤需要的histogram。這樣實現了自動化的跟蹤吧。步驟如下：
1. 找到你需要跟蹤的物體，拿到攝像頭前，照一張相（print screen），這里需要注意的是，由於光線變化，臨近攝像頭會亮一些，離遠會暗一些，那麼最好跟蹤的物體的拍攝顏色與實際跟蹤中顏色相近。2. 打開畫筆功能，新建一張圖片(320*240)，大小與視頻源圖像一致，把物體截取放大，這樣跟蹤的顏色區域就都在圖像中了。 3。在代碼中加入 void loadTemplateImage()
{
IplImage *tempimage = cvLoadImage("F:/OM_tracking/Test cam shift/ShadowTrack/Debug/green.bmp",1);
cvCvtColor( tempimage, hsv, CV_BGR2HSV );
int _vmin = vmin, _vmax = vmax; cvInRangeS( hsv, cvScalar(0,smin,MIN(_vmin,_vmax),0),
cvScalar(180,256,MAX(_vmin,_vmax),0), mask );

cvSplit( hsv, hue, 0, 0, 0 );

selection.x = 1;
selection.y = 1;
selection.width = 320-1;
selection.height= 240-1; cvSetImageROI( hue, selection );
cvSetImageROI( mask, selection );
cvCalcHist( &hue, hist, 0, mask ); float max_val = 0.f;

cvGetMinMaxHistValue( hist, 0, &max_val, 0, 0 );
cvConvertScale( hist->bins, hist->bins, max_val ? 255. / max_val : 0., 0 );
cvResetImageROI( hue );
cvResetImageROI( mask );
track_window = selection;
track_object = 1; cvReleaseImage(&tempimage);}4，去掉原來的生成Hist的代碼。在啟動時候加入loadTemplateImage5.運行代碼，看結果吧. 代碼這里下載

㈣ 什麼叫圖像跟蹤技術，主要應用的什麼領域

利用可見光成像和紅外成像感測器實現實時目標成像跟蹤是精確制導武器的核心技術，隨著實際戰場環境日益復雜，偽裝、隱身等目標特性控制技術飛速發展，極大地增加了實時目標成像跟蹤系統研究的難度。目前，盡管國內外對該領域的關鍵技術進行了大量的研究，並取得了一些成果，但實時成像跟蹤系統研究中許多實際問題仍沒有得到很好的解決，有待進一步深入研究。紅外跟蹤處理器系統對實時性要求極高，要求必須具有處理大數據量的能力，以保證系統的實時性；其次對系統的體積、功耗、穩定性等也有較嚴格的要求。實時信號處理演算法中經常用到對圖像的求和、求差運算，二維梯度運算，圖像分割及區域特徵提取等不同層次、不同種類的處理。其中有的運算本身結構比較簡單，但是數據量大，計算速度要求高，適於用FPGA進行硬體實現；有些處理對速度並沒有特殊的要求，但計算方式和控制結構比較復雜，難以用純硬體實現，適於用運算速度高、定址方式靈活、通信機制強大的DSP晶元來實現。本系統選擇計算簡單，匹配精度高的平均絕對差（MAD）演算法，為了方便硬體實現，對演算法加以適當改進，同時提高了系統運算速度及目標定位精度。並研究了相關跟蹤置信度評估、模板自適應刷新准則，系統抗干擾能力，以及相似目標辨識、目標丟失判斷和再捕獲策略，有效地提高了系統復雜場景條件下目標跟蹤的穩定性。

㈤ 若對一個視頻圖像中的人物進行跟蹤,會用到哪些圖像處理技術請用流程圖將之間

錄像監控人物活動時通常需要對人物進行跟蹤。人物的行為信息可以從他們運動產生軌跡線的特點以及他們之間的相互作用中推得。對單個對象的位置或者軌跡線進行分析，可以檢測出人物是否處在禁區、在跑、在跳或是在躲藏。把兩個人或是更多人的信息聯系在一起，就可以得到他們之間的互動信息。從採集的圖像獲取其中包含的物體信息的過程中，兩個步驟顯得尤為重要：前景檢測和目標跟蹤。本文中，我們提出了一種簡單的基於亮度對比度的前景檢測方法和一種僅僅依賴於對象匹配信息的跟蹤演算法，而不需要對模型進行統計學描述或是運動特性預測那麼麻煩。用到的追蹤器是英國工程和自然科學研究委員會在PerSer[14]項目中研發的軟體中的一部分。最初計劃與倫敦地鐵站（室內）的CCTVfootage合作，但相比獲得目標的精確軌跡，他們更側重於實時性和對象間相互作用的研究。雖然沒用到背景更新技術，這個演算法已經經過了PETS2001圖像集的測試，證明它能夠提供簡單的運動軌跡。建議事件監測的進一步研究要基於對象重心和運動軌跡

㈥ 圖形學中，光線投射演算法與光線追蹤追蹤演算法的區別

基本概念
光線投射：http://202.118.167.67/eol/data/res/jsjtxx/Chapter2/CG_Txt_2_044.htm
光線追蹤：http://zh.wikipedia.org/wiki/%E5%85%89%E7%B7%9A%E8%BF%BD%E8%B9%A4

區別
光線投射和光線追蹤都會先建立一個從視點出發到場景中某個物體的Ray，不同之處是當Ray射中某個物體一次後，光線投射演算法就停止。但是光線追蹤演算法會繼續考慮該條Ray的反射，折射光線Ray'，並把Ray'作為新的入射光線,繼續檢測其是否會射中場景中的其他物體，如此遞歸若干次。
簡而言之，光線追蹤是recursive的，光線投射就像是光線追蹤的child ray，只需要進行一次碰撞檢測就好。

應用場合
二者均被應用於靜態三維繪圖，三維電腦游戲以及動畫等實時模擬場合，具體來說
光線投射：在圖像的視覺細節不太重要或者是通過人為製造細節可以得到更好的計算效率的場合。
光線追蹤：追求高質量視覺效果的場合

參考：
http://www.gamedev.net/topic/431216-difference-between-ray-casting-and-ray-tracing/
http://zh.wikipedia.org/wiki/%E6%B8%B2%E6%9F%93
http://202.118.167.67/eol/data/res/jsjtxx/index.htm
http://wenku..com/view/17a5fdec856a561252d36f82.html

㈦ 計算機視覺中，目前有哪些經典的目標跟蹤演算法

目前tracking主要是兩種，discriminative和generative，當然也有combine兩個的比如SCM。你提到的都是前者，就是演算法裡面基本有一個classifier可以分辨要追蹤的物體。這類除了你說的最近比較火的還有速度極占優勢的CSK（後來進化成KCF/DCF了）

㈧ 視覺追蹤的典型演算法

（1）基於區域的跟蹤演算法
基於區域的跟蹤演算法基本思想是：將目標初始所在區域的圖像塊作為目標模板，將目標模板與候選圖像中所有可能的位置進行相關匹配，匹配度最高的地方即為目標所在的位置。最常用的相關匹配准則是差的平方和准則，(Sum of Square Difference，SSD)。
起初，基於區域的跟蹤演算法中所用到的目標模板是固定的，如 Lucas 等人提出 Lucas-Kanade 方法，該方法利用灰度圖像的空間梯度信息尋找最佳匹配區域，確定目標位置。之後，更多的學者針對基於區域方法的缺點進行了不同的改進，如：Jepson 等人提出的基於紋理特徵的自適應目標外觀模型[18],該模型可以較好的解決目標遮擋的問題，且在跟蹤的過程中採用在線 EM 演算法對目標模型進行更新；Comaniciu 等人[19]提出了基於核函數的概率密度估計的視頻目標跟蹤演算法，該方法採用核直方圖表示目標，通過 Bhattacharya 系數計算目標模板與候選區域的相似度，通過均值漂移(MeanShift)演算法快速定位目標位置。
基於區域的目標跟蹤演算法採用了目標的全局信息，比如灰度信息、紋理特徵等，因此具有較高的可信度，即使目標發生較小的形變也不影響跟蹤效果，但是當目標發生較嚴重的遮擋時，很容易造成跟蹤失敗。
（2）基於特徵的跟蹤方法
基於特徵的目標跟蹤演算法通常是利用目標的一些顯著特徵表示目標，並通過特徵匹配在圖像序列中跟蹤目標。該類演算法不考慮目標的整體特徵，因此當目標被部分遮擋時，仍然可以利用另一部分可見特徵完成跟蹤任務，但是該演算法不能有效處理全遮擋、重疊等問題。
基於特徵的跟蹤方法一般包括特徵提取和特徵匹配兩個過程：
a) 特徵提取
所謂特徵提取是指從目標所在圖像區域中提取合適的描繪性特徵。這些特徵不僅應該較好地區分目標和背景，而且應對目標尺度伸縮、目標形狀變化、目標遮擋等情況具有魯棒性。常用的目標特徵包括顏色特徵、灰度特徵、紋理特徵、輪廓、光流特徵、角點特徵等。D.G. Lowe 提出 SIFT(Scale Invariant Feature Transform)演算法[20]是圖像特徵中效果較好的一種方法，該特徵對旋轉、尺度縮放、亮度變化具有不變性，對視角變化、仿射變換、雜訊也具有一定的穩定性。
b) 特徵匹配
特徵匹配就是採用一定的方式計算衡量候選區域與目標區域的相似性，並根據相似性確定目標位置、實現目標跟蹤。在計算機視覺領域中，常用的相似性度量准則包括加權距離、Bhattacharyya 系數、歐式距離、Hausdorff 距離等。其中，Bhattacharyya 系數和歐式距離最為常用。
Tissainayagam 等人提出了一種基於點特徵的目標跟蹤演算法[21]。該演算法首先在多個尺度空間中尋找局部曲率最大的角點作為關鍵點，然後利用提出的MHT-IMM 演算法跟蹤這些關鍵點。這種跟蹤演算法適用於具有簡單幾何形狀的目標，對於難以提取穩定角點的復雜目標，則跟蹤效果較差。
Zhu 等人提出的基於邊緣特徵的目標跟蹤演算法[22]，首先將參考圖像劃分為多個子區域，並將每個子區域的邊緣點均值作為目標的特徵點，然後利用類似光流的方法進行特徵點匹配，從而實現目標跟蹤。
（3）基於輪廓的跟蹤方法
基於輪廓的目標跟蹤方法需要在視頻第一幀中指定目標輪廓的位置，之後由微分方程遞歸求解，直到輪廓收斂到能量函數的局部極小值，其中，能量函數通常與圖像特徵和輪廓光滑度有關。與基於區域的跟蹤方法相比，基於輪廓的跟蹤方法的計算復雜度小，對目標的部分遮擋魯棒。但這種方法在跟蹤開始時需要初始化目標輪廓，因此對初始位置比較敏感，跟蹤精度也被限制在輪廓級。
Kass 等人[23]於 1987 年提出的活動輪廓模型(Active Contour Models，Snake)，通過包括圖像力、內部力和外部約束力在內的三種力的共同作用控制輪廓的運動。內部力主要對輪廓進行局部的光滑性約束，圖像力則將曲線推向圖像的邊緣，而外部力可以由用戶指定，主要使輪廓向期望的局部極小值運動，。
Paragios 等人[24]提出了一種用水平集方法表示目標輪廓的目標檢測與跟蹤演算法，該方法首先通過幀差法得到目標邊緣，然後通過概率邊緣檢測運算元得到目標的運動邊緣，通過將目標輪廓向目標運動邊緣演化實現目標跟蹤。
（4）基於模型的跟蹤方法[25]
在實際應用中，我們需要跟蹤的往往是一些特定的我們事先具有認識的目標，因此，基於模型的跟蹤方法首先根據自己的先驗知識離線的建立該目標的 3D 或2D 幾何模型，然後，通過匹配待選區域模型與目標模型實現目標跟蹤，進而在跟蹤過程中，根據場景中圖像的特徵，確定運動目標的各個尺寸參數、姿態參數以及運動參數。
Shu Wang 等人提出一種基於超像素的跟蹤方法[26]，該方法在超像素基礎上建立目標的外觀模板，之後通過計算目標和背景的置信圖確定目標的位置，在這個過程中，該方法不斷通過分割和顏色聚類防止目標的模板漂移。
（5）基於檢測的跟蹤演算法
基於檢測的跟蹤演算法越來越流行。一般情況下，基於檢測的跟蹤演算法都採用一點學習方式產生特定目標的檢測器，即只用第一幀中人工標記的樣本信息訓練檢測器。這類演算法將跟蹤問題簡化為簡單的將背景和目標分離的分類問題，因此這類演算法的速度快且效果理想。這類演算法為了適應目標外表的變化，一般都會採用在線學習方式進行自更新，即根據自身的跟蹤結果對檢測器進行更新。

㈨ 高效光線跟蹤的演算法有那些

淺析3D Max中的高級燈光技術

摘要：3D Max在3D製作軟體中渲染功能一直比較薄弱，使其只甘居Maya等3D製作軟體之下。為彌補這一缺陷，在5.0版中3D Max增加了高級燈光技術，擁有光能傳遞、光線追蹤器兩個全局照明系統，在渲染功能上有了非常顯著的改善。本文主要介紹新的光能傳遞演算法。

關鍵詞：渲染 全局照明 光能傳遞

3D MAX 的渲染功能一直比較薄弱，其效果遠不如其他軟體（例如Maya）那樣逼真，這在很大程度上是因為3D MAX默認的燈光技術不夠先進。

在3D MAX中經常使用「光線追蹤（Ray-Trace）」材質，與之相聯系的就是光線追蹤渲染演算法。這種演算法假設發出很多條光線，光線遇到物體時，被遮擋、反射或者折射，通過跟蹤這些光線，就可以得到場景的渲染效果。但是這種方法有一個嚴重的缺點，就是不能反映現實生活中光的很多特性。例如，在現實生活中，燈光照射到物體後，每個物體都會發射一部分光線，形成環境光，從而導致沒有被燈光直射的物體也能被照明，而不是完全出於黑暗狀態。又如，把一個紅色物體靠近白色的牆壁，那麼牆壁靠近物體的地方會顯出也帶有紅色。還有很多諸如此類的燈光效果，使用光線追蹤演算法都不能產生。

為了解決這些問題，人們發明了更先進的演算法來計算燈光的效果，這就是「光能傳遞（Radiosity）」演算法。這種演算法把光作為光量子看待（實際上更符合現代物理學），通過計算光量子的能量分布獲得渲染結果。這種方法能夠獲得最逼真的照明效果，因此，通常將光能傳遞演算法和光線追蹤演算法結合起來，以獲得最佳的效果。3D MAX5.0新增的高級光照功能則包含了兩個不同的系統：光能傳遞（radiosity）和光線追蹤器（light tracer）。它所得到的結果非常接近對真實事物的再現。

光線追蹤器比較通用，也容易使用，使用它不需要理解許多技術概念，任何模型和燈的類型都適用。光能傳遞相對較復雜，需要為這種處理方式專門准備模型和場景。燈必須是光度控制燈，材質也必須仔細設計。但光能傳遞在物理上是精確的，對於建築模型的精確設計是必須的，這一點非常重要，尤其當建模的目的是進行光照分析時。另外，光線追蹤器的結果與視點無關，而光能傳遞不是這樣的。光線追蹤器在每一幀都計算光照。光能傳遞只會計算一次，除非場景中的物體移動了或燈發生了變化，或者是從另一個不同的視點渲染場景時。基本原則是光線追蹤器更適用於有大量光照的室外場景、角色動畫和在空曠的場景中渲染物體。光能傳遞更適合於使用了聚光燈的室內場景和建築渲染。

使用光線追蹤器進行室內光照模擬時，為避免平坦表面上的噪波，可能需要相當高質量的設定和很長的渲染時間。光能傳遞則可以用更短的時間提供更好的效果。另一方面，光能傳遞用於有許多多邊形的角色模型時，需要額外的細化步驟、過濾，甚至是Regathering(重新聚合)。而光線追蹤器適用默認的設置一次渲染就可以得到更好的效果。

傳統的渲染引擎值考慮直接光照

不考慮反射光，然而，反射光是

一個場景的重要組成部分。 對相同的場景使用全局光照渲染，

上圖使用了光能傳遞（radiosity）

就可以得到一種真實的結果。

光能傳遞是在一個場景中重現從物體表面反射的自然光線，實現更加真實和物理上精確的照明結果。如圖所示。光能傳遞基於幾何學計算光從物體表面的反射。幾何面（三角形）成為光能傳遞進行計算的最小單位。大的表面可能需要被細分為小的三角形面以獲得更精確的結果。場景中三角形面的數目很重要。如果數目不夠結果會不精確，但如果太多時間又會太長。光能傳遞提供一種將大的三角形面自動細分的方法，同時也可以控制每個物體的細分和細化程度。光能傳遞依賴於材質和表面屬性以獲得物理上精確的結果。在場景中進行建模時必須牢記這一點。要使用光度控制燈，而且模型的幾何結構應盡可能准確。

1．單位

要獲得精確的結果，場景中作圖單位是一個基礎。如果單位是「英寸」，一個100×200×96單位的房間可以被一個相當於60瓦燈泡的光度控制燈正確照明，但如果單位是「米」，相同場景會變得非常暗。

2．光能傳遞的解決方案

光能傳遞是一個獨立於渲染的處理過程，一旦解決方案被計算出來，結果被保存在幾何體自己內部。對幾何體或光照作改變將使原解決方案無效。解決方案是為整個場景全局計算的，這意味著它與視點無關。一旦計算出來，就可以從任何方向觀察場景。當攝像機在一個固定場景中移動時，這將會節省時間。如果對幾何體或燈作了動畫，每一幀都必須計算光能傳遞。渲染菜單中的選項允許定義如何處理光能傳遞過程。

。