图片追踪算法

㈠ 视觉追踪的分类

（1）单摄像头与多摄像头
在视频跟踪的过程中，根据使用的摄像头的数目，可将目标跟踪方法分为单摄像头跟踪方法（Monocular camera）与多摄像头跟踪方法（Multiple cameras）。由于单摄像头视野有限，大范围场景下的目标跟踪需要使用多摄像头系统。基于多个摄像头的跟踪方法有利于解决遮挡问题，场景混乱、环境光照突变情况下的目标跟踪问题。
（2）摄像头静止与摄像头运动
在实际的目标跟踪系统中，摄像头可以是固定在某个位置，不发生变化，也可以是运动，不固定的。例如，对于大多数的视频监视系统而言，都是在摄像机静止状态下，对特定关注区域进目标的识别跟踪；而在视觉导航等的应用系统中，摄像头往往随着无人汽车、无人机等载体进行运动。
（3）单目标跟踪与多目标跟踪
根据跟踪目标的数量可以将跟踪算法分为单目标跟踪与多目标跟踪。相比单目标跟踪而言，多目标跟踪问题更加复杂和困难。多目标跟踪问题需要考虑视频序列中多个独立目标的位置、大小等数据，多个目标各自外观的变化、不同的运动方式、动态光照的影响以及多个目标之间相互遮挡、合并与分离等情况均是多目标跟踪问题中的难点。
（4）刚体跟踪与非刚体跟踪
根据被跟踪目标的结构属性，可将跟踪目标分为刚体与非刚体。所谓刚体，是指具备刚性结构、不易形变的物体，例如车辆等目标；非刚体通常指外形容易变形的物体，例如布料表面、衣服表面等。针对刚体目标的跟踪一直得到广泛深入的研究，而非刚体目标的跟踪，由于目标发生变形以及出现自身遮挡等现象，不能直接应用基于刚体目标的跟踪算法针对非刚体目标的跟踪一直是非常困难并且具有挑战性的课题。
（5）可见光与红外图像的目标跟踪
根据传感器成像的类型不同，目标跟踪还可以分为基于可见光图像的跟踪和基于红外图像的跟踪。目标的红外图像和目标的可见光图像不同，它不是人眼所能看到的可见光图像，而是目标表面温度分布的图像。红外图像属于被动式成像，无需各种光源照明，全天候工作，安全隐敝，使用方便；红外光较之可见光的波长长得多，透烟雾性能较好，可在夜间工作。可见光图像具有光谱信息丰富、分辨率高、动态范围大等优点，但在夜间和低能见度等条件下，成像效果差。
比较常用的目标跟踪算法有以下几种：基于目标运动特征的跟踪算法，如：帧差分法、基于光流的跟踪方法等；基于视频序列前后相关性的目标跟踪算法，如：基于模板的相关跟踪算法、基于特征点的相关跟踪算法等；基于目标特征参数的跟踪算法，如基于轮廓的跟踪算法、基于特征点的跟踪算法等。另外，很多研究者将小波、人工智能、神经网络等相关知识应用于目标跟踪领域，并取得了很好的效果。以上这些算法各有其优缺点，应该根据应用场合进行选择。

㈡ 现在所说的多目标跟踪是在单摄像头还是多摄像头下的

一、静态背景下的目标跟踪方法1、单目标：目标跟踪还可以分为单目标的跟踪和多目标的跟踪。单目标的静态背景下的目标跟踪指的是摄像头是固定在某一方位，其所观察的视野也是静止的。通常采用背景差分法，即先对背景进行建模，然后从视频流中读取图像（我们称之为前景图像），将前景图像与背景图像做差，就可以得到进入视野的目标物体。对于目标的描述，通常用目标连通区域的像素数目的多少来表达目标的大小，或者用目标区域的高宽比等。目标的位置信息可采用投影的方式来定位。2、多目标：静态环境下的多目标跟踪，需要确定每个目标的特征，位置，运动方向，速度等信息。3、预处理：由于获得的图像总会有着噪声，需要对图像做一些预处理，如高斯平滑，均值滤波，或者进行一些灰度拉伸等图像增强的操作。二、动态背景下的目标跟踪 摄像头在云台控制下的旋转，会使得他所采集的图像时可在变化，所以，对于整个目标跟踪过程来说，背景是变化，目标也是在整个过程中运动的，所以跟踪起来较有难度。 目前课题组提出的方案是：跟踪过程：在摄像头不同偏角情况下取得若干背景图片，建立背景图片库――>摄像头保持固定时，取得当前帧图片，与图片库中的背景图像匹配，背景差分(灰度差分？)，获得目标――>目标特征提取――>实时获得当前帧图片，采用跟踪算法动态跟踪目标。 提取特征是一个难点，课题组提出多颜色空间分析的方法。根据彩色图像在不同的颜色空间里表征同一物体呈现出的同态性，可以把目标物体在不同的颜色空间里进行分解，并将这些关键特征信息进行融合，从而找出判别目标的本质特征。跟踪过程中采用的各种方法说明：1）在0－360度不同偏角时，获得背景图片，可进行混合高斯背景建模，建立图片库，以俯仰角和偏转角不同标志每张背景图片，以备匹配使用；2）背景差分获得目标后，对差分图像需要进行平滑、去噪等处理，去除干扰因素；3）对目标采用多颜色空间（HSV、YUV）特征提取，对不同颜色空间的特征相与（AND），得到目标特征，以更好的在当前帧图片中找到目标；4）实时得到的当前帧图片，进行混合高斯建模，排除树叶摇动等引起的背景变化；5）跟踪算法可采用多子块匹配方法、camshift方法等。

㈢ camshift或者mishift 运动目标自动跟踪的实现

camshift 实现自动化跟踪的小技巧opencv 提供了使用基于颜色的跟踪算法camshift, 很好的算法，可是它是个半自动的算法，它需要用户在跟踪界面设定跟踪的目标。怎么预先设定目标再来跟踪呢？
本人偷了个懒，加入了用一张图片来设定跟踪的目标，在启动中加载图片，生成跟踪需要的histogram。这样实现了自动化的跟踪吧。步骤如下：
1. 找到你需要跟踪的物体，拿到摄像头前，照一张相（print screen），这里需要注意的是，由于光线变化，临近摄像头会亮一些，离远会暗一些，那么最好跟踪的物体的拍摄颜色与实际跟踪中颜色相近。2. 打开画笔功能，新建一张图片(320*240)，大小与视频源图像一致，把物体截取放大，这样跟踪的颜色区域就都在图像中了。 3。在代码中加入 void loadTemplateImage()
{
IplImage *tempimage = cvLoadImage("F:/OM_tracking/Test cam shift/ShadowTrack/Debug/green.bmp",1);
cvCvtColor( tempimage, hsv, CV_BGR2HSV );
int _vmin = vmin, _vmax = vmax; cvInRangeS( hsv, cvScalar(0,smin,MIN(_vmin,_vmax),0),
cvScalar(180,256,MAX(_vmin,_vmax),0), mask );

cvSplit( hsv, hue, 0, 0, 0 );

selection.x = 1;
selection.y = 1;
selection.width = 320-1;
selection.height= 240-1; cvSetImageROI( hue, selection );
cvSetImageROI( mask, selection );
cvCalcHist( &hue, hist, 0, mask ); float max_val = 0.f;

cvGetMinMaxHistValue( hist, 0, &max_val, 0, 0 );
cvConvertScale( hist->bins, hist->bins, max_val ? 255. / max_val : 0., 0 );
cvResetImageROI( hue );
cvResetImageROI( mask );
track_window = selection;
track_object = 1; cvReleaseImage(&tempimage);}4，去掉原来的生成Hist的代码。在启动时候加入loadTemplateImage5.运行代码，看结果吧. 代码这里下载

㈣ 什么叫图像跟踪技术，主要应用的什么领域

利用可见光成像和红外成像传感器实现实时目标成像跟踪是精确制导武器的核心技术，随着实际战场环境日益复杂，伪装、隐身等目标特性控制技术飞速发展，极大地增加了实时目标成像跟踪系统研究的难度。目前，尽管国内外对该领域的关键技术进行了大量的研究，并取得了一些成果，但实时成像跟踪系统研究中许多实际问题仍没有得到很好的解决，有待进一步深入研究。红外跟踪处理器系统对实时性要求极高，要求必须具有处理大数据量的能力，以保证系统的实时性；其次对系统的体积、功耗、稳定性等也有较严格的要求。实时信号处理算法中经常用到对图像的求和、求差运算，二维梯度运算，图像分割及区域特征提取等不同层次、不同种类的处理。其中有的运算本身结构比较简单，但是数据量大，计算速度要求高，适于用FPGA进行硬件实现；有些处理对速度并没有特殊的要求，但计算方式和控制结构比较复杂，难以用纯硬件实现，适于用运算速度高、寻址方式灵活、通信机制强大的DSP芯片来实现。本系统选择计算简单，匹配精度高的平均绝对差（MAD）算法，为了方便硬件实现，对算法加以适当改进，同时提高了系统运算速度及目标定位精度。并研究了相关跟踪置信度评估、模板自适应刷新准则，系统抗干扰能力，以及相似目标辨识、目标丢失判断和再捕获策略，有效地提高了系统复杂场景条件下目标跟踪的稳定性。

㈤ 若对一个视频图像中的人物进行跟踪,会用到哪些图像处理技术请用流程图将之间

录像监控人物活动时通常需要对人物进行跟踪。人物的行为信息可以从他们运动产生轨迹线的特点以及他们之间的相互作用中推得。对单个对象的位置或者轨迹线进行分析，可以检测出人物是否处在禁区、在跑、在跳或是在躲藏。把两个人或是更多人的信息联系在一起，就可以得到他们之间的互动信息。从采集的图像获取其中包含的物体信息的过程中，两个步骤显得尤为重要：前景检测和目标跟踪。本文中，我们提出了一种简单的基于亮度对比度的前景检测方法和一种仅仅依赖于对象匹配信息的跟踪算法，而不需要对模型进行统计学描述或是运动特性预测那么麻烦。用到的追踪器是英国工程和自然科学研究委员会在PerSer[14]项目中研发的软件中的一部分。最初计划与伦敦地铁站（室内）的CCTVfootage合作，但相比获得目标的精确轨迹，他们更侧重于实时性和对象间相互作用的研究。虽然没用到背景更新技术，这个算法已经经过了PETS2001图像集的测试，证明它能够提供简单的运动轨迹。建议事件监测的进一步研究要基于对象重心和运动轨迹

㈥ 图形学中，光线投射算法与光线追踪追踪算法的区别

基本概念
光线投射：http://202.118.167.67/eol/data/res/jsjtxx/Chapter2/CG_Txt_2_044.htm
光线追踪：http://zh.wikipedia.org/wiki/%E5%85%89%E7%B7%9A%E8%BF%BD%E8%B9%A4

区别
光线投射和光线追踪都会先建立一个从视点出发到场景中某个物体的Ray，不同之处是当Ray射中某个物体一次后，光线投射算法就停止。但是光线追踪算法会继续考虑该条Ray的反射，折射光线Ray'，并把Ray'作为新的入射光线,继续检测其是否会射中场景中的其他物体，如此递归若干次。
简而言之，光线追踪是recursive的，光线投射就像是光线追踪的child ray，只需要进行一次碰撞检测就好。

应用场合
二者均被应用于静态三维绘图，三维电脑游戏以及动画等实时模拟场合，具体来说
光线投射：在图像的视觉细节不太重要或者是通过人为制造细节可以得到更好的计算效率的场合。
光线追踪：追求高质量视觉效果的场合

参考：
http://www.gamedev.net/topic/431216-difference-between-ray-casting-and-ray-tracing/
http://zh.wikipedia.org/wiki/%E6%B8%B2%E6%9F%93
http://202.118.167.67/eol/data/res/jsjtxx/index.htm
http://wenku..com/view/17a5fdec856a561252d36f82.html

㈦ 计算机视觉中，目前有哪些经典的目标跟踪算法

目前tracking主要是两种，discriminative和generative，当然也有combine两个的比如SCM。你提到的都是前者，就是算法里面基本有一个classifier可以分辨要追踪的物体。这类除了你说的最近比较火的还有速度极占优势的CSK（后来进化成KCF/DCF了）

㈧ 视觉追踪的典型算法

（1）基于区域的跟踪算法
基于区域的跟踪算法基本思想是：将目标初始所在区域的图像块作为目标模板，将目标模板与候选图像中所有可能的位置进行相关匹配，匹配度最高的地方即为目标所在的位置。最常用的相关匹配准则是差的平方和准则，(Sum of Square Difference，SSD)。
起初，基于区域的跟踪算法中所用到的目标模板是固定的，如 Lucas 等人提出 Lucas-Kanade 方法，该方法利用灰度图像的空间梯度信息寻找最佳匹配区域，确定目标位置。之后，更多的学者针对基于区域方法的缺点进行了不同的改进，如：Jepson 等人提出的基于纹理特征的自适应目标外观模型[18],该模型可以较好的解决目标遮挡的问题，且在跟踪的过程中采用在线 EM 算法对目标模型进行更新；Comaniciu 等人[19]提出了基于核函数的概率密度估计的视频目标跟踪算法，该方法采用核直方图表示目标，通过 Bhattacharya 系数计算目标模板与候选区域的相似度，通过均值漂移(MeanShift)算法快速定位目标位置。
基于区域的目标跟踪算法采用了目标的全局信息，比如灰度信息、纹理特征等，因此具有较高的可信度，即使目标发生较小的形变也不影响跟踪效果，但是当目标发生较严重的遮挡时，很容易造成跟踪失败。
（2）基于特征的跟踪方法
基于特征的目标跟踪算法通常是利用目标的一些显着特征表示目标，并通过特征匹配在图像序列中跟踪目标。该类算法不考虑目标的整体特征，因此当目标被部分遮挡时，仍然可以利用另一部分可见特征完成跟踪任务，但是该算法不能有效处理全遮挡、重叠等问题。
基于特征的跟踪方法一般包括特征提取和特征匹配两个过程：
a) 特征提取
所谓特征提取是指从目标所在图像区域中提取合适的描绘性特征。这些特征不仅应该较好地区分目标和背景，而且应对目标尺度伸缩、目标形状变化、目标遮挡等情况具有鲁棒性。常用的目标特征包括颜色特征、灰度特征、纹理特征、轮廓、光流特征、角点特征等。D.G. Lowe 提出 SIFT(Scale Invariant Feature Transform)算法[20]是图像特征中效果较好的一种方法，该特征对旋转、尺度缩放、亮度变化具有不变性，对视角变化、仿射变换、噪声也具有一定的稳定性。
b) 特征匹配
特征匹配就是采用一定的方式计算衡量候选区域与目标区域的相似性，并根据相似性确定目标位置、实现目标跟踪。在计算机视觉领域中，常用的相似性度量准则包括加权距离、Bhattacharyya 系数、欧式距离、Hausdorff 距离等。其中，Bhattacharyya 系数和欧式距离最为常用。
Tissainayagam 等人提出了一种基于点特征的目标跟踪算法[21]。该算法首先在多个尺度空间中寻找局部曲率最大的角点作为关键点，然后利用提出的MHT-IMM 算法跟踪这些关键点。这种跟踪算法适用于具有简单几何形状的目标，对于难以提取稳定角点的复杂目标，则跟踪效果较差。
Zhu 等人提出的基于边缘特征的目标跟踪算法[22]，首先将参考图像划分为多个子区域，并将每个子区域的边缘点均值作为目标的特征点，然后利用类似光流的方法进行特征点匹配，从而实现目标跟踪。
（3）基于轮廓的跟踪方法
基于轮廓的目标跟踪方法需要在视频第一帧中指定目标轮廓的位置，之后由微分方程递归求解，直到轮廓收敛到能量函数的局部极小值，其中，能量函数通常与图像特征和轮廓光滑度有关。与基于区域的跟踪方法相比，基于轮廓的跟踪方法的计算复杂度小，对目标的部分遮挡鲁棒。但这种方法在跟踪开始时需要初始化目标轮廓，因此对初始位置比较敏感，跟踪精度也被限制在轮廓级。
Kass 等人[23]于 1987 年提出的活动轮廓模型(Active Contour Models，Snake)，通过包括图像力、内部力和外部约束力在内的三种力的共同作用控制轮廓的运动。内部力主要对轮廓进行局部的光滑性约束，图像力则将曲线推向图像的边缘，而外部力可以由用户指定，主要使轮廓向期望的局部极小值运动，。
Paragios 等人[24]提出了一种用水平集方法表示目标轮廓的目标检测与跟踪算法，该方法首先通过帧差法得到目标边缘，然后通过概率边缘检测算子得到目标的运动边缘，通过将目标轮廓向目标运动边缘演化实现目标跟踪。
（4）基于模型的跟踪方法[25]
在实际应用中，我们需要跟踪的往往是一些特定的我们事先具有认识的目标，因此，基于模型的跟踪方法首先根据自己的先验知识离线的建立该目标的 3D 或2D 几何模型，然后，通过匹配待选区域模型与目标模型实现目标跟踪，进而在跟踪过程中，根据场景中图像的特征，确定运动目标的各个尺寸参数、姿态参数以及运动参数。
Shu Wang 等人提出一种基于超像素的跟踪方法[26]，该方法在超像素基础上建立目标的外观模板，之后通过计算目标和背景的置信图确定目标的位置，在这个过程中，该方法不断通过分割和颜色聚类防止目标的模板漂移。
（5）基于检测的跟踪算法
基于检测的跟踪算法越来越流行。一般情况下，基于检测的跟踪算法都采用一点学习方式产生特定目标的检测器，即只用第一帧中人工标记的样本信息训练检测器。这类算法将跟踪问题简化为简单的将背景和目标分离的分类问题，因此这类算法的速度快且效果理想。这类算法为了适应目标外表的变化，一般都会采用在线学习方式进行自更新，即根据自身的跟踪结果对检测器进行更新。

㈨ 高效光线跟踪的算法有那些

浅析3D Max中的高级灯光技术

摘要：3D Max在3D制作软件中渲染功能一直比较薄弱，使其只甘居Maya等3D制作软件之下。为弥补这一缺陷，在5.0版中3D Max增加了高级灯光技术，拥有光能传递、光线追踪器两个全局照明系统，在渲染功能上有了非常显着的改善。本文主要介绍新的光能传递算法。

关键词：渲染 全局照明 光能传递

3D MAX 的渲染功能一直比较薄弱，其效果远不如其他软件（例如Maya）那样逼真，这在很大程度上是因为3D MAX默认的灯光技术不够先进。

在3D MAX中经常使用“光线追踪（Ray-Trace）”材质，与之相联系的就是光线追踪渲染算法。这种算法假设发出很多条光线，光线遇到物体时，被遮挡、反射或者折射，通过跟踪这些光线，就可以得到场景的渲染效果。但是这种方法有一个严重的缺点，就是不能反映现实生活中光的很多特性。例如，在现实生活中，灯光照射到物体后，每个物体都会发射一部分光线，形成环境光，从而导致没有被灯光直射的物体也能被照明，而不是完全出于黑暗状态。又如，把一个红色物体靠近白色的墙壁，那么墙壁靠近物体的地方会显出也带有红色。还有很多诸如此类的灯光效果，使用光线追踪算法都不能产生。

为了解决这些问题，人们发明了更先进的算法来计算灯光的效果，这就是“光能传递（Radiosity）”算法。这种算法把光作为光量子看待（实际上更符合现代物理学），通过计算光量子的能量分布获得渲染结果。这种方法能够获得最逼真的照明效果，因此，通常将光能传递算法和光线追踪算法结合起来，以获得最佳的效果。3D MAX5.0新增的高级光照功能则包含了两个不同的系统：光能传递（radiosity）和光线追踪器（light tracer）。它所得到的结果非常接近对真实事物的再现。

光线追踪器比较通用，也容易使用，使用它不需要理解许多技术概念，任何模型和灯的类型都适用。光能传递相对较复杂，需要为这种处理方式专门准备模型和场景。灯必须是光度控制灯，材质也必须仔细设计。但光能传递在物理上是精确的，对于建筑模型的精确设计是必须的，这一点非常重要，尤其当建模的目的是进行光照分析时。另外，光线追踪器的结果与视点无关，而光能传递不是这样的。光线追踪器在每一帧都计算光照。光能传递只会计算一次，除非场景中的物体移动了或灯发生了变化，或者是从另一个不同的视点渲染场景时。基本原则是光线追踪器更适用于有大量光照的室外场景、角色动画和在空旷的场景中渲染物体。光能传递更适合于使用了聚光灯的室内场景和建筑渲染。

使用光线追踪器进行室内光照仿真时，为避免平坦表面上的噪波，可能需要相当高质量的设定和很长的渲染时间。光能传递则可以用更短的时间提供更好的效果。另一方面，光能传递用于有许多多边形的角色模型时，需要额外的细化步骤、过滤，甚至是Regathering(重新聚合)。而光线追踪器适用默认的设置一次渲染就可以得到更好的效果。

传统的渲染引擎值考虑直接光照

不考虑反射光，然而，反射光是

一个场景的重要组成部分。 对相同的场景使用全局光照渲染，

上图使用了光能传递（radiosity）

就可以得到一种真实的结果。

光能传递是在一个场景中重现从物体表面反射的自然光线，实现更加真实和物理上精确的照明结果。如图所示。光能传递基于几何学计算光从物体表面的反射。几何面（三角形）成为光能传递进行计算的最小单位。大的表面可能需要被细分为小的三角形面以获得更精确的结果。场景中三角形面的数目很重要。如果数目不够结果会不精确，但如果太多时间又会太长。光能传递提供一种将大的三角形面自动细分的方法，同时也可以控制每个物体的细分和细化程度。光能传递依赖于材质和表面属性以获得物理上精确的结果。在场景中进行建模时必须牢记这一点。要使用光度控制灯，而且模型的几何结构应尽可能准确。

1．单位

要获得精确的结果，场景中作图单位是一个基础。如果单位是“英寸”，一个100×200×96单位的房间可以被一个相当于60瓦灯泡的光度控制灯正确照明，但如果单位是“米”，相同场景会变得非常暗。

2．光能传递的解决方案

光能传递是一个独立于渲染的处理过程，一旦解决方案被计算出来，结果被保存在几何体自己内部。对几何体或光照作改变将使原解决方案无效。解决方案是为整个场景全局计算的，这意味着它与视点无关。一旦计算出来，就可以从任何方向观察场景。当摄像机在一个固定场景中移动时，这将会节省时间。如果对几何体或灯作了动画，每一帧都必须计算光能传递。渲染菜单中的选项允许定义如何处理光能传递过程。

。