非线性算法

㈠ 分类算法怎样分为 线性分类 和非线性分类

• 线性算法

  线性算法的定义：在计算复杂性理论，一个被称为线性时间或 Ο(n)时间的算法，表示算法解题所需时间正比于输入资料的大小，通常以n表示。

这可以理解为，如果所需时间正比于输入资料的大小，那就是一个线性算法，类似于中学时学过的一次函数的函数图象

• 非线性算法

  非线性算法一般有O(NlogN),O(N^2)等等。这些非线性算法所需的时间和输入资料大小不成正比，故函数图象应不会是一条直线，所以这些算法不是线性分类，即非线性分类。

㈡ 非线性最小二乘法

一.梯度下降法以及Jacobian矩阵计算

在2010年的关于L-K和AAM的博客里提到，模板匹配公式的一阶泰勒展开ΔT=J*Δp，J是用于梯度下降的Jacobian矩阵，是高维矢量函数值T=f(p)相对与参数矢量p变化时的增量(导数)。如果p是n维矢量，T是M维矢量，则J是一个[m*n]的矩阵。J在(i,j)处的元素值是(əTi/əpj)。