均等准則演算法
㈠ 運動估計的准則分類
運動搜索的目的就是在搜索窗內尋找與當前塊最匹配的數據塊，這樣就存在著如何判斷兩個塊
是否匹配的問題，即如何定義一個匹配准則。而匹配准則的定義與運算復雜度和編碼效率都是直接
相關的，通常有如下幾類比較常用的匹配函數的定義：
設當前幀 f2，參考幀f1，
（1）最小均方差函數（MSE）
MSE (MV) =Σ|f2（x，MV）-f1(x)|
2
(3.34)
（2）最小平均絕對值誤差（MAD）等效於常用的絕對差值和（SAD）准則,性能很好,而且相對簡單
的硬體需求，因而得到了最廣泛的應用。
MAD (MV) =Σ|f2（x，MV）-f1(x)| (3.35)
（3）閾值差別計數（NTD）
NTD（MV）=ΣG（f2（x，MV）-f1(x)） (3.36)
其中：
當 | α－β | >T0 時，G（α，β）=1；
當 | α－β | <T0 時，G（α，β）=0 (3.37)
由於在用塊匹配演算法進行運動估計的過程中，利用匹配准則函數進行匹配誤差的計算是最主要
的計算量，因此，我們可以從這方面進一步減少計算量。由於圖象的幀內也具有相關性，在計算誤
差匹配函數時，可以只讓圖象塊中的部分像素參與運算，將塊中的所有像素組成一個集合，那麼參
與計算的這部分像素集合就是它的子集，這種誤差匹配的方法被稱為子集匹配法。實驗結果表明，
在匹配誤差無明顯增加的情況下，採用子集匹配可以大大減少每幀圖象的平均搜索時間。
㈡ 自適應均衡可以採用哪些最佳准則
最小均方誤差演算法（LMS）、遞歸最小二乘法（RLS）、快速遞歸最小二乘演算法（Fast RLS）、平方根遞歸最小二乘法（Square Root RLS）和梯度最小二乘法（Gradient RLS）。
㈢ 描述演算法評價的准則
時間復雜度（主要），空間復雜度（次要）
㈣ 什麼是最小均方(LMS)演算法
全稱 Least mean square 演算法。中文是最小均方演算法。
感知器和自適應線性元件在歷史上幾乎是同時提出的，並且兩者在對權值的調整的演算法非常相似。它們都是基於糾錯學習規則的學習演算法。感知器演算法存在如下問題：不能推廣到一般的前向網路中；函數不是線性可分時，得不出任何結果。而由美國斯坦福大學的Widrow和Hoff在研究自適應理論時提出的LMS演算法，由於其容易實現而很快得到了廣泛應用，成為自適應濾波的標准演算法。
LMS演算法步驟：
1,、設置變數和參量：
X(n)為輸入向量，或稱為訓練樣本
W(n)為權值向量
b(n)為偏差
d(n)為期望輸出
y(n)為實際輸出
η為學習速率
n為迭代次數
2、初始化，賦給w(0)各一個較小的隨機非零值，令n=0
3、對於一組輸入樣本x(n)和對應的期望輸出d，計算
e(n)=d(n)-X^T(n)W(n)
W(n+1)=W(n)+ηX(n)e(n)
4、判斷是否滿足條件，若滿足演算法結束，若否n增加1，轉入第3步繼續執行。
㈤ 大數據十大經典演算法之k-means
大數據十大經典演算法之k-means
k均值演算法基本思想：
K均值演算法是基於質心的技術。它以K為輸入參數，把n個對象集合分為k個簇，使得簇內的相似度高，簇間的相似度低。
處理流程：
1、為每個聚類確定一個初始聚類中心，這樣就有k個初始聚類中心；
2、將樣本按照最小距離原則分配到最鄰近聚類
3、使用每個聚類中的樣本均值作為新的聚類中心
4、重復步驟2直到聚類中心不再變化
5、結束，得到K個聚類
劃分聚類方法對數據集進行聚類時的要點：
1、選定某種距離作為數據樣本間的相似性度量，通常選擇歐氏距離。
2、選擇平價聚類性能的准則函數
用誤差平方和准則函數來評價聚類性能。
3、相似度的計算分局一個簇中對象的平均值來進行
K均值演算法的優點：
如果變數很大，K均值比層次聚類的計算速度較快（如果K很小）；
與層次聚類相比，K均值可以得到更緊密的簇，尤其是對於球狀簇；
對於大數據集，是可伸縮和高效率的；
演算法嘗試找出使平方誤差函數值最小的k個劃分。當結果簇是密集的，而簇與簇之間區別明顯的時候，效果較好。
K均值演算法缺點：
最後結果受初始值的影響。解決辦法是多次嘗試取不同的初始值。
可能發生距離簇中心m最近的樣本集為空的情況，因此m得不到更新。這是一個必須處理的問題，但我們忽略該問題。
不適合發現非凸面形狀的簇，並對雜訊和離群點數據較敏感，因為少量的這類數據能夠對均值產生較大的影響。
K均值演算法的改進：
樣本預處理。計算樣本對象量量之間的距離，篩掉與其他所有樣本那的距離和最大的m個對象。
初始聚類中心的選擇。選用簇中位置最靠近中心的對象，這樣可以避免孤立點的影響。
K均值演算法的變種：
K眾數（k-modes）演算法，針對分類屬性的度量和更新質心的問題而改進。
EM（期望最大化）演算法
k-prototype演算法
這種演算法不適合處理離散型屬性，但是對於連續型具有較好的聚類效果。
k均值演算法用途：
圖像分割；
衡量足球隊的水平；
下面給出代碼：
#include <iostream>
#include <vector>
//auther archersc
//JLU
namespace CS_LIB
{
using namespace std;
class Kmean
{
public:
//輸入格式
//數據數量N 維度D
//以下N行，每行D個數據
istream& loadData(istream& in);
//輸出格式
//聚類的數量CN
//中心維度CD
//CN行，每行CD個數據
//數據數量DN
//數據維度DD
//以下DN組，每組的第一行兩個數值DB, DDis
//第二行DD個數值
//DB表示改數據屬於一類，DDis表示距離改類的中心的距離
ostream& saveData(ostream& out);
//設置中心的數量
void setCenterCount(const size_t count);
size_t getCenterCount() const;
//times最大迭代次數， maxE ,E(t)表示第t次迭代後的平方誤差和，當|E(t+1) - E(t)| < maxE時終止
void clustering(size_t times, double maxE);
private:
double calDistance(vector<double>& v1, vector<double>& v2);
private:
vector< vector<double> > m_Data;
vector< vector<double> > m_Center;
vector<double> m_Distance;
vector<size_t> m_DataBelong;
vector<size_t> m_DataBelongCount;
};
}
#include "kmean.h"
#include <ctime>
#include <cmath>
#include <cstdlib>
//auther archersc
//JLU
namespace CS_LIB
{
template<class T>
void swap(T& a, T& b)
{
T c = a;
a = b;
b = c;
}
istream& Kmean::loadData(istream& in)
{
if (!in){
cout << "input error" << endl;
return in;
}
size_t dCount, dDim;
in >> dCount >> dDim;
m_Data.resize(dCount);
m_DataBelong.resize(dCount);
m_Distance.resize(dCount);
for (size_t i = 0; i < dCount; ++i){
m_Data[i].resize(dDim);
for (size_t j = 0; j < dDim; ++j){
in >> m_Data[i][j];
}
}
return in;
}
ostream& Kmean::saveData(ostream& out)
{
if (!out){
cout << "output error" << endl;
return out;
}
out << m_Center.size();
if (m_Center.size() > 0)
out << << m_Center[0].size();
else
out << << 0;
out << endl << endl;
for (size_t i = 0; i < m_Center.size(); ++i){
for (size_t j = 0; j < m_Center[i].size(); ++j){
out << m_Center[i][j] << ;
}
out << endl;
}
out << endl;
out << m_Data.size();
if (m_Data.size() > 0)
out << << m_Data[0].size();
else
out << << 0;
out << endl << endl;
for (size_t i = 0; i < m_Data.size(); ++i){
out << m_DataBelong[i] << << m_Distance[i] << endl;
for (size_t j = 0; j < m_Data[i].size(); ++j){
out << m_Data[i][j] << ;
}
out << endl << endl;
}
return out;
}
void Kmean::setCenterCount(const size_t count)
{
m_Center.resize(count);
m_DataBelongCount.resize(count);
}
size_t Kmean::getCenterCount() const
{
return m_Center.size();
}
void Kmean::clustering(size_t times, double maxE)
{
srand((unsigned int)time(NULL));
//隨機從m_Data中選取m_Center.size()個不同的樣本點作為初始中心。
size_t *pos = new size_t[m_Data.size()];
size_t i, j, t;
for (i = 0; i < m_Data.size(); ++i){
pos[i] = i;
}
for (i = 0; i < (m_Data.size() << 1); ++i){
size_t s1 = rand() % m_Data.size();
size_t s2 = rand() % m_Data.size();
swap(pos[s1], pos[s2]);
}
for (i = 0; i < m_Center.size(); ++i){
m_Center[i].resize(m_Data[pos[i]].size());
for (j = 0; j < m_Data[pos[i]].size(); ++j){
m_Center[i][j] = m_Data[pos[i]][j];
}
}
delete []pos;
double currE, lastE;
for (t = 0; t < times; ++t){
for (i = 0; i < m_Distance.size(); ++i)
m_Distance[i] = LONG_MAX;
for (i = 0; i < m_DataBelongCount.size(); ++i)
m_DataBelongCount[i] = 0;
currE = 0.0;
for (i = 0; i < m_Data.size(); ++i){
for (j = 0; j < m_Center.size(); ++j){
double dis = calDistance(m_Data[i], m_Center[j]);
if (dis < m_Distance[i]){
m_Distance[i] = dis;
m_DataBelong[i] = j;
}
}
currE += m_Distance[i];
m_DataBelongCount[m_DataBelong[i]]++;
}
cout << currE << endl;
if (t == 0 || fabs(currE - lastE) > maxE)
lastE = currE;
else
break;
for (i = 0; i < m_Center.size(); ++i){
for (j = 0; j < m_Center[i].size(); ++j)
m_Center[i][j] = 0.0;
}
for (i = 0; i < m_DataBelong.size(); ++i){
for (j = 0; j < m_Data[i].size(); ++j){
m_Center[m_DataBelong[i]][j] += m_Data[i][j] / m_DataBelongCount[m_DataBelong[i]];
}
}
}
}
double Kmean::calDistance(vector<double>& v1, vector<double>& v2)
{
double result = 0.0;
for (size_t i = 0; i < v1.size(); ++i){
result += (v1[i] - v2[i]) * (v1[i] - v2[i]);
}
return pow(result, 1.0 / v1.size());
//return sqrt(result);
}
}
#include <iostream>
#include <fstream>
#include "kmean.h"
using namespace std;
using namespace CS_LIB;
int main()
{
ifstream in("in.txt");
ofstream out("out.txt");
Kmean kmean;
kmean.loadData(in);
kmean.setCenterCount(4);
kmean.clustering(1000, 0.000001);
kmean.saveData(out);
return 0;
}
㈥ 智能演算法的演算法分類
模擬退火演算法的依據是固體物質退火過程和組合優化問題之間的相似性。物質在加熱的時候，粒子間的布朗運動增強，到達一定強度後，固體物質轉化為液態，這個時候再進行退火，粒子熱運動減弱，並逐漸趨於有序，最後達到穩定。
模擬退火的解不再像局部搜索那樣最後的結果依賴初始點。它引入了一個接受概率p。如果新的點（設為pn）的目標函數f（pn）更好，則p=1，表示選取新點；否則，接受概率p是當前點（設為pc）的目標函數f（pc），新點的目標函數f（pn）以及另一個控制參數「溫度」T的函數。也就是說，模擬退火沒有像局部搜索那樣每次都貪婪地尋找比現在好的點，目標函數差一點的點也有可能接受進來。隨著演算法的執行，系統溫度T逐漸降低，最後終止於某個低溫，在該溫度下，系統不再接受變化。
模擬退火的典型特徵是除了接受目標函數的改進外，還接受一個衰減極限，當T較大時，接受較大的衰減，當T逐漸變小時，接受較小的衰減，當T為0時，就不再接受衰減。這一特徵意味著模擬退火與局部搜索相反，它能避開局部極小，並且還保持了局部搜索的通用性和簡單性。
在物理上，先加熱，讓分子間互相碰撞，變成無序狀態，內能加大，然後降溫，最後的分子次序反而會更有序，內能比沒有加熱前更小。就像那隻兔子，它喝醉後，對比較近的山峰視而不見，迷迷糊糊地跳一大圈子，反而更有可能找到珠峰。
值得注意的是，當T為0時，模擬退火就成為局部搜索的一個特例。
模擬退火的偽碼表達：
procere simulated annealing
begin
t:=0;
initialize temperature T
select a current string vc at random;
evaluate vc;
repeat
repeat
select a new string vn in the neighborhood of vc; (1)
if f(vc)<f(vn)
then vc:=vn;
else if random [0,1] <exp ((f (vn)-f (vc))/T) (2)
then vc:=vn;
until (termination-condition) (3)
T:=g(T,t); (4)
T:=t+1;
until (stop-criterion) (5)
end;
上面的程序中，關鍵的是(1)新狀態產生函數，(2)新狀態接受函數，(3)抽樣穩定準則，(4)退溫函數，(5)退火結束准則（簡稱三函數兩准則）是直接影響優化結果的主要環節。雖然實驗結果證明初始值對於最後的結果沒有影響，但是初溫越高，得到高質量解的概率越大。所以，應該盡量選取比較高的初溫。
上面關鍵環節的選取策略：
（1）狀態產生函數：候選解由當前解的鄰域函數決定，可以取互換，插入，逆序等操作產生，然後根據概率分布方式選取新的解，概率可以取均勻分布、正態分布、高斯分布、柯西分布等。
（2）狀態接受函數：這個環節最關鍵，但是，實驗表明，何種接受函數對於最後結果影響不大。所以，一般選取min [1, exp ((f (vn)-f (vc))/T)]。
（3）抽樣穩定準則：一般常用的有：檢驗目標函數的均值是否穩定；連續若干步的目標值變化較小；規定一定的步數；
（4）退溫函數：如果要求溫度必須按照一定的比率下降，SA演算法可以採用，但是溫度下降很慢；快速SA中，一般採用 。目前，經常用的是 ，是一個不斷變化的值。
（5）退火結束准則：一般有：設置終止溫度；設置迭代次數；搜索到的最優值連續多次保持不變；檢驗系統熵是否穩定。
為了保證有比較優的解，演算法往往採取慢降溫、多抽樣、以及把「終止溫度」設的比較低等方式，導致演算法運行時間比較長，這也是模擬退火的最大缺點。人喝醉了酒辦起事來都不利索，何況兔子？ 「物競天擇，適者生存」，是進化論的基本思想。遺傳演算法就是模擬自然界想做的事。遺傳演算法可以很好地用於優化問題，若把它看作對自然過程高度理想化的模擬，更能顯出它本身的優雅——雖然生存競爭是殘酷的。
遺傳演算法以一種群體中的所有個體為對象，並利用隨機化技術指導對一個被編碼的參數空間進行高效搜索。其中，選擇、交叉和變異構成了遺傳演算法的遺傳操作；參數編碼、初始群體的設定、適應度函數的設計、遺傳操作設計、控制參數設定五個要素組成了遺傳演算法的核心內容。作為一種新的全局優化搜索演算法，遺傳演算法以其簡單通用、健壯性強、適於並行處理以及高效、實用等顯著特點，在各個領域得到了廣泛應用，取得了良好效果，並逐漸成為重要的智能演算法之一。
遺傳演算法的偽碼：
procere genetic algorithm
begin
initialize a group and evaluate the fitness value ; （1）
while not convergent （2）
begin
select; （3）
if random[0,1]<pc then
crossover; （4）
if random (0,1)<pm then
mutation; （5）
end;
end
上述程序中有五個重要的環節：
（1）編碼和初始群體的生成：GA在進行搜索之前先將解空間的解數據表示成遺傳空間的基因型串結構數據，這些串結構數據的不同組合便構成了不同的點。然後隨機產生N個初始串結構數據，每個串結構數據稱為一個個體， N個體構成了一個群體。GA以這N個串結構數據作為初始點開始迭代。
比如，旅行商問題中，可以把商人走過的路徑進行編碼，也可以對整個圖矩陣進行編碼。編碼方式依賴於問題怎樣描述比較好解決。初始群體也應該選取適當，如果選取的過小則雜交優勢不明顯，演算法性能很差（數量上佔了優勢的老鼠進化能力比老虎強），群體選取太大則計算量太大。
（2）檢查演算法收斂准則是否滿足，控制演算法是否結束。可以採用判斷與最優解的適配度或者定一個迭代次數來達到。
（3）適應性值評估檢測和選擇：適應性函數表明個體或解的優劣性，在程序的開始也應該評價適應性，以便和以後的做比較。不同的問題，適應性函數的定義方式也不同。根據適應性的好壞，進行選擇。選擇的目的是為了從當前群體中選出優良的個體，使它們有機會作為父代為下一代繁殖子孫。遺傳演算法通過選擇過程體現這一思想，進行選擇的原則是適應性強的個體為下一代貢獻一個或多個後代的概率大。選擇實現了達爾文的適者生存原則。
（4）雜交：按照雜交概率（pc）進行雜交。雜交操作是遺傳演算法中最主要的遺傳操作。通過雜交操作可以得到新一代個體，新個體組合了其父輩個體的特性。雜交體現了信息交換的思想。
可以選定一個點對染色體串進行互換，插入，逆序等雜交，也可以隨機選取幾個點雜交。雜交概率如果太大，種群更新快，但是高適應性的個體很容易被淹沒，概率小了搜索會停滯。
（5）變異：按照變異概率（pm）進行變異。變異首先在群體中隨機選擇一個個體，對於選中的個體以一定的概率隨機地改變串結構數據中某個串的值。同生物界一樣，GA中變異發生的概率很低。變異為新個體的產生提供了機會。
變異可以防止有效基因的缺損造成的進化停滯。比較低的變異概率就已經可以讓基因不斷變更，太大了會陷入隨機搜索。想一下，生物界每一代都和上一代差距很大，會是怎樣的可怕情形。
就像自然界的變異適和任何物種一樣，對變數進行了編碼的遺傳演算法沒有考慮函數本身是否可導，是否連續等性質，所以適用性很強；並且，它開始就對一個種群進行操作，隱含了並行性，也容易找到「全局最優解」。 為了找到「全局最優解」，就不應該執著於某一個特定的區域。局部搜索的缺點就是太貪婪地對某一個局部區域以及其鄰域搜索，導致一葉障目，不見泰山。禁忌搜索就是對於找到的一部分局部最優解，有意識地避開它（但不是完全隔絕），從而獲得更多的搜索區間。兔子們找到了泰山，它們之中的一隻就會留守在這里，其他的再去別的地方尋找。就這樣，一大圈後，把找到的幾個山峰一比較，珠穆朗瑪峰脫穎而出。
當兔子們再尋找的時候，一般地會有意識地避開泰山，因為他們知道，這里已經找過，並且有一隻兔子在那裡看著了。這就是禁忌搜索中「禁忌表（tabu list）」的含義。那隻留在泰山的兔子一般不會就安家在那裡了，它會在一定時間後重新回到找最高峰的大軍，因為這個時候已經有了許多新的消息，泰山畢竟也有一個不錯的高度，需要重新考慮，這個歸隊時間，在禁忌搜索裡面叫做「禁忌長度（tabu length）」；如果在搜索的過程中，留守泰山的兔子還沒有歸隊，但是找到的地方全是華北平原等比較低的地方，兔子們就不得不再次考慮選中泰山，也就是說，當一個有兔子留守的地方優越性太突出，超過了「best to far」的狀態，就可以不顧及有沒有兔子留守，都把這個地方考慮進來，這就叫「特赦准則（aspiration criterion）」。這三個概念是禁忌搜索和一般搜索准則最不同的地方，演算法的優化也關鍵在這里。
偽碼表達：
procere tabu search;
begin
initialize a string vc at random,clear up the tabu list;
cur:=vc;
repeat
select a new string vn in the neighborhood of vc;
if va>best_to_far then {va is a string in the tabu list}
begin
cur:=va;
let va take place of the oldest string in the tabu list;
best_to_far:=va;
end else
begin
cur:=vn;
let vn take place of the oldest string in the tabu list;
end;
until (termination-condition);
end;
以上程序中有關鍵的幾點：
（1）禁忌對象：可以選取當前的值（cur）作為禁忌對象放進tabu list，也可以把和當然值在同一「等高線」上的都放進tabu list。
（2）為了降低計算量，禁忌長度和禁忌表的集合不宜太大，但是禁忌長度太小容易循環搜索，禁忌表太小容易陷入「局部極優解」。
（3）上述程序段中對best_to_far的操作是直接賦值為最優的「解禁候選解」，但是有時候會出現沒有大於best_to_far的，候選解也全部被禁的「死鎖」狀態，這個時候，就應該對候選解中最佳的進行解禁，以能夠繼續下去。
（4）終止准則：和模擬退火，遺傳演算法差不多，常用的有：給定一個迭代步數；設定與估計的最優解的距離小於某個范圍時，就終止搜索；當與最優解的距離連續若干步保持不變時，終止搜索；
禁忌搜索是對人類思維過程本身的一種模擬，它通過對一些局部最優解的禁忌（也可以說是記憶）達到接納一部分較差解，從而跳出局部搜索的目的。 人工神經網路（Artificial Neural Network，ANN）
神經網路從名字就知道是對人腦的模擬。它的神經元結構，它的構成與作用方式都是在模仿人腦，但是也僅僅是粗糙的模仿，遠沒有達到完美的地步。和馮·諾依曼機不同，神經網路計算非數字，非精確，高度並行，並且有自學習功能。
生命科學中，神經細胞一般稱作神經元，它是整個神經結構的最基本單位。每個神經細胞就像一條胳膊，其中像手掌的地方含有細胞核，稱作細胞體，像手指的稱作樹突，是信息的輸入通路，像手臂的稱作軸突，是信息的輸出通路；神經元之間錯綜復雜地連在一起，互相之間傳遞信號，而傳遞的信號可以導致神經元電位的變化，一旦電位高出一定值，就會引起神經元的激發，此神經元就會通過軸突傳出電信號。
而如果要用計算機模仿生物神經，就需要人工的神經網路有三個要素：（1）形式定義人工神經元；（2）給出人工神經元的連接方式，或者說給出網路結構；（3）給出人工神經元之間信號強度的定義。
歷史上第一個人工神經網路模型稱作M－P模型，非常簡單：
其中，表示神經元i在t時刻的狀態，為1表示激發態，為0表示抑制態；是神經元i和j之間的連接強度；表示神經元i的閾值，超過這個值神經元才能激發。
這個模型是最簡單的神經元模型。但是功能已經非常強大：此模型的發明人McCulloch和Pitts已經證明，不考慮速度和實現的復雜性，它可以完成當前數字計算機的任何工作。
以上這個M－P模型僅僅是一層的網路，如果從對一個平面進行分割的方面來考慮的話，M－P網路只能把一個平面分成個半平面，卻不能夠選取特定的一部分。而解決的辦法就是「多層前向網路」。
為了讓這種網路有合適的權值，必須給網路一定的激勵，讓它自己學習，調整。一種方法稱作「向後傳播演算法（Back Propagation，BP）」，其基本思想是考察最後輸出解和理想解的差異，調整權值，並把這種調整從輸出層開始向後推演，經過中間層，達到輸入層。
可見，神經網路是通過學習來達到解決問題的目的，學習沒有改變單個神經元的結構和工作方式，單個神經元的特性和要解決的問題之間也沒有直接聯系，這里學習的作用是根據神經元之間激勵與抑制的關系，改變它們的作用強度。學習樣本中的任何樣品的信息都包含在網路的每個權值之中。
BP演算法中有考察輸出解和理想解差異的過程，假設差距為w，則調整權值的目的就是為了使得w最小化。這就又包含了前文所說的「最小值」問題。一般的BP演算法採用的是局部搜索，比如最速下降法，牛頓法等，當然如果想要得到全局最優解，可以採用模擬退火，遺傳演算法等。當前向網路採用模擬退火演算法作為學習方法的時候，一般成為「波爾茲曼網路」，屬於隨機性神經網路。
在學習BP演算法學習的過程中，需要已經有一部分確定的值作為理想輸出，這就好像中學生在學習的時候，有老師的監督。如果沒有了監督，人工神經網路該怎麼學習？
就像沒有了宏觀調控，自由的市場引入了競爭一樣，有一種學習方法稱作「無監督有競爭的學習」。在輸入神經元i的若干個神經元之間開展競爭，競爭之後，只有一個神經元為1，其他均為0，而對於失敗的神經元，調整使得向對競爭有利的方向移動，則最終也可能在一次競爭中勝利；
人工神經網路還有反饋網路如Hopfield網路，它的神經元的信號傳遞方向是雙向的，並且引入一個能量函數，通過神經元之間不斷地相互影響，能量函數值不斷下降，最後能給出一個能量比較低的解。這個思想和模擬退火差不多。
人工神經網路應用到演算法上時，其正確率和速度與軟體的實現聯系不大，關鍵的是它自身的不斷學習。這種思想已經和馮·諾依曼模型很不一樣。 粒子群優化演算法(PSO)是一種進化計算技術(evolutionary computation)，1995 年由Eberhart 博士和kennedy 博士提出，源於對鳥群捕食的行為研究 。該演算法最初是受到飛鳥集群活動的規律性啟發，進而利用群體智能建立的一個簡化模型。粒子群演算法在對動物集群活動行為觀察基礎上，利用群體中的個體對信息的共享使整個群體的運動在問題求解空間中產生從無序到有序的演化過程，從而獲得最優解。
PSO同遺傳演算法類似，是一種基於迭代的優化演算法。系統初始化為一組隨機解，通過迭代搜尋最優值。但是它沒有遺傳演算法用的交叉(crossover)以及變異(mutation)，而是粒子在解空間追隨最優的粒子進行搜索。同遺傳演算法比較，PSO的優勢在於簡單容易實現並且沒有許多參數需要調整。目前已廣泛應用於函數優化，神經網路訓練，模糊系統控制以及其他遺傳演算法的應用領域。
PSO模擬鳥群的捕食行為。設想這樣一個場景：一群鳥在隨機搜索食物。在這個區域里只有一塊食物。所有的鳥都不知道食物在那裡。但是他們知道當前的位置離食物還有多遠。那麼找到食物的最優策略是什麼呢。最簡單有效的就是搜尋目前離食物最近的鳥的周圍區域。
PSO從這種模型中得到啟示並用於解決優化問題。PSO中，每個優化問題的解都是搜索空間中的一隻鳥。我們稱之為「粒子」。所有的粒子都有一個由被優化的函數決定的適應值(fitness value)，每個粒子還有一個速度決定他們飛翔的方向和距離。然後粒子們就追隨當前的最優粒子在解空間中搜索。
PSO 初始化為一群隨機粒子(隨機解)。然後通過迭代找到最優解。在每一次迭代中，粒子通過跟蹤兩個極值來更新自己。第一個就是粒子本身所找到的最優解，這個解叫做個體極值pBest。另一個極值是整個種群目前找到的最優解，這個極值是全局極值gBest。另外也可以不用整個種群而只是用其中一部分作為粒子的鄰居，那麼在所有鄰居中的極值就是局部極值。 模擬退火，遺傳演算法，禁忌搜索，神經網路在解決全局最優解的問題上有著獨到的優點，並且，它們有一個共同的特點：都是模擬了自然過程。模擬退火思路源於物理學中固體物質的退火過程，遺傳演算法借鑒了自然界優勝劣汰的進化思想，禁忌搜索模擬了人類有記憶過程的智力過程，神經網路更是直接模擬了人腦。
它們之間的聯系也非常緊密，比如模擬退火和遺傳演算法為神經網路提供更優良的學習演算法提供了思路。把它們有機地綜合在一起，取長補短，性能將更加優良。
這幾種智能演算法有別於一般的按照圖靈機進行精確計算的程序，尤其是人工神經網路，是對計算機模型的一種新的詮釋，跳出了馮·諾依曼機的圈子，按照這種思想來設計的計算機有著廣闊的發展前景
㈦ 數據挖掘演算法的演算法分類
C4.5就是一個決策樹演算法，它是決策樹（決策樹也就是做決策的節點間像一棵樹一樣的組織方式，其實是一個倒樹）核心演算法ID3的改進演算法，所以基本上了解了一半決策樹構造方法就能構造它。決策樹構造方法其實就是每次選擇一個好的特徵以及分裂點作為當前節點的分類條件。C4.5比ID3改進的地方時：
ID3選擇屬性用的是子樹的信息增益（這里可以用很多方法來定義信息，ID3使用的是熵（entropy）（熵是一種不純度度量准則）），也就是熵的變化值，而C4.5用的是信息增益率。也就是多了個率嘛。一般來說率就是用來取平衡用的，就像方差起的作用差不多，比如有兩個跑步的人，一個起點是100m/s的人、其1s後為110m/s；另一個人起速是1m/s、其1s後為11m/s。如果僅算差值那麼兩個就是一樣的了；但如果使用速度增加率（加速度）來衡量，2個人差距就很大了。在這里，其克服了用信息增益選擇屬性時偏向選擇取值多的屬性的不足。在樹構造過程中進行剪枝，我在構造決策樹的時候好討厭那些掛著幾個元素的節點。對於這種節點，乾脆不考慮最好，不然很容易導致overfitting。對非離散數據都能處理，這個其實就是一個個式，看對於連續型的值在哪裡分裂好。也就是把連續性的數據轉化為離散的值進行處理。能夠對不完整數據進行處理，這個重要也重要，其實也沒那麼重要，缺失數據採用一些方法補上去就是了。 (樸素貝葉斯NB)
NB認為各個特徵是獨立的，誰也不關誰的事。所以一個樣本（特徵值的集合，比如「數據結構」出現2次，「文件」出現1次），可以通過對其所有出現特徵在給定類別的概率相乘。比如「數據結構」出現在類1的概率為0.5，「文件」出現在類1的概率為0.3，則可認為其屬於類1的概率為0.5*0.5*0.3。 (支持向量機SVM)
SVM就是想找一個分類得最」好」的分類線/分類面（最近的一些兩類樣本到這個」線」的距離最遠）。這個沒具體實現過，上次聽課，那位老師自稱自己實現了SVM，敬佩其鑽研精神。常用的工具包是LibSVM、SVMLight、MySVM。 (Mining frequent patterns without candidate generation)
這個也不太清楚。FP-growth演算法(Frequent Pattern-growth)使用了一種緊縮的數據結構來存儲查找頻繁項集所需要的全部信息。採用演算法：將提供頻繁項集的資料庫壓縮到一棵FP-tree來保留項集關聯信息，然後將壓縮後的資料庫分成一組條件資料庫（一種特殊類型的投影資料庫），每個條件資料庫關聯一個頻繁項集。 K-Means是一種最經典也是使用最廣泛的聚類方法，時至今日扔然有很多基於其的改進模型提出。K-Means的思想很簡單，對於一個聚類任務（你需要指明聚成幾個類，當然按照自然想法來說不應該需要指明類數，這個問題也是當前聚類任務的一個值得研究的課題），首先隨機選擇K個簇中心，然後反復計算下面的過程直到所有簇中心不改變（簇集合不改變）為止：步驟1：對於每個對象，計算其與每個簇中心的相似度，把其歸入與其最相似的那個簇中。
步驟2：更新簇中心，新的簇中心通過計算所有屬於該簇的對象的平均值得到。
k-means 演算法的工作過程說明如下：首先從n個數據對象任意選擇k 個對象作為初始聚類中心；而對於所剩下其它對象，則根據它們與這些聚類中心的相似度（距離），分別將它們分配給與其最相似的（聚類中心所代表的）聚類；然後再計算每個所獲新聚類的聚類中心（該聚類中所有對象的均值）；不斷重復這一過程直到標准測度函數開始收斂為止。一般都採用均方差作為標准測度函數. k個聚類具有以下特點：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。 BIRCH也是一種聚類演算法，其全稱是Balanced Iterative Recing and Clustering using Hierarchies。BIRCH也是只是看了理論沒具體實現過。是一個綜合的層次聚類特徵(Clustering Feature, CF)和聚類特徵樹(CF Tree)兩個概念，用於概括聚類描述。聚類特徵樹概括了聚類的有用信息，並且佔用空間較元數據集合小得多，可以存放在內存中，從而可以提高演算法在大型數據集合上的聚類速度及可伸縮性。
BIRCH演算法包括以下兩個階段：
1）掃描資料庫，建立動態的一棵存放在內存的CF Tree。如果內存不夠，則增大閾值，在原樹基礎上構造一棵較小的樹。
2）對葉節點進一步利用一個全局性的聚類演算法，改進聚類質量。
由於CF Tree的葉節點代表的聚類可能不是自然的聚類結果，原因是給定的閾值限制了簇的大小，並且數據的輸入順序也會影響到聚類結果。因此需要對葉節點進一步利用一個全局性的聚類演算法，改進聚類質量。 AdaBoost做分類的一般知道，它是一種boosting方法。這個不能說是一種演算法，應該是一種方法，因為它可以建立在任何一種分類演算法上，可以是決策樹，NB，SVM等。
Adaboost是一種迭代演算法，其核心思想是針對同一個訓練集訓練不同的分類器(弱分類器)，然後把這些弱分類器集合起來，構成一個更強的最終分類器(強分類器)。其演算法本身是通過改變數據分布來實現的，它根據每次訓練集之中每個樣本的分類是否正確，以及上次的總體分類的准確率，來確定每個樣本的權值。將修改過權值的新數據集送給下層分類器進行訓練，最後將每次訓練得到的分類器最後融合起來，作為最後的決策分類器。使用adaboost分類器可以排除一些不必要的訓練數據，並將關鍵放在關鍵的訓練數據上面。 GSP，全稱為Generalized Sequential Pattern(廣義序貫模式)，是一種序列挖掘演算法。對於序列挖掘沒有仔細看過，應該是基於關聯規則的吧！網上是這樣說的：
GSP類似於Apriori演算法，採用冗餘候選模式的剪除策略和特殊的數據結構-----哈希樹來實現候選模式的快速訪存。
GSP演算法描述:
1）掃描序列資料庫，得到長度為1的序列模式L1，作為初始的種子集。
2）根據長度為i 的種子集Li ，通過連接操作和修剪操作生成長度為i+1的候選序列模式Ci+1；然後掃描序列資料庫，計算每個候選序列模式的支持度，產生長度為i+1的序列模式Li+1，並將Li+1作為新的種子集。
3）重復第二步，直到沒有新的序列模式或新的候選序列模式產生為止。
產生候選序列模式主要分兩步：
連接階段：如果去掉序列模式s1的第一個項目與去掉序列模式s2的最後一個項目所得到的序列相同，則可以將s1與s2進行連接，即將s2的最後一個項目添加到s1中。
修切階段：若某候選序列模式的某個子序列不是序列模式，則此候選序列模式不可能是序列模式，將它從候選序列模式中刪除。
候選序列模式的支持度計算：對於給定的候選序列模式集合C，掃描序列資料庫，對於其中的每一條序列s,找出集合C中被s所包含的所有候選序列模式，並增加其支持度計數。 又是一個類似Apriori的序列挖掘。
其中經典十大演算法為：C4.5，K-Means，SVM，Apriori，EM，PageRank，AdaBoost，KNN，NB和CART。
㈧ 什麼是最小均方差准則
【最小均方差准則】就是均方誤差最小准則。即選擇一組時域采樣值，採用最小均方誤差演算法（自適應演算法的一種），以使均方誤差最小，從而達到最優化設計。這一方法注重的是在整個頻率區間內，總誤差全局最小，但不能保證局部頻率點的性能，有些頻點可能會有較大的誤差。
【自適應演算法】是指處理和分析過程中，根據處理數據的數據特徵自動調整處理方法、處理順序、處理參數、邊界條件或約束條件，使其與所處理數據的統計分布特徵、結構特徵相適應，以取得最佳的處理效果。自適應過程是一個不斷逼近目標的過程。它所遵循的途徑以數學模型表示，稱為自適應演算法。通常採用基於梯度的演算法，其中最小均方誤差演算法（即LMS演算法）尤為常用。
㈨ 經典的自適應均衡器准則或演算法有哪些
迫零演算法（ZF）、最小均方誤差演算法（LMS）、遞推最小二乘演算法（RLS）、卡爾曼演算法等。