lms濾波演算法
❶ LMS演算法中權向量是否為隨機過程,是否為平穩隨機過程為什麼 影響LMS演算法收斂速度的因素有哪些
LMS演算法中的u(n)和e(n)都是隨機過程,得到的w(n)也是隨機過程向量。應該也是平穩的,原因:w(n)均值當n趨近於無窮是w(n)趨近去確定的最優濾波器權系數w(確定值)符合平穩條件。(自相關函數不確定)
影響LMS演算法收斂速度的主要因素有迭代步長,濾波器階數和濾波器權值的初始值。
❷ lms瀛︿範綆楁硶鐨勬ラ
LMS錛堟渶灝忓潎鏂癸級瀛︿範綆楁硶鏄涓縐嶉傚簲鎬ф護娉㈢畻娉曪紝涓昏佹ラゅ寘鎷鍒濆嬪寲鏉冮噸銆佽$畻璇宸銆佹洿鏂版潈閲嶅拰榪浠e勭悊銆
璇︾粏瑙i噴錛
1. 鍒濆嬪寲鏉冮噸
鍦ㄥ紑濮婰MS綆楁硶涔嬪墠錛岄渶瑕佸瑰緟奼傝В鐨勬潈閲嶈繘琛屽垵濮嬪寲銆傝繖閫氬父璁劇疆涓鴻緝灝忕殑闅忔満鍊礆紝浠ョ『淇濈畻娉曚粠鐩稿逛腑絝嬬殑璧風偣寮濮嬨備緥濡傦紝濡傛灉鎴戜滑鏈変竴涓鍖呭惈涓変釜鏉冮噸鐨勭嚎鎬фā鍨嬶紝閭d箞鎴戜滑鍙鑳戒細灝嗗垵濮嬫潈閲嶈劇疆涓篬0.1, 0.1, 0.1]銆
2. 璁$畻璇宸
鎺ヤ笅鏉ワ紝鎴戜滑闇瑕佽$畻妯″瀷棰勬祴鍊間笌鐪熷疄鍊間箣闂寸殑璇宸銆傚湪LMS綆楁硶涓錛屾垜浠閫氬父浣跨敤鍧囨柟璇宸錛圡SE錛変綔涓鴻宸搴﹂噺銆傚亣璁炬垜浠鐨勬ā鍨嬮勬祴鍊間負y_pred錛岀湡瀹炲間負y_true錛岄偅涔堟垜浠鍙浠ラ氳繃浠ヤ笅鍏寮忚$畻璇宸錛
error = y_true - y_pred
3. 鏇存柊鏉冮噸
璁$畻璇宸鍚庯紝鎴戜滑闇瑕佹牴鎹璇宸鏉ユ洿鏂版潈閲嶃侺MS綆楁硶浣跨敤姊搴︿笅闄嶇殑鏂規硶鏉ヨ皟鏁存潈閲嶏紝浠ヤ嬌璇宸鏈灝忓寲銆傛潈閲嶇殑鏇存柊閲忎笌璇宸鍜屽︿範鐜囷紙涓涓鐢ㄦ埛瀹氫箟鐨勫弬鏁幫紝鐢ㄤ簬鎺у埗鏉冮噸鏇存柊鐨勯熷害錛夌殑涔樼Н鎴愭f瘮銆傚亣璁炬垜浠鐨勫︿範鐜囦負lr錛屾潈閲嶅悜閲忎負w錛岄偅涔堟潈閲嶇殑鏇存柊鍙浠ヨ〃紺轟負錛
w_new = w_old + lr error
4. 榪浠e勭悊
浠ヤ笂榪囩▼灝嗗湪姣忎竴嬈¤凱浠d腑閲嶅嶈繘琛岋紝鐩村埌妯″瀷鎬ц兘杈懼埌婊℃剰鐨勬按騫蟲垨涓嶅啀鏄捐憲鎻愰珮銆傚湪姣忔¤凱浠d腑錛屾垜浠閮戒細鏍規嵁褰撳墠鏉冮噸涓嬬殑璇宸鏉ユ洿鏂版潈閲嶏紝鐒跺悗璁$畻鏂扮殑璇宸錛屽啀嬈℃洿鏂版潈閲嶏紝浠ユょ被鎺ㄣ
鎬葷粨鏉ヨ達紝LMS瀛︿範綆楁硶鏄涓涓閫氳繃涓嶆柇璋冩暣鍜屼紭鍖栨潈閲嶄互鏈灝忓寲棰勬祴璇宸鐨勮繃紼嬨傚畠鎻愪緵浜嗕竴縐嶇郴緇熺殑鏂規硶鏉ュ勭悊鍚勭嶇嚎鎬у洖褰掗棶棰橈紝灝ゅ叾鍦ㄥ勭悊澶ц勬ā鏁版嵁鎴栧湪綰垮︿範鍦烘櫙涓琛ㄧ幇鍑鴻壇濂界殑鎬ц兘鍜岄傚簲鎬с
❸ lms演算法與譜減法都是語音去噪方面的演算法,那他們都分別適用於哪樣的聲音中呢,還有各自的優缺點是啥
先說說譜減法,是通過付利葉變化在頻域上實現操作,這就要求雜訊和本真聲音在頻譜上有一定的區分度。
LMS演算法是一種自適應演算法,它的利用價值就是,倘若本真和雜訊頻譜完全重疊的話,那用頻減法是沒法實現的,於是它是按照對比匹配來進行濾波。
優缺點:
譜減法,直接快速,但是頻譜重疊部分濾不到
LMS,重疊也能濾,缺點是基於逐次匹配,需要一段時間才能實現濾波效果,而且還濾的不完全乾凈
❹ 什麼是最小均方(LMS)演算法
全稱 Least mean square 演算法。中文是最小均方演算法。
感知器和自適應線性元件在歷史上幾乎是同時提出的,並且兩者在對權值的調整的演算法非常相似。它們都是基於糾錯學習規則的學習演算法。感知器演算法存在如下問題:不能推廣到一般的前向網路中;函數不是線性可分時,得不出任何結果。而由美國斯坦福大學的Widrow和Hoff在研究自適應理論時提出的LMS演算法,由於其容易實現而很快得到了廣泛應用,成為自適應濾波的標准演算法。
LMS演算法步驟:
1,、設置變數和參量:
X(n)為輸入向量,或稱為訓練樣本
W(n)為權值向量
b(n)為偏差
d(n)為期望輸出
y(n)為實際輸出
η為學習速率
n為迭代次數
2、初始化,賦給w(0)各一個較小的隨機非零值,令n=0
3、對於一組輸入樣本x(n)和對應的期望輸出d,計算
e(n)=d(n)-X^T(n)W(n)
W(n+1)=W(n)+ηX(n)e(n)
4、判斷是否滿足條件,若滿足演算法結束,若否n增加1,轉入第3步繼續執行。
❺ LMS自適應濾波演算法中要求的期望輸出和濾波器的輸入之間有什麼區別,採集的實際信號往往是無法知道期望輸出
自適應濾波演算法有幾種應用類型,不同類型的目的、原理和手段不同,所以相對應的選取輸入和期望信號也很不一樣。
1.系統辨識:當我們想描述一個未知系統(如一組復雜的模擬電路),解析的算出系統的沖擊響應或者系統函數是比較困難的。這時,我們就可以用未知系統的輸入和輸出訓練自適應濾波器(未知系統的輸入作為自適應濾波器的輸入,未知系統的輸出作為自適應濾波器的期望信號,當自適應濾波器收斂後,對應的濾波器就可以看做是未知系統的近似)。
❻ 自適應濾波的幾種典型的自適應濾波演算法
對自適應濾波演算法 的研究是當今自適應信號處理中最為活躍的研究課題之一。自適應濾波演算法廣泛應用於系統辨識、回波消除、自適應譜線增強、自適應信道均衡、語音線性預測、自適應天線陣等諸多領域中。總之,尋求收斂速度快,計算復雜性低,數值穩定性好的自適應濾波演算法是研究人員不斷努力追求的目標。雖然線性自適應濾波器和相應的演算法具有結構簡單、計算復雜性低的優點而廣泛應用於實際,但由於對信號的處理能力有限而在應用中受到限制。由於非線性自適應濾波器,如Voletrra濾波器和基於神經網路的自適應濾波器,具有更強的信號處理能力,已成為自適應信號處理中的一個研究熱點。其中較典型的幾種演算法包括: LMS自適應濾波演算法 RLS自適應濾波演算法 變換域自適應濾波演算法 仿射投影演算法 共扼梯度演算法 基於子帶分解的自適應濾波演算法 基於QR分解的自適應濾波演算法 演算法性能評價
變步長的自適應濾波演算法 雖然解決了收斂速度、時變系統跟蹤速度與收斂精度方面對演算法調整步長因子u的矛盾,但變步長中的其它參數的選取還需實驗來確定,應用起來不太方便。對RLS演算法的各種改進,其目的均是保留RLS演算法收斂速度快的特點而降低其計算復雜性。變換域類演算法亦是想通過作某些正交變換使輸入信號自相關矩陣的特徵值發散程度變小,提高收斂速度。而仿射投影演算法的性能介於LMS演算法和RLS演算法之間。共扼梯度自適應濾波演算法的提出是為了降低RLS類演算法的復雜性和克服某些快速RLS演算法存在的數值穩定性問題。信號的子帶分解能降低輸入信號的自相關矩陣的特徵值發散程度,從而加快自適應濾波演算法的收斂速度,同時便於並行處理,帶來了一定的靈活性。矩陣的QR分解具有良好的數值穩定性。
❼ LMS自適應演算法分析及在數字濾波器設計中的應用
自適應過程一般採用典型LMS自適應演算法,但當濾波器的輸入信號為有色隨機過程時,特別是當輸入信號為高度相關時,這種演算法收斂速度要下降許多,這主要是因為輸入信號的自相關矩陣特徵值的分散程度加劇將導致演算法收斂性能的惡化和穩態誤差的增大。此時若採用變換域演算法可以增加演算法收斂速度。變換域演算法的基本思想是:先對輸入信號進行一次正交變換以去除或衰減其相關性,然後將變換後的信號加到自適應濾波器以實現濾波處理,從而改善相關矩陣的條件數。因為離散傅立葉變換�DFT本身具有近似正交性,加之有FFT快速演算法,故頻域分塊LMS�FBLMS演算法被廣泛應用。
FBLMS演算法本質上是以頻域來實現時域分塊LMS演算法的,即將時域數據分組構成N個點的數據塊,且在每塊上濾波權系數保持不變。其原理框圖如圖2所示。FBLMS演算法在頻域內可以用數字信號處理中的重疊保留法來實現,其計算量比時域法大為減少,也可以用重疊相加法來計算,但這種演算法比重疊保留法需要較大的計算量。塊數據的任何重疊比例都是可行的,但以50%的重疊計算效率為最高。對FBLMS演算法和典型LMS演算法的運算量做了比較,並從理論上討論了兩個演算法中乘法部分的運算量。本文從實際工程出發,詳細分析了兩個演算法中乘法和加法的總運算量,其結果為:
復雜度之比=FBLMS實數乘加次數/LMS實數乘加次數=(25Nlog2N+2N-4)/[2N(2N-1)]�
採用ADSP的C語言來實現FBLMS演算法的程序如下:
for(i=0;i<=30;i++)
{for(j=0;j<=n-1;j++)
{in[j]=input[i×N+j;]
rfft(in,tin,nf,wfft,wst,n);
rfft(w,tw,wf,wfft,wst,n);
cvecvmlt(inf,wf,inw,n);
ifft(inw,t,O,wfft,wst,n);
for(j=0,j<=N-1;j++)
{y[i×N+j]=O[N+j].re;
e[i×N+j]=refere[i×N+j]-y[i×N+j];
temp[N+j]=e[i×N+j;}
rfft(temp,t,E,wfft,wst,n);
for(j=0;j<=n-1;j++)
{inf_conj[j]=conjf(inf[j]);}��
cvecvmlt(E,inf_conj,Ein,n);
ifft(Ein,t,Ein,wfft,wst,n);
for(j=0;j<=N-1;j++)
{OO[j]=Ein[j].re;
w[j]=w[j]+2*u*OO[j];}��
}
在EZ-KIT測試板中,筆者用匯編語言和C語言程序分別測試了典型LMS演算法的運行速度,並與FBLMS演算法的C語言運行速度進行了比較,表2所列是其比較結果,從表2可以看出濾波器階數為64時,即使是用C語言編寫的FBLMS演算法也比用匯編編寫的LMS演算法速度快20%以上,如果濾波器的階數更大,則速度會提高更多。
❽ 用Matlab軟體實現變長NLMS自適應濾波器演算法
一種具有雙瞬變因子的LMS自適應濾波演算法
曾召華 劉貴忠 馬社祥
(西安交通大學信息與通信工程研究所 西安710049)
作者在文獻〔4〕中提出了一種改進的瞬變步長SPLMS自適應濾波演算法。本文在SPLMS演算法的基礎上,進一步提出一種基於瞬變步長、瞬變平滑因子的雙瞬變SPLMS演算法—DSPLMS演算法。該演算法除具有常規LMS演算法簡單的優點外,還具有更高的起始收斂速率、更小的權失調雜訊和更大的抑噪能力。文中重點討論瞬變步長、瞬變平滑因子的變化特性。計算機模擬結果支持了理論分析。
自適應濾波器,失調雜訊,收斂速度,最小均方誤差,瞬變因子
1 引言
自適應濾波器及其相應演算法是多年來人們廣泛研究的課題。基於Widrow-Hoff標準的LMS演算法和其相應的自適應濾波器以其演算法和結構簡單,便於實時信號處理等優點,在不同領域得到了最為廣泛的應用。而為克服常規的固定步長LMS或牛頓LMS(Newton LMS,即NLMS)自適應演算法在收斂速率、跟蹤速率與權失調雜訊之間要求上存在的較大矛盾,人們發展了各種各樣的改進型LMS演算法,如基於瞬變步長LMS自適應濾波演算法〔1~6〕、基於正交變換(DCT、FFT、小波變換、子帶濾波)的新型LMS均衡演算法〔7~8〕。基於模糊判斷的自適應LMS系統識別和基於最小四次均方誤差的LMS自適應平穩收斂演算法〔9~10〕。在所有改進型LMS演算法中,瞬變步長LMS自適應濾波演算法是研究最為廣泛的一類LMS自適應濾波演算法。本文演算法也是基於瞬變因子的一種改進LMS自適應濾波演算法。
2 SPLMS演算法分析及問題的提出
在文獻〔4〕中,作者對上述方案進行了大量的計算機模擬和理論分析,結果表明:(1)上述諸種演算法的收斂速率與系統輸入信噪比SNR直接相關,信噪比SNR越高,它們的收斂速率普遍提高;隨著信噪比SNR的降低,它們的收斂速率減慢,甚至出現發散現象,因此它們必須在弱干擾下完成規一化起動,即在起始過程中雜訊要相當小,否則效果不佳。(2)在上述所有演算法中,由於採用瞬時平方誤差性能函數e2k來代替均方誤差性能函數,所以其演算法的權值收斂過程表現為加權矢量的平均值變化規律和由於雜訊引起的隨機起伏項的疊加。因此,雜訊方差越大,則隨機起伏項越大,表現為權值振動也就越大。(3)為了追求更快的收斂性,往往增大μ和M,但濾波器階數越高,步長因子μ和輸入功率越大,就便得失調系數也越大。在有限次數起動迭代過程中,也就很難收斂到較穩態值,所以必須尋求更佳的瞬態步長演算法。
文獻〔4〕在准最小均方(Pseudo-LMS,即PLMS)誤差演算法基礎上通過採用滑動時間窗,減少PLMS演算法起動過程的計算量;同時在權值迭代中加一平滑迭代而使PLMS演算法具備全局較強的抗噪性能,較快速收斂性能而提出了SPLMS演算法,即:
其中rk為M階濾波器輸入信號的功率估值;Wk為濾波器的第k步M維最優權矢量估值;Xk是濾波器輸入信號的M維輸入數據矢量;dk為希望輸出;μk為濾波器第k步瞬態步長。切換條件中,閾值μ類似於LMS演算法的步長因子μL,滿足:
μL<μ<1/trR,R=E〔XkXTk〕(7)
為待定的演算法常數,是μk變化的動態平衡點。而α是一常數為平滑因子,它決定上一次的權值變化對本次權值更新的影響程度。k0是採用式(2)規一化啟動後,演算法收斂到較穩態時的步數。式(4)是μk下降的遞推演算法,式(5)是μk上升的平滑遞推演算法。λ為上升的速度因子,滿足0<λ<1。在實際應用中,考慮到學習過程的啟動速度,一般取較大的λ值,即:
0.9<λ<1,k0=25~35,|α|<0.3(8)
SPLMS演算法的實質是:在開始k0步中,採用啟動速度較快的MLMS(Mend LMS)演算法收斂到相對較穩態的狀態;然後在k≥k0+1過程中,採用瞬態步長μk來訓練演算法。而μk根據不同的切換條件將圍繞μ作升降變化,其迭代計算主要表現為不降即升的動態過程。α主要根據經驗來取值,輸入數據的非平穩性越大,雜訊方差越大時,增大α可明顯抑制振動,從而加速收斂過程;在雜訊小時減小α。
但SPLMS演算法也有一明顯不足,即α主要根據經驗來取值,沒有理論上的確切依據。α取值不當,反而容易造成演算法收斂性能更差,甚至發散的現象。從理論上分析,α與瞬態步長μk和輸出誤差ek(文中定義為:ek=dk-WTk Xk)應有一定關系。在演算法啟動階段,ek較大,為追求啟動速度而常取較大步長μk,但μk越大,權失調系數也就越大,有時反而起不到應有的作用,這時就應相應增加α值來平滑權失調雜訊;在演算法漸趨穩定,步長μk漸趨於常數,ek漸趨於0,此時α也應漸趨於0。綜合起來就是:α應隨步長μk和誤差ek瞬時變化而變化,也應是一瞬變因子。本文重點就是尋求瞬變因子αk的數學表達式以滿足上述分析的要求。
3 改進的雙瞬變因子SPLMS演算法——DSPLMS演算法
3.1 μk的變化特性
從式(4)和式(5)可以看出,在k≥k0+1過程中,μk根據不同的切換條件將圍繞μ作升降變化,μk的迭 代計算主要表現為不降即升的動態過程。對於式(5),設k≥kr時,μk<μ,則在k≥kr>k0+1的上升過程中:
即上升速度按指數衰減,使趨於平衡點μ的上升速度迅速減小。其變化過程類似於一電阻電容串聯電路上電容的充電過程。對式(4),由於μk=μk-1/(1+Rk),Rk>0,即使很小的Rk經過一步迭代就足以使μk<μ,再次切換到上升過程。當rk較大時,下降形成的負脈沖也較大。
綜上所述,在k≥k0+1的收斂過程中,μk的時變特性等價於幅值極不對稱的隨機正負尖脈沖序列組成的瞬態分量和直流分量μ的線性疊加。瞬態分量的負脈沖強度與rk瞬值對應,有利於抑制局部自激或短暫發散,減小權矢量雜訊,提高穩定度。在rk較小、演算法漸趨於穩定時,瞬變分量趨於0,μk~μ。
3.2 αk的變化特性
定義:ΔWk=Wk+1-Wk為自適應濾波器的權系數增量;ξ為均方誤差性能函數,ξ=E〔ek〕2,ek=dk-WTk Xk為輸出誤差,則SPLMS演算法的權系數更新公式由式(1)可重寫為:
Wk+1=Wk-μk^Wξk+αΔWk-1(10)
其中Wξ為ξ的梯度函數,^W為Wξ的第k步估計。由式(10)的系數更新公式,我們可寫出均方誤差性能函數的表達式:
式中上標T表示矢量的轉置。若用一矢量^Wζk+1去左乘式(10),則可得到:
^Wξk+1Wk+1=^Wζk+1Wk-μk^Wζk+1^Wζk+^Wζk+1αΔWk-1(13)
利用式(12)的結論,可將式(13)化簡為:
^TWζk+1ΔWk=0(14)
由於參量μk和α均為實的標量因子,故式(14)又可寫成:
(μk^TWζk+1)(αΔWk)=0(15)
式(15)清楚地表明:在SPLMS演算法中,自適應濾波器的權系數在迭代過程中,其均方誤差性能函數的梯度估值與權系數增量始終存在一個正交關系。ΔWk-1對ΔWk的調節作用是在當前梯度估值方向上,給出與梯度估值方向正交矢量,並以這兩個矢量所構成的合矢量來改變權系數空間的權重。
對於FIR結構的LMS自適應系統而言,其均方誤差性能函數在平穩輸入時為一個二次型函數,在收斂點附近仍可視為一個二次型函數,故有:
ξ(Wk+1)=WTk RWk-2WTk P+C(16)
式中R=E〔XTk Xk〕為輸入信號的自相關矩陣,P=E〔dkXk〕為所需信號與輸入信號的互相關矢量,C=E〔d2k〕,則由式(16)可得:
將式(17)代入式(18),則式(18)可變形為:
式(19)就是本文給出的瞬變平滑因子αk的數學表達式。顯然,它滿足前面分析時所提出的要求,且在演算法達到穩態收斂時,滿足:
limk→∞αk=0(20)
3.3 改進的雙瞬變SPLMS演算法——DSPLMS演算法
用式(19)中αk的表達式替換式(1)中的α,就得到本文提出的具有雙瞬變因子的LMS演算法——DSPLMS演算法,即
Wk+1=Wk+2μk(dk-WTk Xk)Xk+αk(Wk-Wk-1)(21)
μk=λ/(1+2λrk),0≤k≤k0(22)
由式(19)、(20)可知,αk是一個與μk成正比且具有衰減性的瞬變因子,從而使本文提出的DSPLMS演算法比SPLMS演算法更能快速穩定收斂;與常規LMS演算法相比,其性能有極大的提高,為實時信號處理提供了一個較好的演算法。
4 計算機模擬
模擬實驗的結構如圖1所示,其中dk為隨機輸入信號,nk為高斯白雜訊,ek為輸出誤差,xk為自適應濾波器的輸入,yk為濾波器輸出,此時xk=dk+nk。
在圖2中,dk是均值為0、方差為1的高斯白雜訊;nk是與dk不相關的均值為0、方差為1的高斯白雜訊;濾波器參數:M=32,λ=0.9,μL=0.005,μ=0.01,α=0.1。在圖3中,nk為均值為0、方差為0.1的高斯白雜訊,其它參數同圖2。圖2、3為分別採用LMS、SPLMS和DSPLMS演算法進行濾波的學習曲線比較圖。
從圖2(強干擾啟動)和圖3(較弱干擾啟動)中可以看出:在強干擾下,DSPL MS 具有比SPLMS好、比LMS好得多的啟動速度和收斂速度;而在弱干擾下,DSPLMS仍具有比SPLMS快、比LMS快得多的啟動速度。從圖中同時還可看出:DSPLMS與SPLM S具有幾乎相同的收斂速度,它們的收斂速度比LMS快得多。
5 結語
加進瞬變平滑項的規一化起動,使DSPLMS具有更高的起始收斂速度、更小的權失調雜訊和更大的抑噪能力;在平穩連接之後的穩態過程中,該演算法趨於步長為μ的LMS演算法性能,但由於瞬變分量負脈沖的作用,在相近的權失調量下可按式(7)取較大的μ值,增強演算法對時變參數過程的跟蹤處理能力;輸入數據的非平穩性越大,雜訊方差越大時,加進的瞬變平滑項使權失調雜訊減小,從而使本文提出的DSPLMS演算法比SPLMS演算法更能快速穩定地收斂;與常規LMS演算法相比,其性能有極大的提高,可以明顯抑制振動,從而加速收斂過程。
網址: