最小二乘法的演算法

㈠ 最小二乘法的原理是什麼的

最小二乘大約是1795年高斯在他那星體運動軌道預報工作中提出的[1]。後來，最小二乘法就成了估計理論的奠基石。由於最小二乘法結構簡單，編製程序也不困難，所以它頗受人們重視，應用相當廣泛。
如用標准符號，最小二乘估計可被表示為：
ax=b
(2-43)
上式中的解是最小化
，通過下式中的偽逆可求得：
a'ax=a'b
(2-44)
(a'a)^(-1)a'ax=(a'a)^(-1)a'b
(2-45)
由於
(a'a)^-1a'a=i
(2-46)
所以有
x=(a'a)^(-1)a'b
(2-47)
此即最小二乘的一次完成演算法，現代的遞推演算法，更適用於計算機的在線辨識。
最小二乘是一種最基本的辨識方法，但它具有兩方面的缺陷[1]：一是當模型雜訊是有色雜訊時，最小二乘估計不是無偏、一致估計；二是隨著數據的增長，將出現所謂的「數據飽和」現象。針對這兩個問題，出現了相應的辨識演算法，如遺忘因子法、限定記憶法、偏差補償法、增廣最小二乘、廣義最小二乘、輔助變數法、二步法及多級最小二乘法等。

㈡ 最小二乘法計算公式是什麼

最小二乘法公式是一個數學的公式，在數學上稱為曲線擬合，此處所講最小二乘法，專指線性回歸方程！最小二乘法公式為a=y(平均)-b*x（平均）。

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。

(2)最小二乘法的演算法擴展閱讀：

普通最小二乘估計量具有上述三特性：

1、線性特性

所謂線性特性，是指估計量分別是樣本觀測值的線性函數，亦即估計量和觀測值的線性組合。

2、無偏性

無偏性，是指參數估計量的期望值分別等於總體真實參數。

3、最小方差性

所謂最小方差性，是指估計量與用其它方法求得的估計量比較，其方差最小，即最佳。最小方差性又稱有效性。這一性質就是著名的高斯一馬爾可夫（ Gauss-Markov）定理。這個定理闡明了普通最小二乘估計量與用其它方法求得的任何線性無偏估計量相比，它是最佳的。

㈢ 最小二乘求解演算法哪個精度最好

在最小二乘求解演算法中，有很多精度更高的演算法，以下列舉了幾個：

1. QR分解法：該演算法通過將矩陣轉化為一個正交矩陣和一個上三角矩陣相乘的形式，使得矩陣的范數變得更小。該演算法的精度很高並且計算速度也相對較快。

2. SVD分解法：該演算法將矩陣分解為三個矩陣的乘積，其中包括兩個正交矩陣和一個類似晌余並於一個對角線矩陣一樣的矩陣。SVD可以找到矩陣的最優逼近，並且毀叢在數值上相對穩定。

3. Cholesky分解法：該演算法適用於矩陣是對稱正定矩陣的情況，將矩陣分解為一個下三角矩陣和它的轉置 相乘。該演算法速度相對較快且精度高。

以上演算法中，精度最高的演算法依賴於矩陣的具體特性和應用場景。在選擇宴跡演算法時，需要根據具體情況進行選擇。因此，無法唯一確定哪個演算法精度最高。