pca的源码

Ⅰ PCA涓绘垚鍒嗗垎鏋愬浘镀忔暟鎹闄岖淮浠ｇ爜姹傛暀

銮峰彇n琛宫鍒楀师濮嬫暟鎹锛屽啓鎴恘*m镄勭烦阒靛舰寮忥绂
鏁版嵁涓蹇冨寲銆傚嵆鎶婃疮涓灞炴х殑鍧囧煎勭悊璁句负0锛堜笅闱㈡湪缇婂皢缁椤嚭镊宸辩紪鍐欑殑婧愪唬镰侊纴链ㄧ緤镄勬暟鎹鐢ㄥ垪浠ｈ〃灞炴э纴鍦ㄨユラや腑锛屽氨鎶婃疮鍒楃殑鍧囧奸兘璁剧疆涓0锛夈
镙规嵁涓蹇冨寲钖庣殑鐭╅樀姹傚岗鏂瑰樊鐭╅樀銆傚岗鏂瑰樊链変笁绉嶅硷纴0琛ㄧず灞炴т箣闂寸浉浜掔嫭绔嬶纴娌℃湁褰卞搷锛涙ｅ艰〃绀哄睘镐ф槸姝ｇ浉鍏崇殑鍏崇郴锛岃嫢灞炴A鍜屽睘镐B鏄姝ｇ浉鍏冲叧绯伙纴鍒橝澧炲姞B涔熷炲姞锛孉鍑忓皬B涔熷噺灏忥绂璐熷艰〃绀哄睘镐ф槸璐熺浉鍏崇殑鍏崇郴锛岃嫢灞炴C鍜屽睘镐D鏄璐熺浉鍏冲叧绯伙纴鍒机澧炲姞D鍑忓皬锛孋鍑忓皬D澧炲姞銆傛墍浠ワ纴鍗忔柟宸鐭╅樀涔熷彲浠ョ悊瑙ｄ负鐩稿叧绯绘暟鐭╅樀锛岃〃绀哄睘镐ч棿镄勭浉鍏崇▼搴︺
镙规嵁鍗忔柟宸鐭╅樀姹傜壒寰佸肩烦阒点傜壒寰佸肩烦阒靛彧链夊硅掔嚎涓婄殑鍏幂礌链夊硷纴涓娄笁瑙掑拰涓嬩笁瑙掑厓绱犻兘涓0.
镙规嵁鐗瑰緛鍊肩烦阒垫眰瀵瑰簲镄勭壒寰佸悜閲忋
瀵圭壒寰佸肩烦阒佃繘琛屾帓搴忥纴骞惰惧畾涓涓阒埚硷纴鑻ュ墠i涓鐗瑰緛鐭╅樀镄勫拰>=璁惧畾镄勯槇鍊硷纴鍒椤氨链塱涓涓绘垚鍒嗭纴鍙栧叾瀵瑰簲镄勭壒寰佸悜閲忥纴瀹氢负涓绘垚鍒嗗悜閲忕烦阒点
铡熷嬬烦阒典箻浠ヨ浆缃钖庣殑涓绘垚鍒嗗悜閲忓嵆寰楅檷缁村悗镄勭烦阒点傛瘆濡傦纴铡熷嬫暟鎹鏄150*4镄勭烦阒碉纴鍦ㄦラ6涓鍙栧缑浜2涓涓绘垚鍒嗭纴闾ｄ箞涓绘垚鍒嗙烦阒靛氨鏄2*4镄勭烦阒点150*4镄勭烦阒典箻浠4*2镄勭烦阒碉纴鍗冲缑150*2镄勭烦阒碉纴浣撶幇浜嗛檷缁存晥鏋溿傦纸阃夊彇杩欎釜灞炴ц缉灏戠殑鏁版嵁闆嗘槸涓轰简鏂逛究鍒濆﹁呯殑鐞呜В锛屽湪瀹为檯宸ョ▼涓锛屾垜浠镄勫睘镐у煎线寰涓嶆4涓锛屼絾闄岖淮鏂规硶閮戒竴镙风殑銆傦级

Ⅱ C#中如何编写PCA算法代码

PCA的处理步骤：

1，均值化

2，求协方差矩阵（我知道的有两种方法，这是第一种，按部就班的求，第二种是：（A*A‘/(N-1)））

3，求协方差的特征值和特征向量

4，将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵

5，将样本点投影到选取的特征向量上

matlab实现源代码

%PCA算法，matlab实现
functionF=pcad(A,n)%A是M*N
%测试实例A=[2.5,0.5,2.2,1.9,3.1,2.3,2,1,1.5,1.1;2.4,0.7,2.9,2.2,3.0,2.7,1.6,1.1,1.6,0.9]
%结果F=[0.8280，-1.7776，0.9922，0.2742，1.6758，0.9129，-0.0991，-1.1446，-0.4380，-1.2238]
%PCA第一步：均值化
X=A-repmat(mean(A,2),1,size(A,2))%去均值
%PCA第二步：求特征协方差矩阵
B=COV(X')%求协方差
%PCA第三步：求特征协方差矩阵的特征值和特征向量
[v,d]=eig(B)%求特征值和特征向量
%PCA第四步：将特征值按照从大到小的顺序排序
d1=diag(d);%取出对角矩阵，也就是把特征值提出来组成一个新的M*1的d1矩阵
[d2index]=sort(d1);%特征值以升序排序d2是排序后的结果index是数排序以前的排名位置
cols=size(v,2);%特征向量矩阵的列数
fori=1:cols%对特征向量做相反位置的调整是个降序排列。这个过程把特征值和特征向量同时做相应的降序排列
vsort(:,i)=v(:,index(cols-i+1));%vsort是一个M*col(注:col一般等于M)阶矩阵，保存的是按降序排列的特征向量,每一列构成一个特征向量
%vsort保存的是协方差矩阵降序后的特征向量，为M*M阶
dsort(i)=d1(index(cols-i+1));%dsort保存的是按降序排列的特征值，是一维行向量，1*M
end%完成降序排列
M=vsort(:,1:n)%提取主成分量
%PCA第五步：将样本点投影到选取的特征向量上
F=(X'*M)'%最终的投影

Ⅲ 2020-07-21

主成分分析（PCA）是一种数据降维和去除相关性的方法，它通过线性变换将向量投影到低维空间。对向量进行投影就是对向量左乘一个矩阵，得到结果向量：

在这里，结果向量的维数小于原始向量的维数。降维要确保的是在低维空间中的投影能很好地近似表达原始向量，即重构误差最小化。

核心的问题的如何得到投影矩阵，和其他的机器学习算法一样，它通过优化目标函数得到。首先考虑最简单的情况，将向量投影到一维空间，然后推广到一般情况。

假设有 n 个 d 维向量 X i ，如果要用一个向量 X 0 来近似代替它们，这个向量取什么值的时候近似代替的误差最小？如果用均方误差作为标准，就是要最小化如下函数：

显然问题的最优解是这些向量的均值：

证明很简单。为了求上面这个目标函数的极小值，对它的求梯度（求导）并令梯度等于0，可以得到

解这个方程即可得到上面的结论。只用均值代表整个样本集过于简单，误差太大。作为改进，可以将每个向量表示成均值向量和另外一个向量的和：

其中， e 为单位向量， a i 是标量。上面这种表示相当于把向量投影到一维空间，坐标就是 a i 。当e和ai取什么值的时候，这种近似表达的误差最小？
这相当于最小化如下误差函数：

将上面求得的ai带入目标函数中，得到只有变量e的函数：

上式的后半部分和e无关，由于e是单位向量，因此有 ||e||=1 的约束，这个约束条件可以写成e T e=1。我们要求解的是一个带等式约束的极值问题，可以使用拉格朗日乘数法。构造拉格朗日函数：

因此，这个矩阵半正定。这里需要最大化 e T Se 的值，由于

因此， 为散度矩阵最大的特征值时， e T Se 有极大值，目标函数取得极小值。将上述结论从一维推广到 d' 维。每个向量可以表达成

在这里 e i 是单位向量。误差函数变成

可以证明，使得该函数取最小值的 e j 为散度矩阵最大的d'个特征值对应的单位长度特征向量，即求解下面的优化问题：

其中， tr 为矩阵的迹。矩阵W的列 e j 是要求解的迹的基向量。散度矩阵是实对称矩阵，属于不同特征值的特征向量相互正交。前面已经证明这个矩阵半正定，特征值非负。这些特征向量构成一组基向量，可以用它们的线性组合来表达向量 x 。从另外一个角度来看，这种变换将协方差矩阵对角化，相当于去除了各分量之间的相关性。

从上面的推导过程可以得到计算投影矩阵的流程如下：
（1）计算样本集的均值向量，将所有向量减去均值，这成为白化；

（2）计算样本集的协方差矩阵；

（3）对协方差矩阵进行特征值分解，得到所有特征值与特征向量；

（4）将特征值从大到小排序，保留最大的一部分特征值对应的特征向量，以它们为行，形成投影矩阵。

具体保留多少个特征值由投影后的向量维数决定。使用协方差矩阵和使用散度矩阵是等价的，因为后者是前者的 n 倍，而矩阵 A 和 nA 有相同的特征向量。

得到投影矩阵之后可以进行向量降维，将其投影到低维空间。向量投影的流程如下。

（1）将样本减掉均值向量。

（2）左乘投影矩阵，得到降维后的向量。

向量重构指根据投影后的向量重构原始向量，与向量投影的作用和过程相反。向量重构的流程如下。

（1）输入向量左乘投影矩阵的转置矩阵。

（2）加上均值向量，得到重构后的结果。

从上面的推导过程可以看到，在计算过程中没有使用样本标签值，因此，主成分分析是一种无监督学习算法。除了标准算法之外它还有多个变种，如稀疏主成分分析、核主成分分析、概率主分量分析等。

源码讲解视频链接

Ⅳ PCA闄岖淮绠楁硶钬斺斿师鐞嗕笌瀹炵幇

链哄櫒瀛︿範锘虹绠楁硶python浠ｇ爜瀹炵幇鍙鍙傝冿细machine_learning_algorithms銆

1銆佺亩浠

PCA锛圥rincipal Component Analysis锛夋槸涓绉嶅父鐢ㄧ殑鏁版嵁鍒嗘瀽鏂规硶銆侾CA阃氲繃绾挎у彉鎹㈠皢铡熷嬫暟鎹鍙樻崲涓轰竴缁勫悇缁村害绾挎ф棤鍏崇殑琛ㄧず锛屽彲鐢ㄤ簬鎻愬彇鏁版嵁镄勪富瑕佺壒寰佸垎閲忥纴甯哥敤浜庨珮缁存暟鎹镄勯檷缁淬

4涓浜涘笔CA镄勮ょ煡

PCA链璐ㄤ笂鏄灏嗘柟宸链澶х殑鏂瑰悜浣滀负涓昏佺壒寰侊纴骞朵笖鍦ㄥ悇涓姝ｄ氦鏂瑰悜涓婂皢鏁版嵁钬灭荤浉鍏斥濓纴涔熷氨鏄璁╁畠浠鍦ㄤ笉钖屾ｄ氦鏂瑰悜涓婃病链夌浉鍏虫с

锲犳わ纴PCA涔熷瓨鍦ㄤ竴浜涢檺鍒讹纴渚嫔傚畠鍙浠ュ緢濂界殑瑙ｉ櫎绾挎х浉鍏筹纴浣嗘槸瀵逛簬楂橀桩鐩稿叧镐у氨娌℃湁锷炴硶浜嗭纴瀵逛簬瀛桦湪楂橀桩鐩稿叧镐х殑鏁版嵁锛屽彲浠ヨ冭槛Kernel PCA锛岄氲繃Kernel鍑芥暟灏嗛潪绾挎х浉鍏宠浆涓虹嚎镐х浉鍏炽鍙﹀栵纴PCA锅囱炬暟鎹钖勪富鐗瑰緛鏄鍒嗗竷鍦ㄦｄ氦鏂瑰悜涓婏纴濡傛灉鍦ㄩ潪姝ｄ氦鏂瑰悜涓婂瓨鍦ㄥ嚑涓鏂瑰樊杈冨ぇ镄勬柟钖戯纴PCA镄勬晥鏋滃氨澶ф墦鎶樻墸浜嗐

链钖庨渶瑕佽存槑镄勬槸锛孭CA鏄涓绉嶆棤鍙傛暟鎶链锛屼篃灏辨槸璇撮溃瀵瑰悓镙风殑鏁版嵁锛屽傛灉涓嶈冭槛娓呮礂锛岃皝𨱒ュ仛缁撴灉閮戒竴镙凤纴娌℃湁涓昏傚弬鏁扮殑浠嫔叆锛屾墍浠PCA渚夸簬阃氱敤瀹炵幇锛屼絾鏄链韬镞犳硶涓镐у寲镄勪紭鍖栥