對比散度演算法
㈠ 各種編程語言的深度學習庫整理大全!
各種編程語言的深度學習庫整理大全!
python1. Theano是一個python類庫,用數組向量來定義和計算數學表達式。它使得在Python環境下編寫深度學習演算法變得簡單。在它基礎之上還搭建了許多類庫。
1.Keras是一個簡潔、高度模塊化的神經網路庫,它的設計參考了Torch,用Python語言編寫,支持調用GPU和CPU優化後的Theano運算。
2.Pylearn2是一個集成大量深度學習常見模型和訓練演算法的庫,如隨機梯度下降等。它的功能庫都是基於Theano之上。
3.Lasagne是一個搭建和訓練神經網路的輕量級封裝庫,基於Theano。它遵循簡潔化、透明化、模塊化、實用化和專一化的原則。
4.Blocks也是一個基於Theano的幫助搭建神經網路的框架。
2. Caffe是深度學習的框架,它注重於代碼的表達形式、運算速度以及模塊化程度。它是由伯克利視覺和學習中心(Berkeley Vision and Learning Center, BVLC)以及社區成員共同開發。谷歌的DeepDream項目就是基於Caffe框架完成。這個框架是使用BSD許可證的C++庫,並提供了Python調用介面。
3. nolearn囊括了大量的現有神經網路函數庫的封裝和抽象介面、大名鼎鼎的Lasagne以及一些機器學習的常用模塊。
4. Genism也是一個用Python編寫的深度學習小工具,採用高效的演算法來處理大規模文本數據。
5. Chainer在深度學習的理論演算法和實際應用之間架起一座橋梁。它的特點是強大、靈活、直觀,被認為是深度學習的靈活框架。
6. deepnet是基於GPU的深度學習演算法函數庫,使用Python語言開發,實現了前饋神經網路(FNN)、受限玻爾茲曼機(RBM)、深度信念網路(DBN)、自編碼器(AE)、深度玻爾茲曼機(DBM)和卷積神經網路(CNN)等演算法。
7. Hebel也是深度學習和神經網路的一個Python庫,它通過pyCUDA控制支持CUDA的GPU加速。它實現了最重要的幾類神經網路模型,提供了多種激活函數和模型訓練方法,例如momentum、Nesterov momentum、dropout、和early stopping等方法。
8. CXXNET是一個基於MShadow開發的快速、簡潔的分布式深度學習框架。它是一個輕量級、易擴展的C++/CUDA神經網路工具箱,提供友好的Python/Matlab介面來進行訓練和預測。
9. DeepPy是基於NumPy的深度學習框架。
10. DeepLearning是一個用C++和Python共同開發的深度學習函數庫。
11. Neon是Nervana System 的深度學習框架,使用Python開發。
Matlab
1. ConvNet 卷積神經網路是一類深度學習分類演算法,它可以從原始數據中自主學習有用的特徵,通過調節權重值來實現。
2. DeepLearnToolBox是用於深度學習的Matlab/Octave工具箱,它包含深度信念網路(DBN)、棧式自編碼器(stacked AE)、卷積神經網路(CNN)等演算法。
3. cuda-convet是一套卷積神經網路(CNN)代碼,也適用於前饋神經網路,使用C++/CUDA進行運算。它能對任意深度的多層神經網路建模。只要是有向無環圖的網路結構都可以。訓練過程採用反向傳播演算法(BP演算法)。
4. MatConvNet是一個面向計算機視覺應用的卷積神經網路(CNN)Matlab工具箱。它簡單高效,能夠運行和學習最先進的機器學習演算法。
CPP
1. eblearn是開源的機器學習C++封裝庫,由Yann LeCun主導的紐約大學機器學習實驗室開發。它用基於能量的模型實現卷積神經網路,並提供可視化交互界面(GUI)、示例以及示範教程。
2. SINGA是Apache軟體基金會支持的一個項目,它的設計目標是在現有系統上提供通用的分布式模型訓練演算法。
3. NVIDIA DIGITS是用於開發、訓練和可視化深度神經網路的一套新系統。它把深度學習的強大功能用瀏覽器界面呈現出來,使得數據科學家和研究員可以實時地可視化神經網路行為,快速地設計出最適合數據的深度神經網路。
4. Intel? Deep Learning Framework提供了Intel?平台加速深度卷積神經網路的一個統一平台。
Java
1. N-Dimensional Arrays for Java (ND4J) 是JVM平台的科學計算函數庫。它主要用於產品中,也就是說函數的設計需求是運算速度快、存儲空間最省。
2. Deeplearning4j 是第一款商業級別的開源分布式深度學習類庫,用Java和Scala編寫。它的設計目的是為了在商業環境下使用,而不是作為一款研究工具。
3. Encog是一個機器學習的高級框架,涵蓋支持向量機、人工神經網路、遺傳編程、貝葉斯網路、隱馬可夫模型等,也支持遺傳演算法。
JavaScript
1. Convnet.js 由JavaScript編寫,是一個完全在瀏覽器內完成訓練深度學習模型(主要是神經網路)的封裝庫。不需要其它軟體,不需要編譯器,不需要安裝包,不需要GPU,甚至不費吹灰之力。
Lua
1. Torch是一款廣泛適用於各種機器學習演算法的科學計算框架。它使用容易,用快速的腳本語言LuaJit開發,底層是C/CUDA實現。Torch基於Lua編程語言。
Julia
1. Mocha是Julia的深度學習框架,受C++框架Caffe的啟發。Mocha中通用隨機梯度求解程序和通用模塊的高效實現,可以用來訓練深度/淺層(卷積)神經網路,可以通過(棧式)自編碼器配合非監督式預訓練(可選)完成。它的優勢特性包括模塊化結構、提供上層介面,可能還有速度、兼容性等更多特性。
Lisp
1. Lush(Lisp Universal Shell)是一種面向對象的編程語言,面向對大規模數值和圖形應用感興趣的廣大研究員、實驗員和工程師們。它擁有機器學習的函數庫,其中包含豐富的深度學習庫。
Haskell
1. DNNGraph是Haskell用於深度神經網路模型生成的領域特定語言(DSL)。
.NET
1. Accord.NET 是完全用C#編寫的.NET機器學習框架,包括音頻和圖像處理的類庫。它是產品級的完整框架,用於計算機視覺、計算機音頻、信號處理和統計應用領域。
R
1. darch包可以用來生成多層神經網路(深度結構)。訓練的方法包括了對比散度的預訓練和眾所周知的訓練演算法(如反向傳播法或共軛梯度法)的細調。
2. deepnet實現了許多深度學習框架和神經網路演算法,包括反向傳播(BP)、受限玻爾茲曼機(RBM)、深度信念網路(DBP)、深度自編碼器(Deep autoencoder)等等。
㈡ 雙色球散度怎麼有兩種演算法那種正確 – 手機愛問
雙色球有哪兩種演算法正確
雙色球有哪兩種演算法正確
㈢ 如何判斷一個矢量函數是靜電場還是靜磁場
可以通過計算該矢量函數的旋度和散度來判斷是靜電場還是靜磁場。
靜電場有源無旋,散度不一定為零(看電荷),旋度一定為零,靜磁場相反,靜磁場無源有旋,散度一定為零,旋度一定為零。
靜電場和靜磁場的本質就不同。靜電場,指的是觀察者與電荷量不隨時間發生變化的電荷相對靜止時所觀察到的電場。靜磁場由穩恆電流或永磁體在其周圍空間產生的磁場強度(大小和方向)不 隨時間變化的磁場。
㈣ 高光譜岩性信息提取
8.5.1 方法與流程
8.5.1.1 岩性信息產品生成業務化流程
採用的高光譜岩性信息分類填圖方法:先將成像高光譜數據進行輻射定標、大氣校正、光譜重建等過程得到光譜反射率數據,然後根據礦物特徵吸收峰分布情況對高光譜反射率數據進行波譜降維,對照已有地質圖選取其中的典型岩性並結合像元純凈度指數圖在高光譜數據區域中建立感興趣區,確定岩性分類的先驗樣區,最後用合適的方法進行岩性信息分類填圖,並對結果進行優化操作。岩性信息分類填圖流程圖如圖8.20。
圖8.20 高光譜岩性信息分類填圖流程
8.5.1.2 岩性分類信息提取的高光譜數據預處理
無論是高光譜成像儀還是傳統的多光譜感測器,它們所記錄的數據都是地面觀測目標的反射或輻射能量的光譜輻射絕對值,與地物目標的光譜反射率或光譜輻亮度值是不一致的。因此,輻射定標和光譜重建是地物識別和定量分析不可缺少的環節。只有經過輻射標定、輻射校正和大氣校正,剔除由於大氣散射、吸收、地形起伏及感測器本身不穩定帶來的各種失真,將記錄的圖像值轉換為地面的反照率值,重建像元地面光譜,才能根據光譜特徵,有效地識別地物,反演地物成分。
8.5.1.3 端元選擇
對於一個地區的未知岩性分類信息提取,一般要進行岩性端元信息的提取。所謂端元,指的是成分單一的岩性像元。只有提取出端元才能進一步對研究區域進行岩性信息的分類分析。目前端元選擇的方式概括起來主要有兩種:①根據野外波譜測量或從已有的地物波譜信息庫中選擇端元。通過這種途徑選擇的端元稱為「參考端元」。②直接從待分類岩性的圖像上選擇端元,然後不斷對其修改、調整,確定端元,這種圖像上選擇的端元區域稱為先驗樣區。
野外獲取岩性端元信息一般要經過實地勘察,先選擇好樣區,然後選擇合適的時間進行量測。一般情況下,要求在獲取影像的同時進行地物波譜量測,但這種難度很大,實際應用中很少能做到。通過野外測量方式獲取的參考端元理論上比較精確,但遙感圖像上地物的波譜曲線受到大氣、地形和感測器等的影響,這些與野外實地測量的地物波譜曲線存在很大差別,即使對影像進行各種糾正進一步消除這些因素的影響,也不會與野外測量的地物波譜曲線很好地吻合。對於大部分研究區域而言,有與研究區對應的實際地物波譜庫的區域很少,也很少投入大量人力、物力進行野外波譜測量。因此在缺乏野外波譜測量數據情況下,從影像本身獲取端元是目前獲取端元的主要方式。目前,在端元從影像本身的像元獲取方式中,除了對遙感影像像元的色調、波譜特徵進行目視解譯直接分析外,還可藉助以下分析方法進行。
基於圖像的端元選擇是假定圖像中存在有基本上僅反映一種岩性或礦物光譜的「純像元」或「非混合像元」,用數學方法自動或交互地從圖像中提取這些「純像元」作為端元,用同一類「純像元」的典型光譜或平均像元光譜作為端元光譜。PPI方法由於推出較早,計算簡便直觀,並且處理高光譜數據中使用最廣泛的遙感圖像處理系統ENVI中有該功能,因而得到較廣泛的應用。但是在進行PPI之前,需先對高光譜數據進行降維處理。我們常用的降維處理手段主要是最大雜訊分離(MNF)變換。
(1)最大雜訊分離(MNF)變換
成像光譜的光譜解析度很高,波段多,數據海量,且波段之間的相關性很強,數據冗餘度高,需要在端元選取和礦物識別之前對數據作減維,並弱化雜訊。最常用的方法是「最大雜訊組分變換」。
MNF變換是利用圖像的雜訊組分矩陣(∑N∑-1)的特徵向量對圖像進行變換,使按特徵值由大到小排序的變換分量所包含的雜訊成分逐漸減小,圖像質量順次提高。∑為圖像的總協方差矩陣;∑N為圖像雜訊的協方差矩陣。MNF有兩個重要的性質,一是對圖像的任何波段作比例擴展,變換結果不變;二是使圖像矢量、信息分量和加性雜訊分量互相垂直,達到信息分離的目的。乘性雜訊可通過對數變換轉換為加性雜訊,變換後可針對性地對各分量圖像進行去噪,或舍棄雜訊占優勢的分量,以達到成像光譜數據減維和去噪的目的。
(2)像元純度指數(PPI)分析
基於上述MNF變換,排序低的MNF波段被暫時忽略,僅選擇高序次波段進一步處理。PPI設計指定光譜極值像元,對應為混合光譜端元。通過反復投影n維散點圖到隨機單元矢量來計算PPI。記錄每次投影的極值像元,注記每個像元被標定為極值的總次數。PPI圖像產生,其中,每個像元的DN值對應像元被記錄為極值的次數。這些圖像的直方圖顯示被PPI「擊中」(hit)的分布。從直方圖中選擇閾值,用於選擇最純的像元以保證被分析的像元數最小。這些像元被輸入到分離特定光譜端元的互動式可視化演算法中。
(3)N維可視化(n-Dimensional Visualization)
由於PPI演算法本身確定的並不是最終的端元,而是從圖像眾多像元中選出包含所有端元像元的較小像元子集。所以,一般要將PPI的處理結果輸入到N維可視化(n-Dimensional Visualization)工具中,選擇出最終的端元像元。
在N維可視化中,光譜可視為n維散點圖中的一個點,n是波段數。對給定的像元,n維空間中組成n值的點的坐標是每個波段的光譜反射率。這些點在n維空間的分布可用於估計光譜端元數和它們的純光譜特徵。在兩維空間,如果只有兩個端元混合,混合光譜將落入直方圖的線中。純端元將落入混合線的兩端;如果三個端元混合,混合像元將落入四面體中;余類推。混合的端元落在純端元之間,處在純端元勾畫的多面體中。這種混合光譜的凸面幾何特徵,可用於確定端元光譜數並估算它們的光譜特徵,經過PPI選擇出的潛在端元光譜輸入n維散點圖中進行反復旋轉以識別出純端元。根據前面的分析,較好的端元通常會出現在n維散點圖的頂點和拐角處,當一系列的端元點被確定後,就可以將其輸入到圖像中的感興趣區(ROI),從圖像中提取每個感興趣區平均反射率光譜曲線作為成像光譜礦物填圖的候選端元。
鑒於PPI演算法得出的結果是從圖像眾多像元中選出包含所有端元的較小像元子集(圖8.21),在已有的地質圖中結合PPI結果圖可選取盡量純凈的端元區域作為後期監督分類的感興趣區(ROI,Region of Interest)。
圖8.21 選擇出的純凈像元的波譜曲線
8.5.2 結果與分析
目前,從是否需要先驗樣區可將岩性分類技術分為兩大類:非監督分類和監督分類。非監督分類是指人們事先對分類過程不施加任何的先驗知識,而僅憑數據遙感影像地物的光譜特徵的分布規律,即自然聚類的特性,進行「盲目」的分類;其分類的結果只是對不同類別達到了區分,但並不能確定類別的屬性;其類別的屬性是通過分類結束後目視判讀或實地調查確定的。非監督分類也稱聚類分析。一般的聚類演算法是先選擇若干個模式點作為聚類的中心。每一中心代表一個類別,按照某種相似性度量方法(如最小距離方法)將各模式歸於各聚類中心所代表的類別,形成初始分類。然後由聚類准則判斷初始分類是否合理,如果不合理就修改分類,如此反復迭代運算,直到合理為止。監督分類又稱訓練場地法,是以建立統計識別函數為理論基礎,依據典型樣本訓練方法進行分類的技術。即根據已知訓練區提供的樣本,通過選擇特徵參數,求出特徵參數作為決策規則,建立判別函數以對各待分類影像進行的圖像分類,是模式識別的一種方法。要求訓練區域具有典型性和代表性。判別准則若滿足分類精度要求,則此准則成立;反之,需重新建立分類的決策規則,直至滿足分類精度要求為止(圖8.22)。
圖8.22 地質圖
對原始數據的211個波段進行目視解譯,去掉其中明顯的雜訊波段得到剩下的178個波段,對這178個波段的數據信息用上述方法進行分類得到所需的結果,然後結合各種岩性地質特徵,得知大多數礦物特徵吸收峰均位於1300 nm以後的波段中,故在這178個波段中繼續裁剪得93個波段,並對裁剪結果用相同的方法及參數重新分類,將得到的結果與第一次分類結果進行對比。
8.5.2.1 非監督分類填圖結果
(1)K-Means
預選待分類數據可分為八類,最大迭代次數為2,且設變化閾值為5%,即當每一類像元數變化小於閾值時結束迭代過程,最大允許標准差和最大允許距離誤差不輸入,即所有像元都參與分類。從而,當達到閾值5% 或迭代達到兩次時則分類結束(圖8.23 ,圖8.24)。
圖8.23 所用數據:dts_178,K-Means填圖結果
圖8.24 所用數據:resize_dts_93,K-Means填圖結果
(2)ISODATA
預選待分類數據可分為5~10類,最大迭代次數為2 ,變化閾值為5%,每一類最少含有像元數為500 ,最大允許標准差為10 ,即如果一類的標准差大於10 ,則該類被拆分為兩類。類均值間允許最小距離為5,能夠被合並成對的最大對數為5,即當類均值間距離小於5 時,這一類就會被合並,而合並後的成對類的最大值為5(圖8.25 ,圖8.26)。
圖8.25 所用數據:dts_178,ISODATA 填圖結果
圖8.26 所用數據:resize_dts_93,ISODATA填圖結果
8.5.2.2 監督分類填圖結果
首先,對照地質圖和PPI圖像選取兩種岩性(Cgammabeta:石炭紀黑雲母花崗岩,Cdelta:石炭紀閃長岩)的感興趣區。
(1)平行六面體
設置最大允許標准差(Max stdev from Mean)為1.4(圖8.27,圖8.28)。
圖8.27 所用數據:dts_178,平行六面體填圖結果
圖8.28 所用數據:resize_dts_93,平行六面體填圖結果
(2)最小距離
設置最大標准差為10 ,最大允許距離誤差為2500 ,則分類過程中由兩者中較小的一個判定像元是否參與分類,若一旦大於任何一個值則該像元不參與分類,歸屬為無類別(圖8.29 ,圖8.30)。
圖8.29 所用數據dts_178,最小距離填圖結果
圖8.30 所用數據resize_dts_93,最小距離填圖結果
(3)光譜角制圖
設置最大允許角度為0.05°,即當像元波譜與終端端元波譜間夾角大於0.05°時,則不參與分類(圖8.31 ,圖8.32)。
圖8.31 所用數據:dts_178,光譜角制圖填圖結果
圖8.32 所用數據:resize_dts_93,光譜角制圖填圖結果
(4)光譜信息散度
設置最大散度閾值為0.002(圖8.33)。
圖8.33 所用數據:dts_178,光譜信息散度填圖結果
(5)二值編碼
設置最小二進制閾值為0.95 ,決定了哪些像元參與分類(圖8.34 ,圖8.35)。
圖8.34 所用數據:dts_178,二進制編碼填圖結果
圖8.35 所用數據:resize_dts_93,二進制編碼填圖結果
(6)最小距離(Hymap數據)
該方法需要設置兩個閾值:Max stdev from Mean;Max Distance Error。通過不同的嘗試,針對兩種閾值的設定如圖8.36所示。
圖8.36 局部填圖效果
(7)光譜信息散度(Hymap數據)
該方法需要設置閾值:Maximun Divergence Threshod。通過不同的嘗試,參數設置和填圖效果如圖8.37所示。
圖8.37 Threshod=0.005 時的譜信息散度填圖結果
8.5.2.3 岩性信息填圖結果分析
為了分析高光譜星載模擬數據的岩性填圖效果(圖8.38),可對比研究區的岩性信息分布圖與地質圖逐像素進行對比,如果研究區總的點數為N,地質圖中與岩性信息分布圖的結論相同就認為該點取值1,最後統計結果中1的個數n,這樣岩性信息識別精度可定義為
高光譜遙感技術原理及礦產與能源勘查應用
圖8.38 岩性提取結果圖
筆者發現岩性分類結果與地質圖吻合度達到了89%,對出現誤差的主要原因分析如下(圖8.39):
1)實驗中所用數據是高光譜星載模擬數據,其空間解析度為30m,隨著解析度的降低,單個像元所對應的地面面積將增大,導致每個像元中包含更多的岩性類型,岩性間的影響性也會增加。一方面,由於混合像元的平均效應,目標岩性在像元中的等效豐度會下降,光譜信息減弱。當像元中目標岩性的等效豐度下降到檢出限以下時,岩性將不能被識別,而造成岩性分布區的外圍含量較低的地段和含量較低分布區填繪面積的減少,點狀集群分布區的漏識別,線狀分布區的斷續分布。這種效應相當於檢出限的下降。另一方面,當像元中目標岩性的等效豐度在檢出限以上時,會使面狀岩性分布區的范圍擴大、空洞的充填、相鄰小區的連接,點狀集群分布區的成片,線狀區域的斑點效應。這兩種效應的綜合作用結果,空間解析度的減小則會使強異常區(包括高豐度區和光譜反襯度較高的礦物分布區)范圍的擴大、小區的相連、點群的結合,而使異常更加醒目,但其細節特徵會因此消失;弱異常區(包括低豐度區和光譜反襯度較低的那些岩性分布區)和小異常區面積會縮小或漏檢;線狀異常可能會形成斷續分布的小斑塊而使線狀特徵和其走向變得不清晰。因此,在填圖的細致程度上,解析度越高的數據填圖效果越好,這是造成填圖效果差異的最主要原因之一。
2)輻射校正的精確程度。無論是高光譜成像儀還是傳統的多光譜感測器,它們所記錄的數據都是地面觀測目標的反射或輻射能量的光譜輻射絕對值,與地物目標的光譜反射率或光譜輻亮度值是不一致的。因此,輻射校正和光譜重建是地物識別不可缺少的環節。但校正後數據必然丟失一定的信息,故再進行後續處理也會有一定的誤差。
3)感興趣區的選取是進行監督分類的一個重要環節,但由於一般情況下並不能得到純度足夠高的感興趣區,造成選取的樣區含有多種岩性,從而對後期處理造成不可避免的誤差。
4)在數據一定的情況下,各種分類方法中參數的選取決定了分類效果,但由於無法遍取各種參數進行嘗試,實驗過程中僅是進行有限嘗試後選擇了具有較好的結果的參數,但並不能保證所用參數是最適合的參數。
總之,用高光譜星載模擬數據進行礦物填圖是可行的,它可以在一定程度上對岩性的種類及分布進行識別。
圖8.39 對比地質圖(上圖是下圖黑框中部分)
㈤ 誰能告訴我高斯公式是什麼謝謝各位。
高斯定理(Gauss Law)也稱為高斯公式(Gauss Formula),或稱作散度定理、高斯散度定理、高斯-奧斯特羅格拉德斯基公式、奧氏定理或高-奧公式(通常情況的高斯定理都是指該定理,也有其它同名定理)。
設空間有界閉合區域Ω,其邊界∂Ω為分片光滑閉曲面。函數P(x,y,z)、Q(x,y,z)、R(x,y,z)及其一階偏導數在Ω上連續,那麼[1]:
圖一(高數上的高斯公式)
圖一(高數上的高斯公式)
(由於網路不支持很多格式及字元,故本詞條使用一些截圖,本公式請見右側圖一)
(如圖一)其中∂Ω的正側為外側,cos α、cos β、cos γ為∂Ω的外法向量的方向餘弦。
高斯投影
高斯投影
稱向量場的散度(divergence)。[1]
即矢量穿過任意閉合曲面的通量等於矢量的散度對閉合面所包圍的體積的積分。它給出了閉曲面積分和相應體積分的積分變換關系,是矢量分析中的重要恆等式,也是研究場的重要公式之一。
2其它高斯定理
高斯定理2
定理:凡有理整方程至少有一個根。
推論:一元n次方程
有且只有n個根(包括虛根和重根)。
高斯定理3
正整數n可被表示為兩整數平方和的充要條件為n的一切形如4k+3形狀的質因子的冪次均為偶數。
3物理定義與應用
㈥ 利用微積分的近似公式求y=根號4.02的近似值
由近似公式f(x)≈f(x0)+f'(x0)(x-x0)代入即可得:f(4.02)≈2+1/4*0.02=14.5。
微分學包括求導數的運算,是一套關於變化率的理論。它使得函數、速度、加速度和曲線的斜率等均可用一套通用的符號進行討論。積分學,包括求積分的運算,為定義和計算面積、體積等提供一套通用的方法。
從廣義上說,數學分析包括微積分、函數論等許多分支學科,但是現在一般已習慣於把數學分析和微積分等同起來,數學分析成了微積分的同義詞,一提數學分析就知道是指微積分。
積分基本公式介紹
1、牛頓-萊布尼茨公式,又稱為微積分基本公式;
2、格林公式,把封閉的曲線積分化為區域內的二重積分,它是平面向量場散度的二重積分;
3、高斯公式,把曲面積分化為區域內的三重積分,它是平面向量場散度的三重積分;
4、斯托克斯公式,與旋度有關。
以上內容參考 網路—微積分
㈦ 正定矩陣因子分解法(PMF)
3.2.4.1 方法建立
就全國范圍而言,我國地下水質量總體較好,根據國家《地下水質量標准》(GB/T 14848—93),我國63%的地區地下水可直接飲用,17%經適當處理後可供飲用,12%不宜飲用,剩餘8%為天然的鹹水和鹽水,由此可見,不宜飲用的地下水和天然鹹水、鹽水佔到了20%,對於這些地下水型水源地飲用水指標並不一定受到污染而存在超標現象,其水質可能受到地下水形成演化影響更為明顯,因此,考慮選擇反映地下水形成、演化的地下水水化學類型常規指標,進行影響因素解析。地下水水質指標在取樣與分析過程中,由於取樣和樣品處理、試劑和水純度、儀器量度和儀器潔凈、採用的分析方法、測定過程以及數據處理等過程均會產生測量誤差(系統誤差,隨機誤差,過失誤差)。從取樣到分析結果計算誤差都絕對存在,雖然在各個過程中進行質量控制,但無法完全消除不確定性的影響,為確保分析結果的可靠性,採用PMF法對地下水水質指標考慮一定的不確定性誤差,使分析數據能夠准確地反映實際情況。
PMF(Positive Matrix Factorization)與主成分分析(PCA)、因子分析(FA)都是利用矩陣分解來解決實際問題的分析方法,在這些方法中,原始的大矩陣被近似分解為低秩的V=WH形式。但PMF與PCA和FA不同,PCA、FA方法中因子W和H中的元素可為正或負,即使輸入的初始矩陣元素全是正的,傳統的秩削減演算法也不能保證原始數據的非負性。在數學上,從計算的觀點看,分解結果中存在負值是正確的,但負值元素在實際問題中往往是沒有意義的。PMF是在矩陣中所有元素均為非負數約束條件之下的矩陣分解方法,在求解過程中對因子載荷和因子得分均做非負約束,避免矩陣分解的結果中出現負值,使得因子載荷和因子得分具有可解釋性和明確的物理意義。PMF使用最小二乘方法進行迭代運算,能夠同時確定污染源譜和貢獻,不需要轉換就可以直接與原始數據矩陣作比較,分解矩陣中元素非負,使得分析的結果明確而易於解釋,可以利用不確定性對數據質量進行優化,是美國國家環保局(EPA)推薦的源解析工具。
3.2.4.2 技術原理
PMF:模型是一種基於因子分析的方法,具有不需要測量源指紋譜、分解矩陣中元素非負、可以利用數據標准偏差來進行優化等優點。目前PMF模型此方法成功用於大氣氣溶膠、土壤和沉積物中持久性有毒物質的源解析,已有成熟的應用模型 PMF1.1,PMF2.0,PMF3.0等。PMF模型基本方程為:
Xnm=GnpFpm+E (3.7)
式中:n——取樣點數;
m——各取樣點測試的成分數量;
p——污染源個數;
Xnm——取樣點各成分含量;
Gnp——主要源的貢獻率;
Fpm——源指紋圖譜。
基本計算過程如下:
1)樣品數據無量綱化,無量綱化後的樣品數據矩陣用D表示。
2)協方差矩陣求解,為計算特徵值和特徵向量,可先求得樣品數據的協方差矩陣,用D′為D的轉置,演算法為:
Z=DD′ (3.8)
3)特徵值及特徵向量求解,用雅各布方法可求得協方差矩陣Z的特徵值矩陣E和特徵向量矩陣Q,Q′表示Q的轉置。這時,協方差矩陣可表示為:
Z=QEQ′ (3.9)
4)主要污染源數求解,為使高維變數空間降維後能盡可能保留原來指標信息,利用累計方差貢獻率提取顯著性因子,判斷條件為:
地下水型飲用水水源地保護與管理:以吳忠市金積水源地為例
式中:n——顯著性因子個數;
m——污染物個數;
λ——特徵值。
5)因子載荷矩陣求解,提取顯著性因子後,利用求解得到的特徵值矩陣E和特徵向量矩陣Q進一步求得因子載荷矩陣S和因子得分矩陣C,這時,因子載荷矩陣可表示為:
S=QE1/2 (3.11)
因子得分矩陣可表示為:
C=(S′S)-1S′D (3.12)
6)非負約束旋轉,由步驟5求得的因子載荷矩陣S和因子得分矩陣C分別對應主要污染源指紋圖譜和主要污染源貢獻,為解決其值可能為負的現象,需要做非負約束的旋轉。
7)首先利用轉換矩陣T1對步驟5求得的因子載荷矩陣S和因子得分矩陣C按下式進行旋轉:
地下水型飲用水水源地保護與管理:以吳忠市金積水源地為例
C1=T1C (3.14)
式中:S1——旋轉後的因子載荷矩陣;
C1——旋轉後的因子得分矩陣;
T1——轉換矩陣,且T1=(C∗C′)(C∗C′)-1(其中:C∗為把C中的負值替換為零後的因子得分矩陣)。
8)利用步驟7中旋轉得到的因子載荷矩陣S1構建轉換矩陣T2對步驟5中旋轉得到的因子載荷矩陣S1和因子得分矩陣C1繼續旋轉:
S2=S1T2 (3.15)
地下水型飲用水水源地保護與管理:以吳忠市金積水源地為例
式中:S2——二次旋轉後的因子載荷矩陣;
C2——二次旋轉後的因子得分矩陣;
T2——二次轉換矩陣,且T2=(S′1+S1)-1(S′1+
9):重復步驟7、8,直到因子載荷中負值的平方和小於某一設定的誤差精度e而終止,最終得到符合要求的因子載荷矩陣S,即主要污染源指紋圖譜。
3.2.4.3 方法流程
針對受體采樣數據直接進行矩陣分解,得到各污染源組分及其貢獻率的統計方法(圖3.5)。
圖3.5 方法流程圖
(1)缺失值處理
正定矩陣因子分析是基於多元統計的分析方法,對數據有效性具有一定的要求,因此在進行分析之前首先對數據進行預處理。根據已有數據的特徵結合實際情況主要有以下5種處理方法。
1)采樣數據量充足的情況下直接丟棄含缺失數據的記錄。
2)存在部分缺失值情況下用全局變數或屬性的平均值來代替所有缺失數據。把全局變數或是平均值看作屬性的一個新值。
3)先根據歐式距離或相關分析來確定距離具有缺失數據樣本最近的K個樣本,將這K個值加權平均來估計該樣本的缺失數據。
4)採用預測模型來預測每一個缺失數據。用已有數據作為訓練樣本來建立預測模型,如神經網路模型預測缺失數據。該方法最大限度地利用已知的相關數據,是比較流行的缺失數據處理技術。
5)對低於數據檢測限的數據可用數據檢測限值或1/2檢測限以及更小比例檢測限值代替。
(2)不確定性處理
計算數據不確定性。
地下水型飲用水水源地保護與管理:以吳忠市金積水源地為例
式中:s——誤差百分數;
c——指標濃度值;
l——因子數據檢出限。
(3)數據合理性分析
本研究所用數據在放入模型前以信噪比S/N(Signal to Noise)作為標准進行篩選,信噪比S/N為:
地下水型飲用水水源地保護與管理:以吳忠市金積水源地為例
式中:xij——第i采樣點第j個樣品的濃度;
sij——第i采樣點第j個樣品的標准偏差。
信噪比小,說明樣品的雜訊大,信噪比越大則表示樣品檢出的可能性越大,越適合模型。
(4)數據輸入及因子分析
與其他因子分析方法一樣,PMF不能直接確定因子數目。確定因子數目的一般方法是嘗試多次運行軟體,根據分析結果和誤差,Q值以及改變因子數目時Q值的相對變化等來確定合理的因子數目。
3.2.4.4 適用范圍
PMF對污染源和貢獻施加了非負限制,並考慮了原始數據的不確定性,對數據偏差進行了校正,使結果更具有科學的解釋。PMF使用最小二乘方法,得到的污染源不需要轉換就可以直接與原始數據矩陣作比較,PMF方法能夠同時確定污染源和貢獻,而不需要事先知道源成分譜。適用於水文地質條件簡單,觀測數據量較大,污染源和污染種類相對較少的地區,運用簡便,可應用分析軟體進行計算。
3.2.4.5 NMF 源解析
NMF在實現上較PMF演算法簡單易行,非負矩陣分解根據目的的不同大致可以分為兩種:一是在保證數據某些性質的基礎上,將高維空間的樣本點映射到某個低維空間上,除去一些不重要的細節,獲得原數據的本質信息;二是在從復雜混亂的系統中得到混合前的獨立信息的種類和強度。因此,基於非負矩陣分解過程應用領域的不同,分解過程所受的約束和需要保留的性質都不相同。本書嘗試性地將NMF演算法應用於水質影響因素的分離計算中(表3.2)。
表3.2 RMF矩陣分解權值表
依照非負矩陣分解理論的數學模型,尋找到一個分解過程V≈WH,使WH和V無限逼近,即盡可能縮小二者的誤差。在確保逼近的效果,定義一個相應的衡量標准,這個衡量標准就叫作目標函數。目標函數一般採用歐氏距離和散度偏差來表示。在迭代過程中,採用不同的方法對矩陣W和H進行初始化,得到的結果也會不同,演算法的性能主要取決於如何對矩陣W和H進行初始化。傳統的非負矩陣演算法在對矩陣W和H賦初值時採用隨機方法,這樣做雖然簡單並且容易實現,但實驗的可重復性以及演算法的收斂速度是無法用隨機初始化的方法來控制的,所以這種方法並不理想。許多學者提出改進W和H的初始化方法,並發展出專用性比較強的形式眾多的矩陣分解演算法,主要有以下幾種:局部非負矩陣分解(Local Non-negative Matrix Factorization,LNMF)、加權非負矩陣分解(Weighted Non-negative Matrix Factorization,WNMF)、Fisher非負矩陣分解(Fisher Non-negative Matrix Factorization,FNMF)、稀疏非負矩陣分解(Sparse Non-negative Matrix Factorization,SNMF)、受限非負矩陣分解(Constrained Non-negative Matrix Factorization,CNMF)、非平滑非負矩陣分解(Non-smooth Non-negative Matrix Factorization,NSNMF)、稀疏受限非負矩陣分解(Nonnegative Matrix Factorization with Sparseness Constraints,NMF-SC)等理論方法,這些方法針對某一具體應用領域對NMF演算法進行了改進。
本書嘗試應用MATLAB工具箱中NNMF程序與改進的稀疏非負矩陣分解(SNMF)對研究區11項指標(同PMF數據)進行分解,得到各元素在綜合成分中的得分H,初始W0,H0採用隨機法取初值。r為分解的基向量個數,合適的r取值主要根據試演算法確定,改變r值觀察誤差值變化情況,本書利用SMNF演算法計算時,r分別取2,3,4,採用均方誤差對迭代結果效果進行評價,結果顯示當r取2,4時誤差值為0.034,取3時誤差值為0.016,因此r=3是較合理的基向量個數。採用NNMF演算法進行計算時,利用MATLAB工具箱提供的兩種計演算法分別進行計算,乘性法則(Multiplicative Update Algorithm)計算結果誤差項比最小二乘法(Alternating Least-squares Algorithm)計算誤差值小且穩定,但總體NNMF計算誤差較大,改變初始W0,H0取值和增加迭代次數誤差均未明顯減小,調整r取值,隨著r值的增大誤差逐漸減小。
對比SNMF和NNMF演算法所得權值結果,兩種方法所得權值趨勢一致,但得分值有所不同,由於SNMF演算法對矩陣進行了稀疏性約束,計算結果中較小的權值更趨近於0,兩次結果中在三個基向量上總體權值較大的元素項為T-Hard、
㈧ 3D如何運用散度值選號
建議在「3D大贏家」中增加偏度和散度的走勢圖和過濾設置。我個人認為偏度和散度的指標很好用。比如「排三9097期的」散度度值為2,那麼9098期的整體偏度不會大於2,而且百位和個位的個體散度值不等於0(因已連續開出兩期)只在1-2之間。但因沒有軟體幫助無法確定號碼。我用「3D大贏家」的「鄰期組合」只能過濾掉百位和個位的0。無法整體過濾。非常遺憾。所以建議是否能盡快增加這個功能以方便用戶。
在排列三中常規中的中跨度就是散度、上期的中跨度就是偏度。
另可以用定製插件設置一下。附公式
排三號碼散度
Max([Min([(R1-r2),(R1-r3)]),Min([(R2-r1),(R2-r3)]),Min([(R3-r1),(R3-r2)])])
排三號碼偏度
Max([Min([(R1-hr1(1)),(R1-hr2(1)),(R1-hr3(1))]),
Min([(R2-hr1(1)),(R2-hr2(1)),(R2-hr3(1))]),
Min([(R3-hr1(1)),(R3-hr2(1)),(R3-hr3(1))])])
在散度和偏度的計算上我們之間好像有誤差。這並不奇怪,因為現在許多彩票術語沒有統一的標准。不去管他了。我們拋開專業術語談具體的。
我所詢問的是如何控制本期開獎號碼與上期開獎號碼的總體偏移數值。
例如:「排列三」
9097期的開獎號為:591
9098期的開獎號為:867
用9098期開獎號碼的百位分別減9097期的百、十、個位數(絕對值相減)得到:
8-5=4、8-9=1、8-1=7、最大號=4、最小號=1、1就是9098期百位的個體偏度。
6-5=1、6-9=3、6-1=5、最大號=5、最小號=1、1就是9098期十位的個體偏度。
7-5=2、7-9=2、7-1=6、最大號=6、最小號=2、2就是9098期個位的個體偏度。
在以上的個體偏度中的最大號是2、2就是9098期與9097期的整體偏度。
這是我對偏度的理解和演算法。這個演算法對或錯,偏度或者散度是多少等等的具體數據,各人的理解演算法不同,數據不同。不要管它。
只要可以分別設置本期的百、十、個、位與上期的總體偏移量(如本期的百位數或者十、個位與上期的三個開獎號相減等於幾)。以及本期與上期的總體偏移量控制在多少。的過濾插件就行了。具體的數據讓用戶根據自己的參數設置。
另:你給的兩個公式如何設置,設在那個插件。我不明白能否詳細講解。
謝謝
㈨ 求兩類曲線積分和兩類曲面積分的對比圖
我也剛剛復習到這,被這里給糾結了很長一段時間了
在這里跟你探討探討,也期待如果有更好的對比資料
能給我也共享一下
兩類曲線積分分別是對弧長的積分和對坐標的積分
對弧長的積分是根據求曲線的質量引出來的
方法則是將弧長ds化成根號(1+y導的平方)*dx
說到底,弧長積分最終是將ds轉變成dx或者dt的一元定積分
而對坐標的曲線積分則是根據向量F對某一段弧dr做功
向量F是一個關於x,y的二元函數,而dr則是空間的一段弧元素,可以用dx+dy表示
求w時,w=F跟r的向量積=積分號(Pdx+Qdy)
對坐標的曲線積分因為同時含有dx和dy
所以最後運算同樣要轉成一元定積分進行計算
可以用dx=x(t)導*dt,dy=y(t)導*dt或者dx=dx,dy=y導*dx
兩類曲線積分的計算最後都是轉成一元定積分的計算
至於格林公式,則是將平面與XOY或者XOZ或者YOZ上的某個閉合的區域的二重積分轉成對閉合區域的邊界線的曲線積分
條件就是區域必須是閉合的區域
個人認為格林公式的更有意義的應用應該是後面的關於積分路徑無關和求全微分
積分路徑無關則主要可以簡化比方說給定兩點,然後求某一個曲線積分可以選擇先沿著x軸走然後沿著y軸走來簡化計算,另外就是求全微分時也是先在區域D內任意找一個點,然後按照先x軸後y軸的路徑,終點是(x,y)。
個人感覺兩類曲線積分以及格林公式還是相對比較簡單的。
對於曲面積分,也是分為兩類,一類是對面積元素ds積分,一類是對坐標積分
對面積元素積分也是由求一個曲面的質量引出
計算方法則主要是根據ds=根號(1+fx^2+fy^2)dxdy,然後將曲面積分轉成直角坐標的二重積分
對坐標的曲面積分則是由一個什麼什麼通量引出,設流速是一個空間向量v,流過某一個面積當方向的ds時,其通量=向量v與向量ds的向量積。ds的則是利用三個坐標面yoz,xoz,xoy與面積元素ds的法向量之間的夾角的餘弦來表示,即ds*cosa=dydz,ds*cosb=dzdx,ds*cosr=dxdy,最後,將速度向量v與有相面積元素ds的向量積表示為v向量跟ds的法向量的向量積,得到一個對坐標面進行積分的曲面積分。(這里感覺表述很有問題,可能是個人理解還不夠深入)
這里還有一個散度,其實散度很從數學角度很好求
向量A的散度divA=dP/dx+dQ/dy+dR/z。但是其物理意義還是很難更深的體會。
然後就是高斯公式
高斯公式的引出其實跟牛頓萊布尼茲公式和格林公式相類似
牛頓萊布尼茲公式是用兩個常數表示定積分,格林公式則是用曲線積分表示一個二重積分,高斯公式則是用一個曲面積分來表示一個三重積分。從表達效果來看,好像每個公式都有優簡的作用。(個人理解是如此,也可以幫助你對比的去理解記憶)
高斯公式的應用條件就是必須是一個閉合的域。如果域不是閉合的則需要補全。個人感覺高斯公式的大部分應用都是將一些曲面積分化成三重積分計算,如果將三重積分化成曲面積分的話由於曲面很多,計算起來更麻煩
最後一個就是斯托克斯公式了。斯托克斯公式是格林公式的升級版,格林公式的應用范圍只是基於平面區域,而斯托克斯公式則將應用范圍擴展到了三維空間。這個雖然是這么理解,但是在那個矩陣運算元裡面,什麼時候用dydz、dzdx、dxdy還是用(cosa、cosb、cosr)*ds,我一直沒想明白。如果你搞明白了,有個題目也想跟你探討探討。
最後最後就是一個旋度了
對於向量場A的旋度rot(A),其實就是應用那個矩陣運算元,數學計算很簡單的,
只是對於其物理意義,我無法很深的去理解。
打這么多,不知道能不能幫上你,就當我自己重新復習了一遍吧。
㈩ 對比散度演算法為什麼只迭代一次就可以得到那麼好的效果
是的,全部樣本都要算一遍。按照順序依次抽取樣本,代入BP演算法,調整權值。也有部分演算法是按隨機方式,每次樣本進來的順序都不同,但仍然是所有樣本都要參與。 唯一可能有點區別的是,標准BP演算法中,每輸入一個樣本,都要回傳誤差並調整權值