半監督學習演算法

㈠ 如何將監督學習演算法應用到無監督學習上

這時有人可能會想，難道有監督學習和無監督學習就是非黑即白的關系嗎？有沒有灰呢？Good idea。灰是存在的。二者的中間帶就是半監督學習（semi-supervised learning）。對於半監督學習，其訓練數據的一部分是有標簽的，另一部分沒有標簽，而沒標簽數據的數量常常極大於有標簽數據數量（這也是符合現實情況的）。隱藏在半監督學習下的基本規律在於：數據的分布必然不是完全隨機的，通過一些有標簽數據的局部特徵，以及更多沒標簽數據的整體分布，就可以得到可以接受甚至是非常好的分類結果

㈡ 半監督學習和無監督學習的區別

無監督與半監督學習的區別在於一個無教學值，一個有教學值。但是，個人認為他們的區別在於無監督學習一般是採用聚簇等演算法來分類不同樣本。而半監督學習一般是利用教學值與實際輸出值產生的誤差，進行誤差反向傳播修改權值來完成網路修正的。但是無監督學習沒有反向傳播修改權值操作。

無監督學習：訓練樣本的標記信息未知，目標是通過對無標記訓練樣本的學習來揭示數據的內在性質及規律，為進一步的數據分析提供基礎，此類學習任務中研究最多、應用最廣的是"聚類" ，其他無監督演算法還有：密度估計、異常檢測等。
半監督學習：訓練集同時包含有標記樣本數據和未標記樣本數據，不需要人工干預，讓學習器不依賴外界交互、自動地利用未標記樣本來提升學習性能。

想要了解更多有關半監督學習和無監督學習的信息，可以了解一下CDA數據分析師的課程。CDA證書已得到中國成人教育協會的認可和工信部認可，考過CDA認證考生可以得到經管之家CDA數據分析師中文證書，CDAINSTITUTE英文證書以及可額外申請工信部數據分析師證書。幫助學員掌握真正過硬的解決業務問題的數據挖掘能力。點擊預約免費試聽課。

㈢ 機器學習中半監督學習與主動學習有什麼聯系和區別

主動學習和半監督學習（轉）

在機器學習(Machine learning)領域，監督學習(Supervised learning)、非監督學習(Unsupervised learning)以及半監督學習(Semi-supervised learning)是三類研究比較多，應用比較廣的學習技術，wiki上對這三種學習的簡單描述如下：
監督學習：通過已有的一部分輸入數據與輸出數據之間的對應關系，生成一個函數，將輸入映射到合適的輸出，例如分類。
非監督學習：直接對輸入數據集進行建模，例如聚類。
半監督學習：綜合利用有類標的數據和沒有類標的數據，來生成合適的分類函數。
以上表述是我直接翻譯過來的，因為都是一句話，所以說得不是很清楚，下面我用一個例子來具體解釋一下。
其實很多機器學習都是在解決類別歸屬的問題，即給定一些數據，判斷每條數據屬於哪些類，或者和其他哪些數據屬於同一類等等。這樣，如果我們上來就對這一堆數據進行某種劃分(聚類)，通過數據內在的一些屬性和聯系，將數據自動整理為某幾類，這就屬於非監督學習。如果我們一開始就知道了這些數據包含的類別，並且有一部分數據(訓練數據)已經標上了類標，我們通過對這些已經標好類標的數據進行歸納總結，得出一個 「數據–>類別」 的映射函數，來對剩餘的數據進行分類，這就屬於監督學習。而半監督學習指的是在訓練數據十分稀少的情況下，通過利用一些沒有類標的數據，提高學習准確率的方法。
鋪墊了那麼多，其實我想說的是，在wiki上對於半監督學習的解釋是有一點點歧義的，這跟下面要介紹的主動學習有關。
主動學習(active learning)，指的是這樣一種學習方法：
有的時候，有類標的數據比較稀少而沒有類標的數據是相當豐富的，但是對數據進行人工標注又非常昂貴，這時候，學習演算法可以主動地提出一些標注請求，將一些經過篩選的數據提交給專家進行標注。
這個篩選過程也就是主動學習主要研究的地方了，怎麼樣篩選數據才能使得請求標注的次數盡量少而最終的結果又盡量好。
主動學習的過程大致是這樣的，有一個已經標好類標的數據集K(初始時可能為空)，和還沒有標記的數據集U，通過K集合的信息，找出一個U的子集C，提出標注請求，待專家將數據集C標注完成後加入到K集合中，進行下一次迭代。
按wiki上所描述的看，主動學習也屬於半監督學習的范疇了，但實際上是不一樣的，半監督學習和直推學習(transctive learning)以及主動學習，都屬於利用未標記數據的學習技術，但基本思想還是有區別的。
如上所述，主動學習的「主動」，指的是主動提出標注請求，也就是說，還是需要一個外在的能夠對其請求進行標注的實體(通常就是相關領域人員)，即主動學習是交互進行的。
而半監督學習，特指的是學習演算法不需要人工的干預，基於自身對未標記數據加以利用。
至於直推學習，它與半監督學習一樣不需要人工干預，不同的是，直推學習假設未標記的數據就是最終要用來測試的數據，學習的目的就是在這些數據上取得最佳泛化能力。相對應的，半監督學習在學習時並不知道最終的測試用例是什麼。
也就是說，直推學習其實類似於半監督學習的一個子問題，或者說是一個特殊化的半監督學習，所以也有人將其歸為半監督學習。
而主動學習和半監督學習，其基本思想上就不一樣了，所以還是要加以區分的，如果wiki上對半監督學習的解釋能特別強調一下「是在不需要人工干預的條件下由演算法自行完成對無標記數據的利用」，問題就會更清楚一些了。

㈣ 半監督學習的半監督學習的分類

SSL按照統計學習理論的角度包括直推(Transctive)SSL和歸納(Inctive)SSL兩類模式。直推SSL只處理樣本空間內給定的訓練數據，利用訓練數據中有類標簽的樣本和無類標簽的樣例進行訓練，預測訓練數據中無類標簽的樣例的類標簽；歸納SSL處理整個樣本空間中所有給定和未知的樣例，同時利用訓練數據中有類標簽的樣本和無類標簽的樣例，以及未知的測試樣例一起進行訓練，不僅預測訓練數據中無類標簽的樣例的類標簽，更主要的是預測未知的測試樣例的類標簽。
從不同的學習場景看，SSL可分為四大類：
1)半監督分類(Semi-Supervised Classification)：在無類標簽的樣例的幫助下訓練有類標簽的樣本，獲得比只用有類標簽的樣本訓練得到的分類器性能更優的分類器，彌補有類標簽的樣本不足的缺點，其中類標簽 取有限離散值 ；
具體的有：
自訓練(Self-Training)、直推學習(Transctive Learning)、生成式模型(Generative Model)、基於差異的方法(Disagreement-Based Methods)、生成式方法(Generative Methods)、判別式方法(DiscriminativeMethods)和基於圖的方法(Graph-Based Methods)等，
2)半監督回歸(Semi-Supervised Regression)：在無輸出的輸入的幫助下訓練有輸出的輸入，獲得比只用有輸出的輸入訓練得到的回歸器性能更好的回歸器，其中輸出 取連續值 ；
具體的主要的半監督回歸方法有基於差異的方法和基於流形學習的方法。
3)半監督聚類(Semi-Supervised Clustering）：在有類標簽的樣本的信息幫助下獲得比只用無類標簽的樣例得到的結果更好的簇，提高聚類方法的精度；
主要的半監督聚類方法有基於距離的方法和大間隔方法。
4)半監督降維(Semi-Supervised Dimensionality Rection)：在有類標簽的樣本的信息幫助下找到高維輸入數據的低維結構，同時保持原始高維數據和成對約束(Pair-Wise Constraints)的結構不變，即在高維空間中滿足正約束(Must-Link Constraints)的樣例在低維空間中相距很近，在高維空間中滿足負約束(Cannot-Link Constraints)的樣例在低維空間中距離很遠。
主要的半監督降維方法有基於類標簽的方法、基於成對約束的方法及其它方法等。 無雜訊干擾的樣本數據是當前大部分半監督學習方法使用的數據，而在實際生活中用到的數據卻大部分不是無干擾的，通常都比較難以得到純樣本數據。上面談論的三個基本假設顯然是有效的，不過過於簡約，這些假設沒能把雜訊干擾下未標記樣本數據分布的不確定性以及它的復雜性充分的考慮全。

㈤ 基於圖的半監督學習需要預測函數嗎

半監督學習(Semi-Supervised Learning，SSL)是模式識別和機器學習領域研究的重點問題，是監督學習與無監督學習相結合的一種學習方法。它主要考慮如何利用少量的標注樣本和大量的未標注樣本進行訓練和分類的問題。主要分為半監督分類，半監督回歸，半監督聚類和半監督降維演算法。

㈥ 半監督學習的起源和發展歷程

SSL的研究歷史可以追溯到20世紀70年代，這一時期，出現了自訓練(Self-Training)、直推學習(Transctive Learning)、生成式模型(Generative Model)等學習方法。
90年代，新的理論的出現，以及自然語言處理、文本分類和計算機視覺中的新應用的發展，促進了SSL的發展，出現了協同訓練(Co-Training)和轉導支持向量機(Transctive Support Vector Machine，TSVM)等新方法。Merz等人在1992年提出了SSL這個術語，並首次將SSL用於分類問題。接著Shahshahani和Landgrebe展開了對SSL的研究。協同訓練方法由Blum和Mitchell提出，基於不同的視圖訓練出兩個不同的學習機，提高了訓練樣本的置信度。Vapnik和Sterin提出了TSVM，用於估計類標簽的線性預測函數。為了求解TSVM，Joachims提出了SVM方法，Bie和Cristianini將TSVM放鬆為半定規劃問題從而進行求解。許多研究學者廣泛研究將期望最大演算法(Expectation Maximum，EM)與高斯混合模型(Gaussian Mixture Model，GMM)相結合的生成式SSL方法。Blum等人提出了最小割法(Mincut)，首次將圖論應用於解決SSL問題。Zhu等人提出的調和函數法(Harmonic Function)將預測函數從離散形式擴展到連續形式。由Belkin等人提出的流形正則化法(Manifold Regularization)將流形學習的思想用於SSL場景。Klein等人提出首個用於聚類的半監督距離度量學習方法，學習一種距離度量。

㈦ 半監督學習的基本假設

SSL的成立依賴於模型假設，當模型假設正確時，無類標簽的樣例能夠幫助改進學習性能。SSL依賴的假設有以下三個：
1)平滑假設(Smoothness Assumption)：位於稠密數據區域的兩個距離很近的樣例的類標簽相似，也就是說，當兩個樣例被稠密數據區域中的邊連接時，它們在很大的概率下有相同的類標簽；相反地，當兩個樣例被稀疏數據區域分開時，它們的類標簽趨於不同。
2)聚類假設(Cluster Assumption)：當兩個樣例位於同一聚類簇時，它們在很大的概率下有相同的類標簽。這個假設的等價定義為低密度分離假設(Low Sensity Separation Assumption)，即分類決策邊界應該穿過稀疏數據區域，而避免將稠密數據區域的樣例分到決策邊界兩側。
聚類假設是指樣本數據間的距離相互比較近時，則他們擁有相同的類別。根據該假設，分類邊界就必須盡可能地通過數據較為稀疏的地方，以能夠避免把密集的樣本數據點分到分類邊界的兩側。在這一假設的前提下，學習演算法就可以利用大量未標記的樣本數據來分析樣本空間中樣本數據分布情況，從而指導學習演算法對分類邊界進行調整，使其盡量通過樣本數據布局比較稀疏的區域。例如，Joachims提出的轉導支持向量機演算法，在訓練過程中，演算法不斷修改分類超平面並交換超平面兩側某些未標記的樣本數據的標記，使得分類邊界在所有訓練數據上最大化間隔，從而能夠獲得一個通過數據相對稀疏的區域，又盡可能正確劃分所有有標記的樣本數據的分類超平面。
3)流形假設(Manifold Assumption)：將高維數據嵌入到低維流形中，當兩個樣例位於低維流形中的一個小局部鄰域內時，它們具有相似的類標簽。
流形假設的主要思想是同一個局部鄰域內的樣本數據具有相似的性質，因此其標記也應該是相似。這一假設體現了決策函數的局部平滑性。和聚類假設的主要不同是，聚類假設主要關注的是整體特性，流形假設主要考慮的是模型的局部特性。在該假設下，未標記的樣本數據就能夠讓數據空間變得更加密集，從而有利於更加標准地分析局部區域的特徵，也使得決策函數能夠比較完滿地進行數據擬合。流形假設有時候也可以直接應用於半監督學習演算法中。例如，Zhu 等人利用高斯隨機場和諧波函數進行半監督學習，首先利用訓練樣本數據建立一個圖，圖中每個結點就是代表一個樣本，然後根據流形假設定義的決策函數的求得最優值，獲得未標記樣本數據的最優標記；Zhou 等人利用樣本數據間的相似性建立圖，然後讓樣本數據的標記信息不斷通過圖中的邊的鄰近樣本傳播，直到圖模型達到全局穩定狀態為止。
從本質上說，這三類假設是一致的,只是相互關注的重點不同。其中流行假設更具有普遍性。

㈧ 大數據分析師進行數據挖掘常用模型有哪些

【導讀】機器學習和數據發掘是緊密相關的，要進行數據發掘需求掌握一些機器學習所用的方法和模型常識，通過模型的練習能夠得到處理數據的最優模型，那麼大數據分析師進行數據挖掘常用模型有哪些?下面就來一起了解一下。

1、半監督學習

半監督學習演算法要求輸入數據部分被標識，部分沒有被標識，這種學習模型可以用來進行預測，但是模型首先需要學習數據的內在結構以便合理的組織數據來進行預測。應用場景包括分類和回歸，演算法包括一些對常用監督式學習演算法的延伸，這些演算法首先試圖對未標識數據進行建模，在此基礎上再對標識的數據進行預測。

2、無監督學習模型

在非監督式學習中，數據並不被特別標識，學習模型是為了推斷出數據的一些內在結構，應用場景包括關聯規則的學習以及聚類等。

3、監督學習模型

監督學習模型，就是人們經常說的分類，通過已經有的訓練樣本(即已知數據以及其對應的輸出)去訓練得到一個最優模型，然後再利用這個模型將所有的輸入映射為相應的輸出，對輸出進行簡單的判斷從而實現分類的目的，也就具有了對未知數據進行分類的能力。

以上就是大數據分析師進行數據挖掘常用模型，希望想要從事數據分析行業的大家，能夠趕快學習起來，如果還想了解更多，歡迎繼續關注!

㈨ 適合於多分類的半監督學習演算法有哪些

maxsoft作為logistics二分類的改進版，天生適合多分類；神經網路(如bp神經網路，隨機權神經網路，RBF神經網路等)；通過建立多個支持向量機或者最小二乘支持向量機分類模型，通過投票演算法選擇概率最大的分類標簽；也可以通過聚類演算法(KNN，kMeans等)等無監督學習演算法實現分類。或許不太完善，歡迎補充。(機器學習演算法與Python學習)

㈩ 監督學習 非監督學習 半監督學習 包含哪些演算法

半監督學習(Semi-Supervised Learning，SSL)是模式識別和機器學習領域研究的重點問題，是監督學習與無監督學習相結合的一種學習方法。半監督學習使用大量的未標記數據，以及同時使用標記數據，來進行模式識別工作。當使用半監督學習時，將會要求盡量少的人員來從事工作，同時，又能夠帶來比較高的准確性，因此，半監督學習目前正越來越受到人們的重視。