演算法導論和演算法

1. 機器學習的演算法和普通《演算法導論》里的演算法有什麼本質上的異同

作者：董可人
鏈接：http://www.hu.com/question/24976006/answer/29682806
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請註明出處。

演算法導論里的演算法本質上是對有精確解的問題，如何更有效率地求得這個解。這個效率可以是計算時間更短，也可以是計算過程所需要的空間更少。

一個簡單的例子是，給定一個亂序數組，如何快速的將其按從小到大的順序重新排列，或者找到其中的中位數。這些問題都有確定且唯一的答案，一般都會有一個笨方法（窮舉或遍歷），只要一步一步來就可以解，所謂演算法只是如何精簡步驟，更快更省事地找到這個解。這些演算法處理的數據也都是結構簡潔且干凈的類型，比如數組，二叉樹，圖之類的數據結構。數據規模對於這些演算法而言，影響的是計算所需的時間和空間，不會因為規模改變而影響演算法本身的邏輯以及計算的結果。

機器學習要解決的問題一般沒有精確解，也不能用窮舉或遍歷這種步驟明確的方法找到解，而且需要強調的是「學習」這個屬性，即希望演算法本身能夠根據給定的數據或計算環境的改變而動態的發現新的規律，甚至改變演算法程序的邏輯和行為。

舉例來說，可以是把一千份文檔歸類到不同的幾個類別里。最簡單的可以是給定幾個類別，比如新聞，小說，詩歌等，演算法來根據文章內容自動劃分到對應的類別里。這里可以看出這個問題即使讓人做，也有很多模糊不能確定的地方，比如一篇法制晚報上的犯罪紀實是應該劃到新聞，還是小說呢？或者說一篇長詩比如荷馬史詩是應該歸在小說還是詩歌呢？機器學習演算法想要解決的，就是根據從文章內容里找到的規律，來自動的給出一個劃分。而不同演算法可以給出不同的解，這些解都可以是「正確」的，所以一般還需要人為設計一個評判標准來決定孰優孰劣。

也可以不事先給定類別，而是讓演算法自己去發現文章中的規律，把相似度高的文章劃分到一起。這樣不同的演算法可能給出不同數量的類別劃分，可能是三個，四個，或者五個，也都可以是「正確」的劃分。甚至什麼是「相似度」，不同演算法也可以給出不同解釋，可以是名詞動詞形容詞的詞頻及比例，也可以是句子的語法結構等。

更進一步的，你可能還希望這個演算法能夠用來判斷一份新的文檔的類別。而輸入的新文檔越多，也會進一步擴大初始數據集的規模，規模變大以後，原來數據中不明顯的規律可能就變明顯了。比如說原來一千份文檔中只有一篇議論文，可能大多演算法都無法把它單獨劃出一個類別，但當你持續輸入一百份議論文後，數據中議論文的比例就變成了101/1100，差不多10%，這時候演算法就應該劃分出單獨的議論文類別。在這個意義上，數據本身也對演算法有很大的影響，這也是和演算法導論中的演算法的一個本質區別。

技術上說，演算法導論中的演算法關注點在數據結構和計算復雜度，屬於離散數學的一個分支，不涉及微積分等高等數學概念。機器學習的演算法本身是基於概率，統計和優化（optimization）等理論和技術，從這個角度上說給人感覺更「數學」一點。

在具體的實現細節上，機器學習的演算法會大量應用演算法導論中的技術來改進計算效率。但需要強調這僅僅是對底層實現來說，在演算法本身的邏輯上，二者沒有太多聯系。換句話說，演算法導論中的技術可以幫助你寫出更快的程序來運行機器學習演算法，但是這對機器學習要解決的問題本身是沒有什麼幫助的。熟練使用二叉樹散列表，准確估算一個圖演算法的復雜度，都沒有任何可能幫助你猜到在女朋友過生日時送什麼禮物最好（使用了機器學習演算法的淘寶君卻很可能知道！）。因此不要把它們看成是搭積木拼構件的關系。

最後，如果以上解釋仍然讓你費解，那麼還有一個更通俗的解釋：演算法導論是教你如何數數，而機器學習基本上相當於星座算命。一個很機械，一個靠忽悠，差不多就是這樣吧。
具體分析見鏈接：http://www.hu.com/question/24976006