mapreduce演算法
① 如何用R實現協同過濾的MapRece演算法
在本文中矩陣用斜體大寫字母表示（如：R），標量用小寫字母表示（如：i，j）。給定一個矩陣R， Rij表示它的一個元素，Ri.表示矩陣R的第i行，R.j表示矩陣R的第j列，RT 表示矩陣R的轉置。R-1 表示矩陣R的逆。在本文中給定的矩陣R表示具有m個用戶
② hadoop和spark的區別
1、解決問題的層面不一樣
首先，Hadoop和Apache Spark兩者都是大數據框架，但是各自存在的目的不盡相同。Hadoop實質上更多是一個分布式數據基礎設施:它將巨大的數據集分派到一個由普通計算機組成的集群中的多個節點進行存儲，意味著您不需要購買和維護昂貴的伺服器硬體。
同時，Hadoop還會索引和跟蹤這些數據，讓大數據處理和分析效率達到前所未有的高度。Spark，則是那麼一個專門用來對那些分布式存儲的大數據進行處理的工具，它並不會進行分布式數據的存儲。
2、兩者可合可分
Hadoop除了提供為大家所共識的HDFS分布式數據存儲功能之外，還提供了叫做MapRece的數據處理功能。所以這里我們完全可以拋開Spark，使用Hadoop自身的MapRece來完成數據的處理。
相反，Spark也不是非要依附在Hadoop身上才能生存。但如上所述，畢竟它沒有提供文件管理系統，所以，它必須和其他的分布式文件系統進行集成才能運作。這里我們可以選擇Hadoop的HDFS,也可以選擇其他的基於雲的數據系統平台。但Spark默認來說還是被用在Hadoop上面的，畢竟，大家都認為它們的結合是最好的。
以下是從網上摘錄的對MapRece的最簡潔明了的解析：
我們要數圖書館中的所有書。你數1號書架，我數2號書架。這就是「Map」。我們人越多，數書就更快。
現在我們到一起，把所有人的統計數加在一起。這就是「Rece」。
3、Spark數據處理速度秒殺MapRece
Spark因為其處理數據的方式不一樣，會比MapRece快上很多。MapRece是分步對數據進行處理的: 」從集群中讀取數據，進行一次處理，將結果寫到集群，從集群中讀取更新後的數據，進行下一次的處理，將結果寫到集群，等等…「 Booz Allen Hamilton的數據科學家Kirk Borne如此解析。
反觀Spark，它會在內存中以接近「實時」的時間完成所有的數據分析：「從集群中讀取數據，完成所有必須的分析處理，將結果寫回集群，完成，」 Born說道。Spark的批處理速度比MapRece快近10倍，內存中的數據分析速度則快近100倍。
如果需要處理的數據和結果需求大部分情況下是靜態的，且你也有耐心等待批處理的完成的話，MapRece的處理方式也是完全可以接受的。
但如果你需要對流數據進行分析，比如那些來自於工廠的感測器收集回來的數據，又或者說你的應用是需要多重數據處理的，那麼你也許更應該使用Spark進行處理。
大部分機器學習演算法都是需要多重數據處理的。此外，通常會用到Spark的應用場景有以下方面：實時的市場活動，在線產品推薦，網路安全分析，機器日記監控等。
4、災難恢復
兩者的災難恢復方式迥異，但是都很不錯。因為Hadoop將每次處理後的數據都寫入到磁碟上，所以其天生就能很有彈性的對系統錯誤進行處理。
Spark的數據對象存儲在分布於數據集群中的叫做彈性分布式數據集(RDD: Resilient Distributed Dataset)中。這些數據對象既可以放在內存，也可以放在磁碟，所以RDD同樣也可以提供完成的災難恢復功能。