redis做大數據緩存可行性

『壹』 大量數據能緩存到redis裡面嗎

不適合引子：

    在大數據時代，總希望存在一個Key-value存儲機制，像HashMap一樣在內存中處理大量（千萬數量級）的key-value對，以便提高數據查找、修改速度。

    所以，我們會想到，Memcached和Redis這兩個NoSQL資料庫（嚴格來講二者都不可以算作資料庫）。

    1、Memcached是一個cache機制，當內存不足時會採用LRU機制，替換出陳舊數據，因此他不能保證我們的數據像在HashMap中一樣不丟失，且沒有數據持久化機制；

    2、Redis克服了這一缺點，採取磁碟存儲機制實現數據持久化。但是，當數據量達到1千萬左右時，由於內存中不能存儲如此大量數目的數據，頻繁同磁碟進行數據交換，導致數據查詢、存儲性能的急劇下降，將導致服務不可用。

     結論：當前還沒有好的產品可以實現key-value保證數據完整性，千萬級條數量級的，高效存儲和查詢支持產品。

     附錄一：如下是轉自其它網友的測試數據：

     附錄二：memcached 和redis的比較，和各自用途

附錄一：

從圖中可以猜測到還會有Redis 2.2.1 的測試，相同的測試環境，1K的數據量，使用ServiceStack.Redis客戶端進行如下測試：

1) Set操作

2) Get操作

3) Del操作

每一套測試分別使用三個配置進行測試：

1) 綠色線條的是開啟Dump方式的持久化，5分鍾持久化一次

2) 藍色線條是開啟AOF方式的持久化，每秒寫入磁碟一次

3) 紅色線條是關閉任何的持久化方式

對於每一個配置都使用相同的其他配置：

1) 開啟VM 最大內存10GB(128位元組一

『貳』 redis一般用來幹嘛

redis是一個單線程的NoSQL資料庫，主要用來做數據緩存，一般大型網站的應用和資料庫之間的那一層就是Redis。比如京東商城的頁面查找功能，用戶接觸到的查詢的第一層就是Redis數據緩存層，緩存中找不到的數據，再進入資料庫查詢。Redis中緩存熱點數據，能夠保護資料庫，提高查詢效率。

NoSQL，泛指非關系型的資料庫。隨著互聯網web2.0網站的興起，傳統的關系資料庫在處理web2.0網站，特別是超大規模和高並發的SNS類型的web2.0純動態網站已經顯得力不從心，出現了很多難以克服的問題，而非關系型的資料庫則由於其本身的特點得到了非常迅速的發展。NoSQL資料庫的產生就是為了解決大規模數據集合多重數據種類帶來的挑戰，特別是大數據應用難題。

『叄』 Redis和Memcached的區別

1.性能上：
性能上都很出色，具體到細節，由於Redis只使用單核，而Memcached可以使用多核，所以平均每一個核上Redis在存儲小數據時比Memcached性能更高。而在100k以上的數據中，Memcached性能要高於Redis，雖然Redis最近也在存儲大數據的性能上進行優化，但是比起 Memcached，還是稍有遜色。
2.內存空間和數據量大小：
MemCached可以修改最大內存，採用LRU演算法。Redis增加了VM的特性，突破了物理內存的限制。
3.操作便利上：
MemCached數據結構單一，僅用來緩存數據，而Redis支持更加豐富的數據類型，也可以在伺服器端直接對數據進行豐富的操作,這樣可以減少網路IO次數和數據體積。
4.可靠性上：
MemCached不支持數據持久化，斷電或重啟後數據消失，但其穩定性是有保證的。Redis支持數據持久化和數據恢復，允許單點故障，但是同時也會付出性能的代價。
5.應用場景：
Memcached：動態系統中減輕資料庫負載，提升性能；做緩存，適合多讀少寫，大數據量的情況（如人人網大量查詢用戶信息、好友信息、文章信息等）。
Redis：適用於對讀寫效率要求都很高，數據處理業務復雜和對安全性要求較高的系統（如新浪微博的計數和微博發布部分系統，對數據安全性、讀寫要求都很高）。
----
需要慎重考慮的部分
1.Memcached單個key-value大小有限，一個value最大隻支持1MB，而Redis最大支持512MB
2.Memcached只是個內存緩存，對可靠性無要求；而Redis更傾向於內存資料庫，因此對對可靠性方面要求比較高
3.從本質上講，Memcached只是一個單一key-value內存Cache；而Redis則是一個數據結構內存資料庫，支持五種數據類型，因此Redis除單純緩存作用外，還可以處理一些簡單的邏輯運算，Redis不僅可以緩存，而且還可以作為資料庫用
4.新版本（3.0）的Redis是指集群分布式，也就是說集群本身均衡客戶端請求，各個節點可以交流，可拓展行、可維護性更強大。

----
介紹
Memcached 是一個高性能的分布式內存對象緩存系統，用於動態Web應用以減輕資料庫負載。它通過在內存中緩存數據和對象來減少讀取資料庫的次數，從而提供動態、資料庫驅動網站的速度，現在已被LiveJournal、hatena、Facebook、Vox、LiveJournal等公司所使用。
Redis是一個key-value存儲系統。和Memcached類似，它支持存儲的value類型相對更多，包括string(字元串)、 list(鏈表)、set(集合)和zset(有序集合)。這些數據類型都支持push/pop、add/remove及取交集並集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支持各種不同方式的排序。與memcached一樣，為了保證效率，數據都是緩存在內存中。區別的是redis會周期性的把更新的數據寫入磁碟或者把修改操作寫入追加的記錄文件，並且在此基礎上實現了master-slave(主從)同步,當前 Redis的應用已經非常廣泛，國內像新浪、淘寶，國外像 Flickr、Github等均在使用Redis的緩存服務。

『肆』 java web開發緩存方案，ehcache和redis哪個更好

這里就不再逐個討論了，我將會在一個實際應用程序開發場景中介紹其中的一些。使用Redis作為一個緩存解決方案我之前提到過，Redis可輕易地用作一個緩存解決方案，碰巧我現在正好需要這樣一個！在該應用程序示例中，我將Redis集成到我基於定位的移動Web服務中，稱之為Magnus。如果您沒有關注本系列，那麼我會先使用Play框架實現Magnus，從那時起我就已經在各種實現中開發和重構它了。Magnus是一個簡單服務，可以通過HTTPPUT請求使用JSON文檔。這些文檔描述了特定帳號的位置，表示持有移動設備的人。現在，我想要將緩存集成到Magnus，也就是說我想要通過將不常更改的數據存儲在內存中以減少I/O流量。Magnus緩存！在清單5中的第一步中，可以通過get調用了解新引入的帳戶名稱（一個鍵）是否為REdis中的一個鍵。get調用可以將帳戶ID作為一個值返回，或者將返回null。如果返回一個值，我將用其作為我的acctId變數。如果返回的是null（表明該帳戶名稱不是Redis中一個鍵），那麼我將在MongoDB查找該帳戶值，並通過set命令將其添加到Redis。這里的優勢是速度：接下來，被請求的帳戶將提交一個位置，這樣我就能夠從Redis中獲取其ID（作為內存緩存），而不是轉到MongoDB並帶來額外讀取I/O成本。清單5.使用Redis作為內存緩存"/location/:account"{put{defjacksonMapper=newObjectMapper()defjson=jacksonMapper.readValue(request.contentText,Map.class)defformatter=newSimpleDateFormat("dd-MM-yyyyHH:mm")defdt=formatter.parse(json['timestamp'])defres=[:]try{defjedis=pool.getResource()defacctId=jedis.get(request.parameters['account'])if(!acctId){defacct=Account.findByName(request.parameters['account'])jedis.set(request.parameters['account'],acct.id.toString())acctId=acct.id}pool.returnResource(jedis)newLocation(acctId.toString(),dt,json['latitude'].doubleValue(),json['longitude'].doubleValue()).save()res['status']='success'}catch(exp){res['status']="error${exp.message}"}response.json=jacksonMapper.writeValueAsString(res)}}注意，清單5中的aMagnus實現（使用Groovy編寫）仍然使用一個NoSQL實現作為數據模型存儲；它僅僅使用Redis作為一個緩存實現用於查詢數據。因為我的主要帳戶數據位於MongoDB中（事實上，它駐留在MongoHQ.com中），而我的Redis數據存儲在本地運行。在隨後查找帳戶ID時，Magnus速度將顯著提升。可是等等！我為什麼同時需要MongoDB和Redis？難道我就不能單獨使用一個嗎？ORM的Node.js很多項目均提供ORM類映射用於Redis，其中包括一個極富影響力的基於Ruby的備用方案，稱為Ohm。我檢查了該項目基於Java的派生產品（稱為JOhm），但是最終決定使用一個為Node編寫的派生產品。Ohm及其派生項目的妙處在於他們允許您將一個對象模型映射到一個基於Redis的數據結構。因此，您的模型對象是持久性的，同時在大多數情況下其讀取速度也非常之快。有了Nohm，我便能夠使用JavaScript快速重寫我的Magnus應用程序並能立即持久化Location對象。在清單6中，我已定義了一個Location模型，該模型包括3個屬性。（注意，我通過將timestamp設置為一個字元串而不是一個真實的時間戳，從而簡化我的示例。）清單6.Node.js中的RedisORMvarLocation=nohm.model('Location',{properties:{latitude:{type:'float',unique:false,validations:[['notEmpty']]},longitude:{type:'float',unique:false,validations:[['notEmpty']]},timestamp:{type:'string',unique:false,validations:[['notEmpty']]}}});Node的Express框架使NohmLocation對象的使用變得十分簡單。在我的應用程序PUT實現中，我可以捕獲正在進入的JSON值，並通過Nohm的p調用將其導入到一個Location實例。然後我再檢查該示例是否有效，如果有效，我會對其進行持久化。清單7.在Node的Express.js中使用Nohmapp.put('/',function(req,res){res.contentType('json');varlocation=newLocation;location.p("timestamp",req.body.timestamp);location.p("latitude",req.body.latitude);location.p("longitude",req.body.longitude);if(location.valid()){location.save(function(err){if(!err){res.send(JSON.stringify({status:"success"}));}else{res.send(JSON.stringify({status:location.errors}));}});}else{res.send(JSON.stringify({status:location.errors}));}});正如清單7所示，可以輕易地將Redis構建成一個極其快速的內存數據存儲。在一些案例中，它甚至是一個比memcached更好的緩存！結束語Redis對於許多數據存儲場景非常有用，因為它可以將數據持久化到磁碟（還因為它支持一個豐富的數據集），有時候，它是memcached的有力競爭對手。有些情況下，對於您的領域也是很有意義的，您可以使用Redis作為數據模型和隊列的一個備份存儲。Redis客戶端實現幾乎可被移植到任何編程語言中。Redis不是RDMBS的完全替代品，也不是一個重量級存儲，但是和MongoDB一樣擁有豐富的功能。然而，在很多情況下，它可與這些技術共存。

『伍』 Redis 和 Memcached 各有什麼優缺點，主要的應用場景是什麼樣的

1. Redis中，並不是所有的數據都一直存儲在內存中的，這是和Memcached相比一個最大的區別。 2. Redis不僅僅支持簡單的k/v類型的數據，同時還提供list，set，hash等數據結構的存儲。 3. Redis支持數據的備份，即master-slave模式的數據備份。 4. Redis支持數據的持久化，可以將內存中的數據保持在磁碟中，重啟的時候可以再次載入進行使用。 5、分布式--設定memcache集群，利用magent做一主多從;redis可以做一主多從。都可以一主一從 6、存儲數據安全--memcache掛掉後，數據沒了；redis可以定期保存到磁碟（持久化） 7、災難恢復--memcache掛掉後，數據不可恢復; redis數據丟失後可以通過aof恢復 以上參考：PHP程序員，雷雪松的個人博客。

『陸』 Redis適合存儲海量小文件嗎

最近學習下redis，作為一個高性能的k/v資料庫，如果數據不用swap的話，redis的性能是無以倫比的。最近在做一個系統附件的緩存，試著把附件放到redis試試，寫了個保存文件的方法。public class TestRedis{ Jedis redis = new Jedis("localhost");...

『柒』 memcached redis哪個更好用

這兩年Redis火得可以，Redis也常常被當作Memcached的挑戰者被提到桌面上來。關於Redis與Memcached的比較更是比比皆是。然而，Redis真的在功能、性能以及內存使用效率上都超越了Memcached嗎?下面內容來自Redis作者在stackoverflow上的一個回答，對應的問題是《Is memcached a dinosaur in comparison to Redis?》(相比Redis，Memcached真的過時了嗎?)You should not care too much about performances. Redis is faster per core with small values, but memcached is able to use multiple cores with a single executable and TCP port without help from the client. Also memcached is faster with big values in the order of 100k. Redis recently improved a lot about big values (unstable branch) but still memcached is faster in this use case. The point here is: nor one or the other will likely going to be your bottleneck for the query-per-second they can deliver.沒有必要過多的關心性能，因為二者的性能都已經足夠高了。由於Redis只使用單核，而Memcached可以使用多核，所以在比較上，平均每一個核上Redis在存儲小數據時比Memcached性能更高。而在100k以上的數據中，Memcached性能要高於Redis，雖然Redis最近也在存儲大數據的性能上進行優化，但是比起Memcached，還是稍有遜色。說了這么多，結論是，無論你使用哪一個，每秒處理請求的次數都不會成為瓶頸。(比如瓶頸可能會在網卡)You should care about memory usage. For simple key-value pairs memcached is more memory efficient. If you use Redis hashes, Redis is more memory efficient. Depends on the use case.如果要說內存使用效率，使用簡單的key-value存儲的話，Memcached的內存利用率更高，而如果Redis採用hash結構來做key-value存儲，由於其組合式的壓縮，其內存利用率會高於Memcached。當然，這和你的應用場景和數據特性有關。You should care about persistence and replication, two features only available in Redis. Even if your goal is to build a cache it helps that after an upgrade or a reboot your data are still there.如果你對數據持久化和數據同步有所要求，那麼推薦你選擇Redis，因為這兩個特性Memcached都不具備。即使你只是希望在升級或者重啟系統後緩存數據不會丟失，選擇Redis也是明智的。You should care about the kind of operations you need. In Redis there are a lot of complex operations, even just considering the caching use case, you often can do a lot more in a single operation, without requiring data to be processed client side (a lot of I/O is sometimes needed). This operations are often as fast as plain GET and SET. So if you don』t need just GEt/SET but more complex things Redis can help a lot (think at timeline caching).當然，最後還得說到你的具體應用需求。Redis相比Memcached來說，擁有更多的數據結構和並支持更豐富的數據操作，通常在Memcached里，你需要將數據拿到客戶端來進行類似的修改再set回去。這大大增加了網路IO的次數和數據體積。在Redis中，這些復雜的操作通常和一般的GET/SET一樣高效。所以，如果你需要緩存能夠支持更復雜的結構和操作，那麼Redis會是不錯的選擇。(其他人的回答同樣值得一看)

『捌』 Redis的主要功能

Redis 是當前互聯網世界最為流行的 NoSQL（Not Only SQL）資料庫。NoSQL 在互聯網系統中的作用很大，因為它可以在很大程度上提高互聯網系統的性能。

Redis 具備一定持久層的功能，也可以作為一種緩存工具。對於 NoSQL 資料庫而言，作為持久層，它存儲的數據是半結構化的，這就意味著計算機在讀入內存中有更少的規則，讀入速度更快。

對於那些結構化、多範式規則的資料庫系統而言，它更具性能優勢。作為緩存，它可以支持大數據存入內存中，只要命中率高，它就能快速響應，因為在內存中的數據讀/寫比資料庫讀/寫磁碟的速度快幾十到上百倍。

『玖』 淺談redis和memcached的區別

1 Redis支持伺服器端的數據操作：Redis相比Memcached來說，擁有更多的數據結構和並支持更豐富的數據操作，通常在Memcached里，你需要將數據拿到客戶端來進行類似的修改再set回去。這大大增加了網路IO的次數和數據體積。在Redis中，這些復雜的操作通常和一般的GET/SET一樣高效。所以，如果需要緩存能夠支持更復雜的結構和操作，那麼Redis會是不錯的選擇。
2 內存使用效率對比：使用簡單的key-value存儲的話，Memcached的內存利用率更高，而如果Redis採用hash結構來做key-value存儲，由於其組合式的壓縮，其內存利用率會高於Memcached。
3 性能對比：由於Redis只使用單核，而Memcached可以使用多核，所以平均每一個核上Redis在存儲小數據時比Memcached性能更高。而在100k以上的數據中，Memcached性能要高於Redis，雖然Redis最近也在存儲大數據的性能上進行優化，但是比起Memcached，還是稍有遜色。