redis做大数据缓存可行性

‘壹’ 大量数据能缓存到redis里面吗

不适合引子：

    在大数据时代，总希望存在一个Key-value存储机制，像HashMap一样在内存中处理大量（千万数量级）的key-value对，以便提高数据查找、修改速度。

    所以，我们会想到，Memcached和Redis这两个NoSQL数据库（严格来讲二者都不可以算作数据库）。

    1、Memcached是一个cache机制，当内存不足时会采用LRU机制，替换出陈旧数据，因此他不能保证我们的数据像在HashMap中一样不丢失，且没有数据持久化机制；

    2、Redis克服了这一缺点，采取磁盘存储机制实现数据持久化。但是，当数据量达到1千万左右时，由于内存中不能存储如此大量数目的数据，频繁同磁盘进行数据交换，导致数据查询、存储性能的急剧下降，将导致服务不可用。

     结论：当前还没有好的产品可以实现key-value保证数据完整性，千万级条数量级的，高效存储和查询支持产品。

     附录一：如下是转自其它网友的测试数据：

     附录二：memcached 和redis的比较，和各自用途

附录一：

从图中可以猜测到还会有Redis 2.2.1 的测试，相同的测试环境，1K的数据量，使用ServiceStack.Redis客户端进行如下测试：

1) Set操作

2) Get操作

3) Del操作

每一套测试分别使用三个配置进行测试：

1) 绿色线条的是开启Dump方式的持久化，5分钟持久化一次

2) 蓝色线条是开启AOF方式的持久化，每秒写入磁盘一次

3) 红色线条是关闭任何的持久化方式

对于每一个配置都使用相同的其他配置：

1) 开启VM 最大内存10GB(128字节一

‘贰’ redis一般用来干嘛

redis是一个单线程的NoSQL数据库，主要用来做数据缓存，一般大型网站的应用和数据库之间的那一层就是Redis。比如京东商城的页面查找功能，用户接触到的查询的第一层就是Redis数据缓存层，缓存中找不到的数据，再进入数据库查询。Redis中缓存热点数据，能够保护数据库，提高查询效率。

NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起，传统的关系数据库在处理web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，出现了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，特别是大数据应用难题。

‘叁’ Redis和Memcached的区别

1.性能上：
性能上都很出色，具体到细节，由于Redis只使用单核，而Memcached可以使用多核，所以平均每一个核上Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中，Memcached性能要高于Redis，虽然Redis最近也在存储大数据的性能上进行优化，但是比起 Memcached，还是稍有逊色。
2.内存空间和数据量大小：
MemCached可以修改最大内存，采用LRU算法。Redis增加了VM的特性，突破了物理内存的限制。
3.操作便利上：
MemCached数据结构单一，仅用来缓存数据，而Redis支持更加丰富的数据类型，也可以在服务器端直接对数据进行丰富的操作,这样可以减少网络IO次数和数据体积。
4.可靠性上：
MemCached不支持数据持久化，断电或重启后数据消失，但其稳定性是有保证的。Redis支持数据持久化和数据恢复，允许单点故障，但是同时也会付出性能的代价。
5.应用场景：
Memcached：动态系统中减轻数据库负载，提升性能；做缓存，适合多读少写，大数据量的情况（如人人网大量查询用户信息、好友信息、文章信息等）。
Redis：适用于对读写效率要求都很高，数据处理业务复杂和对安全性要求较高的系统（如新浪微博的计数和微博发布部分系统，对数据安全性、读写要求都很高）。
----
需要慎重考虑的部分
1.Memcached单个key-value大小有限，一个value最大只支持1MB，而Redis最大支持512MB
2.Memcached只是个内存缓存，对可靠性无要求；而Redis更倾向于内存数据库，因此对对可靠性方面要求比较高
3.从本质上讲，Memcached只是一个单一key-value内存Cache；而Redis则是一个数据结构内存数据库，支持五种数据类型，因此Redis除单纯缓存作用外，还可以处理一些简单的逻辑运算，Redis不仅可以缓存，而且还可以作为数据库用
4.新版本（3.0）的Redis是指集群分布式，也就是说集群本身均衡客户端请求，各个节点可以交流，可拓展行、可维护性更强大。

----
介绍
Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提供动态、数据库驱动网站的速度，现在已被LiveJournal、hatena、Facebook、Vox、LiveJournal等公司所使用。
Redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、 list(链表)、set(集合)和zset(有序集合)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步,当前 Redis的应用已经非常广泛，国内像新浪、淘宝，国外像 Flickr、Github等均在使用Redis的缓存服务。

‘肆’ java web开发缓存方案，ehcache和redis哪个更好

这里就不再逐个讨论了，我将会在一个实际应用程序开发场景中介绍其中的一些。使用Redis作为一个缓存解决方案我之前提到过，Redis可轻易地用作一个缓存解决方案，碰巧我现在正好需要这样一个！在该应用程序示例中，我将Redis集成到我基于定位的移动Web服务中，称之为Magnus。如果您没有关注本系列，那么我会先使用Play框架实现Magnus，从那时起我就已经在各种实现中开发和重构它了。Magnus是一个简单服务，可以通过HTTPPUT请求使用JSON文档。这些文档描述了特定帐号的位置，表示持有移动设备的人。现在，我想要将缓存集成到Magnus，也就是说我想要通过将不常更改的数据存储在内存中以减少I/O流量。Magnus缓存！在清单5中的第一步中，可以通过get调用了解新引入的帐户名称（一个键）是否为REdis中的一个键。get调用可以将帐户ID作为一个值返回，或者将返回null。如果返回一个值，我将用其作为我的acctId变量。如果返回的是null（表明该帐户名称不是Redis中一个键），那么我将在MongoDB查找该帐户值，并通过set命令将其添加到Redis。这里的优势是速度：接下来，被请求的帐户将提交一个位置，这样我就能够从Redis中获取其ID（作为内存缓存），而不是转到MongoDB并带来额外读取I/O成本。清单5.使用Redis作为内存缓存"/location/:account"{put{defjacksonMapper=newObjectMapper()defjson=jacksonMapper.readValue(request.contentText,Map.class)defformatter=newSimpleDateFormat("dd-MM-yyyyHH:mm")defdt=formatter.parse(json['timestamp'])defres=[:]try{defjedis=pool.getResource()defacctId=jedis.get(request.parameters['account'])if(!acctId){defacct=Account.findByName(request.parameters['account'])jedis.set(request.parameters['account'],acct.id.toString())acctId=acct.id}pool.returnResource(jedis)newLocation(acctId.toString(),dt,json['latitude'].doubleValue(),json['longitude'].doubleValue()).save()res['status']='success'}catch(exp){res['status']="error${exp.message}"}response.json=jacksonMapper.writeValueAsString(res)}}注意，清单5中的aMagnus实现（使用Groovy编写）仍然使用一个NoSQL实现作为数据模型存储；它仅仅使用Redis作为一个缓存实现用于查询数据。因为我的主要帐户数据位于MongoDB中（事实上，它驻留在MongoHQ.com中），而我的Redis数据存储在本地运行。在随后查找帐户ID时，Magnus速度将显着提升。可是等等！我为什么同时需要MongoDB和Redis？难道我就不能单独使用一个吗？ORM的Node.js很多项目均提供ORM类映射用于Redis，其中包括一个极富影响力的基于Ruby的备用方案，称为Ohm。我检查了该项目基于Java的派生产品（称为JOhm），但是最终决定使用一个为Node编写的派生产品。Ohm及其派生项目的妙处在于他们允许您将一个对象模型映射到一个基于Redis的数据结构。因此，您的模型对象是持久性的，同时在大多数情况下其读取速度也非常之快。有了Nohm，我便能够使用JavaScript快速重写我的Magnus应用程序并能立即持久化Location对象。在清单6中，我已定义了一个Location模型，该模型包括3个属性。（注意，我通过将timestamp设置为一个字符串而不是一个真实的时间戳，从而简化我的示例。）清单6.Node.js中的RedisORMvarLocation=nohm.model('Location',{properties:{latitude:{type:'float',unique:false,validations:[['notEmpty']]},longitude:{type:'float',unique:false,validations:[['notEmpty']]},timestamp:{type:'string',unique:false,validations:[['notEmpty']]}}});Node的Express框架使NohmLocation对象的使用变得十分简单。在我的应用程序PUT实现中，我可以捕获正在进入的JSON值，并通过Nohm的p调用将其导入到一个Location实例。然后我再检查该示例是否有效，如果有效，我会对其进行持久化。清单7.在Node的Express.js中使用Nohmapp.put('/',function(req,res){res.contentType('json');varlocation=newLocation;location.p("timestamp",req.body.timestamp);location.p("latitude",req.body.latitude);location.p("longitude",req.body.longitude);if(location.valid()){location.save(function(err){if(!err){res.send(JSON.stringify({status:"success"}));}else{res.send(JSON.stringify({status:location.errors}));}});}else{res.send(JSON.stringify({status:location.errors}));}});正如清单7所示，可以轻易地将Redis构建成一个极其快速的内存数据存储。在一些案例中，它甚至是一个比memcached更好的缓存！结束语Redis对于许多数据存储场景非常有用，因为它可以将数据持久化到磁盘（还因为它支持一个丰富的数据集），有时候，它是memcached的有力竞争对手。有些情况下，对于您的领域也是很有意义的，您可以使用Redis作为数据模型和队列的一个备份存储。Redis客户端实现几乎可被移植到任何编程语言中。Redis不是RDMBS的完全替代品，也不是一个重量级存储，但是和MongoDB一样拥有丰富的功能。然而，在很多情况下，它可与这些技术共存。

‘伍’ Redis 和 Memcached 各有什么优缺点，主要的应用场景是什么样的

1. Redis中，并不是所有的数据都一直存储在内存中的，这是和Memcached相比一个最大的区别。 2. Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。 3. Redis支持数据的备份，即master-slave模式的数据备份。 4. Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。 5、分布式--设定memcache集群，利用magent做一主多从;redis可以做一主多从。都可以一主一从 6、存储数据安全--memcache挂掉后，数据没了；redis可以定期保存到磁盘（持久化） 7、灾难恢复--memcache挂掉后，数据不可恢复; redis数据丢失后可以通过aof恢复 以上参考：PHP程序员，雷雪松的个人博客。

‘陆’ Redis适合存储海量小文件吗

最近学习下redis，作为一个高性能的k/v数据库，如果数据不用swap的话，redis的性能是无以伦比的。最近在做一个系统附件的缓存，试着把附件放到redis试试，写了个保存文件的方法。public class TestRedis{ Jedis redis = new Jedis("localhost");...

‘柒’ memcached redis哪个更好用

这两年Redis火得可以，Redis也常常被当作Memcached的挑战者被提到桌面上来。关于Redis与Memcached的比较更是比比皆是。然而，Redis真的在功能、性能以及内存使用效率上都超越了Memcached吗?下面内容来自Redis作者在stackoverflow上的一个回答，对应的问题是《Is memcached a dinosaur in comparison to Redis?》(相比Redis，Memcached真的过时了吗?)You should not care too much about performances. Redis is faster per core with small values, but memcached is able to use multiple cores with a single executable and TCP port without help from the client. Also memcached is faster with big values in the order of 100k. Redis recently improved a lot about big values (unstable branch) but still memcached is faster in this use case. The point here is: nor one or the other will likely going to be your bottleneck for the query-per-second they can deliver.没有必要过多的关心性能，因为二者的性能都已经足够高了。由于Redis只使用单核，而Memcached可以使用多核，所以在比较上，平均每一个核上Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中，Memcached性能要高于Redis，虽然Redis最近也在存储大数据的性能上进行优化，但是比起Memcached，还是稍有逊色。说了这么多，结论是，无论你使用哪一个，每秒处理请求的次数都不会成为瓶颈。(比如瓶颈可能会在网卡)You should care about memory usage. For simple key-value pairs memcached is more memory efficient. If you use Redis hashes, Redis is more memory efficient. Depends on the use case.如果要说内存使用效率，使用简单的key-value存储的话，Memcached的内存利用率更高，而如果Redis采用hash结构来做key-value存储，由于其组合式的压缩，其内存利用率会高于Memcached。当然，这和你的应用场景和数据特性有关。You should care about persistence and replication, two features only available in Redis. Even if your goal is to build a cache it helps that after an upgrade or a reboot your data are still there.如果你对数据持久化和数据同步有所要求，那么推荐你选择Redis，因为这两个特性Memcached都不具备。即使你只是希望在升级或者重启系统后缓存数据不会丢失，选择Redis也是明智的。You should care about the kind of operations you need. In Redis there are a lot of complex operations, even just considering the caching use case, you often can do a lot more in a single operation, without requiring data to be processed client side (a lot of I/O is sometimes needed). This operations are often as fast as plain GET and SET. So if you don’t need just GEt/SET but more complex things Redis can help a lot (think at timeline caching).当然，最后还得说到你的具体应用需求。Redis相比Memcached来说，拥有更多的数据结构和并支持更丰富的数据操作，通常在Memcached里，你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中，这些复杂的操作通常和一般的GET/SET一样高效。所以，如果你需要缓存能够支持更复杂的结构和操作，那么Redis会是不错的选择。(其他人的回答同样值得一看)

‘捌’ Redis的主要功能

Redis 是当前互联网世界最为流行的 NoSQL（Not Only SQL）数据库。NoSQL 在互联网系统中的作用很大，因为它可以在很大程度上提高互联网系统的性能。

Redis 具备一定持久层的功能，也可以作为一种缓存工具。对于 NoSQL 数据库而言，作为持久层，它存储的数据是半结构化的，这就意味着计算机在读入内存中有更少的规则，读入速度更快。

对于那些结构化、多范式规则的数据库系统而言，它更具性能优势。作为缓存，它可以支持大数据存入内存中，只要命中率高，它就能快速响应，因为在内存中的数据读/写比数据库读/写磁盘的速度快几十到上百倍。

‘玖’ 浅谈redis和memcached的区别

1 Redis支持服务器端的数据操作：Redis相比Memcached来说，拥有更多的数据结构和并支持更丰富的数据操作，通常在Memcached里，你需要将数据拿到客户端来进行类似的修改再set回去。这大大增加了网络IO的次数和数据体积。在Redis中，这些复杂的操作通常和一般的GET/SET一样高效。所以，如果需要缓存能够支持更复杂的结构和操作，那么Redis会是不错的选择。
2 内存使用效率对比：使用简单的key-value存储的话，Memcached的内存利用率更高，而如果Redis采用hash结构来做key-value存储，由于其组合式的压缩，其内存利用率会高于Memcached。
3 性能对比：由于Redis只使用单核，而Memcached可以使用多核，所以平均每一个核上Redis在存储小数据时比Memcached性能更高。而在100k以上的数据中，Memcached性能要高于Redis，虽然Redis最近也在存储大数据的性能上进行优化，但是比起Memcached，还是稍有逊色。