缓存冷数据

A. sql 什么是冷数据

冷数据是较长时间之前的状态数据，即用户画像数据；
温数据是非即时的状态和行为数据；
热数据指即时的位置状态、交易和浏览行为。

B. 互联网大数据，需要什么样的冷数据存储

互联网大数据，冷数据存储占到总数据的80%左右。而这些冷数据同样重要，许多大数据分析都要基于冷数据来进行，而且许多数据要求保存的时间非常长，例如银行、社保等数据，一般都要保存70~100年的时间。传统的观点认为“硬盘存储不论使用和闲置，都会消耗能量”，因此多采用磁带或者光盘来保存冷存储数据。但是，磁带访问慢，光盘容量小，操作复杂，很难满足大数据时代数据实时在线、快速访问的需求。而实际上，随着叠瓦式磁记录等硬盘技术的发展，硬盘容量原来越大，能耗越来越低，为此，瑞驰信息技术研发了一套基于硬盘的大数据智能冷存储系统.

C. 如何解决高并发场景下，缓存冷启动导致mysql负载过高，甚至瞬间被打死的问题

由于mysql是一个连接给一个线程，当并发高的时候，每秒需要几百个甚至更多的线程，其中创建和销毁线程还好说，大不了多耗费点内存，线程缓存命中率下降还有创建销毁线程的性能增加问题---这个问题不是特别大，重点是mysql底层瞬间处理这几百个线程提交的sql（有时候一个页面会有10多条sql，cpu一次只能处理一条sql）会导致cpu的上下文切换，性能抖动，然后性能下降。

D. 什么是冷数据存储，为什么存储系统需要做到冷热数据分离

规则字是低位地址为奇数，否者是非规则字，非规则字读取需要两周期，而规则字只需要一个周期，所以要避免非规则字。可以咨询一下瑞驰他们也在做这一块。

E. 冷数据存储和热存储有什么区别

冷数据存储系统是面向海量数据归档应用推出的一款大容量低功耗解决方案，前端采用高性能ARM存储 NxStor，提供高效处理、快速响应能力；后端采用高密度微集群NxCells，提供海量存储空间；基于全ARM架构，整套集 群存储系统节省一半以上的功耗；并可提供按访问耗能、自动归档、灵活调阅、容量线性扩展等特性。 可以找下瑞驰信息技术咨询，我们就是找他们做的这块的解决方案。

F. 群晖选多大的SSD

今夜来谈群晖----缓存、NAS和SSD那些事

《群晖NAS非官方入门手册》是作者Lifeisgood在张大妈首发的写作计划，以知识卡片的形式，在每篇教程分享群晖的关键技能。2018年至今，已坚持三年。Life君是本站黑群晖配置最高、白群晖闲置最多的NAS小白。从今年八月起，作者Life君在张大妈创建专属达人专栏----群晖NAS非官方入门手册。

G. 数据存储：什么是冷存储

众所周知，随着科技的发展，在我们生活和工作中产生的数据越来越多。这些数据中有一大部分都属于冷数据即较长时间之前的状态数据，其特点是较低的访问频率，并且需要最大限度的降低其存储成本，同时要求随时可访问。例如微信和QQ上存储的大量的图片信息，社交媒体，智能互联网时代，大量的社交数据产生，用户通常查看新发布的图片、视频，而对于那些旧的数据，则鲜有人问之。对于照片、视频等这些非结构化数据通常会占用大量存储空间，并且增长速度远远超过其他类型的数据。
根据被访问的频度不同，数据可以被分为“热数据、温数据、冷数据”三种类型。其中，冷数据特指活动不频繁、不会被经常访问甚至永远不会被访问，但仍然需要长期保留的数据。热数据受到业务特征、用户行为乃至监管政策的影响（例如，医院的医学影像文件需要自患者最后一次就诊之日起保存不少于15年），经过一段时间的使用后，绝大部分数据都会迅速变“冷”。因此，数据集合中通常有高达80%的部分属于不常被访问的冷数据。然而，冷数据并非失去价值，大数据、人工智能等新兴业务对海量冷数据进行检索和挖掘的需求依然存在而且日益迫切。
金钱猫云存储架构下的冷存储技术产品采用最前沿的AI技术，通过对存储数据进行智能分析、区分冷热数据、优化存储来达到降低存储系统的整体投资成本及运营成本。据测算可降低服务器硬盘投资成本50%，节省用电50%。金钱猫云存储架构下的冷存储技术产品是一款节资省电造福于民的产品。金钱猫的服务，走进千家万户！

H. 浅谈redis和memcached的区别

1.Redis是什么这个问题的结果影响了我们怎么用Redis。如果你认为Redis是一个keyvaluestore,那可能会用它来代替MySQL；如果认为它是一个可以持久化的cache,可能只是它保存一些频繁访问的临时数据。Redis是REmoteDIctionaryServer的缩写，在Redis在官方网站的的副标题是Apersistentkey-valuedatabasewithbuilt-innetinterfacewritteninANSI-CforPosixsystems，这个定义偏向keyvaluestore。还有一些看法则认为Redis是一个memorydatabase，因为它的高性能都是基于内存操作的基础。另外一些人则认为Redis是一个datastructureserver，因为Redis支持复杂的数据特性，比如List,Set等。对Redis的作用的不同解读决定了你对Redis的使用方式。互联网数据目前基本使用两种方式来存储，关系数据库或者keyvalue。但是这些互联网业务本身并不属于这两种数据类型，比如用户在社会化平台中的关系，它是一个list，如果要用关系数据库存储就需要转换成一种多行记录的形式，这种形式存在很多冗余数据，每一行需要存储一些重复信息。如果用keyvalue存储则修改和删除比较麻烦，需要将全部数据读出再写入。Redis在内存中设计了各种数据类型，让业务能够高速原子的访问这些数据结构，并且不需要关心持久存储的问题，从架构上解决了前面两种存储需要走一些弯路的问题。2.Redis不可能比Memcache快很多开发者都认为Redis不可能比Memcached快，Memcached完全基于内存，而Redis具有持久化保存特性，即使是异步的，Redis也不可能比Memcached快。但是测试结果基本是Redis占绝对优势。一直在思考这个原因，目前想到的原因有这几方面。Libevent。和Memcached不同，Redis并没有选择libevent。Libevent为了迎合通用性造成代码庞大(目前Redis代码还不到libevent的1/3)及牺牲了在特定平台的不少性能。Redis用libevent中两个文件修改实现了自己的epolleventloop(4)。业界不少开发者也建议Redis使用另外一个libevent高性能替代libev，但是作者还是坚持Redis应该小巧并去依赖的思路。一个印象深刻的细节是编译Redis之前并不需要执行./configure。CAS问题。CAS是Memcached中比较方便的一种防止竞争修改资源的方法。CAS实现需要为每个cachekey设置一个隐藏的castoken，cas相当value版本号，每次set会token需要递增，因此带来CPU和内存的双重开销，虽然这些开销很小，但是到单机10G+cache以及QPS上万之后这些开销就会给双方相对带来一些细微性能差别(5)。3.单台Redis的存放数据必须比物理内存小Redis的数据全部放在内存带来了高速的性能，但是也带来一些不合理之处。比如一个中型网站有100万注册用户，如果这些资料要用Redis来存储，内存的容量必须能够容纳这100万用户。但是业务实际情况是100万用户只有5万活跃用户，1周来访问过1次的也只有15万用户，因此全部100万用户的数据都放在内存有不合理之处，RAM需要为冷数据买单。这跟操作系统非常相似，操作系统所有应用访问的数据都在内存，但是如果物理内存容纳不下新的数据，操作系统会智能将部分长期没有访问的数据交换到磁盘，为新的应用留出空间。现代操作系统给应用提供的并不是物理内存，而是虚拟内存(VirtualMemory)的概念。基于相同的考虑，Redis2.0也增加了VM特性。让Redis数据容量突破了物理内存的限制。并实现了数据冷热分离。4.Redis的VM实现是重复造轮子Redis的VM依照之前的epoll实现思路依旧是自己实现。但是在前面操作系统的介绍提到OS也可以自动帮程序实现冷热数据分离，Redis只需要OS申请一块大内存，OS会自动将热数据放入物理内存，冷数据交换到硬盘，另外一个知名的“理解了现代操作系统(3)”的Varnish就是这样实现，也取得了非常成功的效果。作者antirez在解释为什么要自己实现VM中提到几个原因(6)。主要OS的VM换入换出是基于Page概念，比如OSVM1个Page是4K,4K中只要还有一个元素即使只有1个字节被访问，这个页也不会被SWAP,换入也同样道理，读到一个字节可能会换入4K无用的内存。而Redis自己实现则可以达到控制换入的粒度。另外访问操作系统SWAP内存区域时block进程，也是导致Redis要自己实现VM原因之一。5.用get/set方式使用Redis作为一个keyvalue存在，很多开发者自然的使用set/get方式来使用Redis，实际上这并不是最优化的使用方法。尤其在未启用VM情况下，Redis全部数据需要放入内存，节约内存尤其重要。假如一个key-value单元需要最小占用512字节，即使只存一个字节也占了512字节。这时候就有一个设计模式，可以把key复用，几个key-value放入一个key中，value再作为一个set存入，这样同样512字节就会存放10-100倍的容量。这就是为了节约内存，建议使用hashset而不是set/get的方式来使用Redis，详细方法见参考文献(7)。6.使用aof代替snapshotRedis有两种存储方式，默认是snapshot方式，实现方法是定时将内存的快照(snapshot)持久化到硬盘，这种方法缺点是持久化之后如果出现crash则会丢失一段数据。因此在完美主义者的推动下作者增加了aof方式。aof即appendonlymode，在写入内存数据的同时将操作命令保存到日志文件，在一个并发更改上万的系统中，命令日志是一个非常庞大的数据，管理维护成本非常高，恢复重建时间会非常长，这样导致失去aof高可用性本意。另外更重要的是Redis是一个内存数据结构模型，所有的优势都是建立在对内存复杂数据结构高效的原子操作上，这样就看出aof是一个非常不协调的部分。其实aof目的主要是数据可靠性及高可用性，在Redis中有另外一种方法来达到目的：Replication。由于Redis的高性能，复制基本没有延迟。这样达到了防止单点故障及实现了高可用。小结要想成功使用一种产品，我们需要深入了解它的特性。Redis性能突出，如果能够熟练的驾驭，对国内很多大型应用具有很大帮助。

I. 1T蓝盘m2-SATA协议硬盘存在冷数据吗

存在。
西部数据绿盘、蓝盘、黑盘，实际上我给出的几个他们的性能是依次递增的，绿盘被西部数据称之为节能静音盘，绝大多数朋友用来存储高清电影之类存储用，蓝盘相对说速度比绿盘要快一些，性能适中、稳定性适中，是用户选择最多的一种型号，而黑盘代表性能，也就是说三种盘性能最强的是黑盘，通常缓存、单碟容量等等都考虑了速度，缺陷是噪音偏大。

J. Redis和Memcache的区别总结

区别：

1、存储方式不同

memecache 把数据全部存在内存之中，断电后会挂掉，数据不能超过内存大小；redis有部份存在硬盘上，这样能保证数据的持久性，支持数据的持久化（笔者注：有快照和AOF日志两种持久化方式，在实际应用的时候，要特别注意配置文件快照参数，要不就很有可能服务器频繁满载做mp）。

2、数据支持类型不同

redis在数据支持上要比memecache多的多。

3、使用底层模型不同

新版本的redis直接自己构建了VM 机制 ，因为一般的系统调用系统函数的话，会浪费一定的时间去移动和请求。

4、运行环境不同

redis目前官方只支持LINUX 上去行，从而省去了对于其它系统的支持，这样的话可以更好的把精力用于本系统 环境上的优化，虽然后来微软有一个小组为其写了补丁。但是没有放到主干上。

(10)缓存冷数据扩展阅读

注意事项

1、 Redis和Memcache都是将数据存放在内存中，都是内存数据库。不过memcache还可用于缓存其他东西，例如图片、视频等等。

2、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，hash等数据结构的存储。

3、虚拟内存–Redis当物理内存用完时，可以将一些很久没用到的value 交换到磁盘 。

4、过期策略–memcache在set时就指定，例如set key1 0 0 8,即永不过期。Redis可以通过例如expire 设定，例如expire name 10 。

5、分布式–设定memcache集群，利用magent做一主多从;redis可以做一主多从。都可以一主一，存储数据安全–memcache挂掉后，数据没了；redis可以定期保存到磁盘（持久化） 。