数据库雪崩

Ⅰ redis常见问题

1. 缓存击穿

缓存击穿是指一个请求要访问的数据，缓存中没有，但数据库中有的情况。这种情况一般都是缓存过期了。

但是这时由于并发访问这个缓存的用户特别多，这是一个热点 key，这么多用户的请求同时过来，在缓存里面没有取到数据，所以又同时去访问数据库取数据，引起数据库流量激增，压力瞬间增大，直接崩溃给你看。

所以一个数据有缓存，每次请求都从缓存中快速的返回了数据，但是某个时间点缓存失效了，某个请求在缓存中没有请求到数据，这时候我们就说这个请求就"击穿"了缓存。

针对这个场景，对应的解决方案一般来说有三种。

借助Redis setNX命令设置一个标志位就行。设置成功的放行，设置失败的就轮询等待。就是在更新缓存时加把锁

后台开一个定时任务，专门主动更新过期数据

比如程序中设置 why 这个热点 key 的时候，同时设置了过期时间为 10 分钟，那后台程序在第 8 分钟的时候，会去数据库查询数据并重新放到缓存中，同时再次设置缓存为 10 分钟。

其实上面的后台续命思想的最终体现是也是永不过期。

只是后台续命的思想，会主动更新缓存，适用于缓存会变的场景。会出现缓存不一致的情况，取决于你的业务场景能接受多长时间的缓存不一致。

2. 缓存穿透

缓存穿透是指一个请求要访问的数据，缓存和数据库中都没有，而用户短时间、高密度的发起这样的请求，每次都打到数据库服务上，给数据库造成了压力。一般来说这样的请求属于恶意请求。

解决方案有两种：

就是在数据库即使没有查询到数据，我们也把这次请求当做 key 缓存起来，value 可以是 NULL。下次同样请求就会命中这个 NULL，缓存层就处理了这个请求，不会对数据库产生压力。这样实现起来简单，开发成本很低。

3. 缓存雪崩

缓存雪崩是指缓存中大多数的数据在同一时间到达过期时间，而查询数据量巨大，这时候，又是缓存中没有，数据库中有的情况了。

防止雪崩的方案简单来说就是错峰过期。

在设置 key 过期时间的时候，在加上一个短的随机过期时间，这样就能避免大量缓存在同一时间过期，引起的缓存雪崩。

如果发了雪崩，我们可以有服务降级、熔断、限流手段来拒绝一些请求，保证服务的正常。但是，这些对用户体验是有一定影响的。

4. Redis 高可用架构

Redis 高可用架构，大家基本上都能想到主从、哨兵、集群这三种模式。

哨兵模式：

它主要执行三种类型的任务：

哨兵其实也是一个分布式系统，我们可以运行多个哨兵。

然后这些哨兵之间需要相互通气，交流信息，通过投票来决定是否执行自动故障迁移，以及选择哪个从服务器作为新的主服务器。

哨兵之间采用的协议是 gossip，是一种去中心化的协议，达成的是最终一致性。

选举规则：

Ⅱ 哪些因素影响了数据库性能

网络宽带，磁盘IO，查询速度都会影响到数据库的性能。

具体问题具体分析，举例来说明为什么磁盘IO成瓶颈数据库的性能急速下降了。

为什么当磁盘IO成瓶颈之后, 数据库的性能不是达到饱和的平衡状态，而是急剧下降。为什么数据库的性能有非常明显的分界点，原因是什么？

相信大部分做数据库运维的朋友，都遇到这种情况。 数据库在前一天性能表现的相当稳定，数据库的响应时间也很正常，但就在今天，在业务人员反馈业务流量没有任何上升的情况下，数据库的变得不稳定了，有时候一个最简单的insert操作， 需要几十秒，但99%的insert却又可以在几毫秒完成，这又是为什么了？

dba此时心中有无限的疑惑，到底是什么原因呢? 磁盘IO性能变差了？还是业务运维人员反馈的流量压根就不对？ 还是数据库内部出问题？昨天不是还好好的吗？

当数据库出现响应时间不稳定的时候，我们在操作系统上会看到磁盘的利用率会比较高，如果观察仔细一点，还可以看到，存在一些读的IO. 数据库服务器如果存在大量的写IO,性能一般都是正常跟稳定的，但只要存在少量的读IO,则性能开始出现抖动，存在大量的读IO时（排除配备非常高速磁盘的机器），对于在线交易的数据库系统来说，大概性能就雪崩了。为什么操作系统上看到的磁盘读IO跟写IO所带来的性能差距这么大呢？

如果亲之前没有注意到上述的现象，亲对上述的结论也是怀疑。但请看下面的分解。

在写这个文章之前，作者阅读了大量跟的IO相关的代码，如异步IO线程的相关的，innodb_buffer池相关的，以及跟读数据块最相关的核心函数buf_page_get_gen函数以及其调用的相关子函数。为了将文章写得通俗点，看起来不那么累，因此不再一行一行的将代码解析写出来。

咱们先来提问题。buf_page_get_gen函数的作用是从Buffer bool里面读数据页，可能存在以下几种情况。

提问. 数据页不在buffer bool 里面该怎么办？

回答：去读文件，将文件中的数据页加载到buffer pool里面。下面是函数buffer_read_page的函数，作用是将物理数据页加载到buffer pool, 图片中显示

buffer_read_page函数栈的顶层是pread64(),调用了操作系统的读函数。

通过解析buf_wait_for_read函数的下层函数，我们知道其实通过首先自旋加锁pin的方式，超过设定的自旋次数之后，进入等待，等待IO完成被唤醒。这样节省不停自旋pin时消耗的cpu,但需要付出被唤起时的开销。

再继续扩展问题： 如果会话线程A 经过物理IO将数据页1001读入buffer之后，他需要修改这个页，而在会话线程A之后的其他的同样需要访问数据页1001的会话线程，即使在数据页1001被入读buffer pool之后，将仍然处于等待中。因为在数据页上读取或者更新的时候，同样需要上锁，这样才能保证数据页并发读取/更新的一致性。

由此可见，当一个高并发的系统，出现了热点数据页需要从磁盘上加载到buffer pool中时，造成的延迟，是难以想象的。因此排在等待热点页队列最后的会话线程最后才得到需要的页，响应时间也就越长，这就是造成了一个简单的sql需要执行几十秒的原因。

再回头来看上面的问题，mysql数据库出现性能下降时，可以看到操作系统有读IO。 原因是，在数据库对数据页的更改，是在内存中的，然后通过检查点线程进行异步写盘，这个异步的写操作是不堵塞执行sql的会话线程的。所以，即使看到操作系统上有大量的写IO，数据库的性能也是很平稳的。但当用户线程需要查找的数据页不在buffer pool中时，则会从磁盘上读取，在一个热点数据页不是非常多的情况下，我们设置足够大的innodb_buffer_pool的size, 基本可以缓存所有的数据页，因此一般都不会出现缺页的情况，也就是在操作系统上基本看不到读的IO。 当出现读的IO时，原因时在执行buf_read_page_low函数，从磁盘上读取数据页到buffer pool, 则数据库的性能则开始下降，当出现大量的读IO，数据库的性能会非常差。

Ⅲ 用云数据库会被打死吗

缓存雪崩、击穿、穿透及解决方案
1、缓存雪崩，出现过程，假如一个系统，高峰期5000次/s，4000次走了缓存，1000次走数据库，数据库1000/s是正常指标，完全可以工作，但是如果缓存宕机了，或者缓存设置了相同的过期时间，导致缓存同一时间失效，然后5000次请求都打在了数据库上，数据库立马被打死了，数据库一般1s最多抗2000个请求(这个取决于具体硬件配置)，如果DBA重启数据库，同样的立马会继续被打死，这就是缓存雪崩。

Ⅳ java清缓存前可以进后台方法,清完缓存不进了

关于java清缓存前可以进后台方法,清完缓存不进了相关资料如下
java我们在使用缓存时，往往先尝试去缓存中取值，如果没有，再去数据库取值，如果数据库也没有值，则根据业务需求，返回空或者抛异常。

如果用户一直访问一个数据库不存在的数据，比如id为-1的数据，就会导致每次请求都会先去缓存查一次，然后再去数据库查一次，造成严重的性能问题。这种情况就叫缓存穿透。

解决方案

以下几种解决方案：对请求参数做校验，比如用户鉴权校验，id做基础校验，id <= 0的直接拦截。

如果查询到数据库没有值，也将对应的key存进缓存中，value为null。这样下次查询就直接从缓存返回了。但这里的key的缓存时间应该比较短，比如30s。防止后面在数据库插入了这条数据，而用户获取不到。

使用布隆过滤器，判断一个key是否已经查过了，如果已经查过了，就不去数据库查询。

缓存击穿

缓存击穿指的是，一个key的访问量非常大，比如某秒杀活动，有1w/s的并发量。这个key在某一时刻过期，那这些大量的请求就会一瞬间到数据库，数据库可能会直接崩溃。

解决方案

缓存击穿的解决方案也有几种，可以配合使用：对于热点数据，慎重考虑过期时间，确保热点期间key不会过期，甚至有些可以设置永不过期。

使用互斥锁(比如Java的多线程锁机制)，第一个线程访问key的时候就锁住，等查询数据库返回后，把值插入到缓存后再释放锁，这样后面的请求就可以直接取缓存里面的数据了。

缓存雪崩

缓存雪崩指的是，在某一时刻，多个key失效。这样就会有大量的请求从缓存中获取不到值，全部到数据库。还有另一种情况，就是缓存服务器宕机，也算做缓存雪崩。

解决方案

针对上述两种情况，缓存雪崩有两种解决方案：对每个key的过期时间设置一个随机值，而不是所有key都相同。

使用高可用的分布式缓存集群，确保缓存的高可用性，比如redis-cluster。

Ⅳ 为什么当磁盘IO成瓶颈之后数据库的性能急剧下降

自从使用阿里云以来，我们遇到了三次故障（一、二、三），这三次故障都与磁盘IO高有关。第一次故障发生在跑zzk.cnblogs.com索引服务的云 服务器上，当时的Avg.Disk Read Queue Length高达200多；第二次故障发生在跑images.cnblogs.com静态文件的云服务器上，当时的Avg.Disk Read Queue Length在2左右（后来分析，对于图片站点这样的直接读文件进行响应的应用，Disk Read Queue Length达到这个值会明显影响响应速度）；第三次故障发生在跑数据库服务的云服务器上，当时的Avg. Disk Write Queue Length达到4~5，造成很多的数据库写入操作超时。

Ⅵ Redis缓存雪崩就这么简单

在实际项目开发中，我们都知道Redis不可能把所有的数据都缓存起来( 内存昂贵且有限 )，所以Redis需要对数据设置过期时间，并采用的是惰性删除+定期删除两种策略对过期键删除。

如果缓存数据 设置的过期时间是相同 的，并且Redis恰好将这部分数据全部删光了。这就会导致在这段时间内，这些缓存 同时失效 ，全部请求到数据库中。

这就是缓存雪崩 ：

缓存雪崩如果发生了，很可能就把我们的数据库 搞垮 ，导致整个服务瘫痪，造成的后果很严重。

对缓存数据设置相同的过期时间，导致某段时间内缓存失效。”

对于“Redis挂掉了”，我们可以有以下的思路：

Ⅶ 华为技术架构师分享：高并发场景下缓存处理的一些思路

在实际的开发当中，我们经常需要进行磁盘数据的读取和搜索，因此经常会有出现从数据库读取数据的场景出现。但是当数据访问量次数增大的时候，过多的磁盘读取可能会最终成为整个系统的性能瓶颈，甚至是压垮整个数据库，导致系统卡死等严重问题。

常规的应用系统中，我们通常会在需要的时候对数据库进行查找，因此系统的大致结构如下所示：

1.缓存和数据库之间数据一致性问题

常用于缓存处理的机制我总结为了以下几种：

首先来简单说说Cache aside的这种方式：

Cache Aside模式

这种模式处理缓存通常都是先从数据库缓存查询，如果缓存没有命中则从数据库中进行查找。

这里面会发生的三种情况如下：

缓存命中：

当查询的时候发现缓存存在，那么直接从缓存中提取。

缓存失效：

当缓存没有数据的时候，则从database里面读取源数据，再加入到cache里面去。

缓存更新：

当有新的写操作去修改database里面的数据时，需要在写操作完成之后，让cache里面对应的数据失效。

关于这种模式下依然会存在缺陷。比如，一个是读操作，但是没有命中缓存，然后就到数据库中取数据，此时来了一个写操作，写完数据库后，让缓存失效，然后，之前的那个读操作再把老的数据放进去，所以，会造成脏数据。

Facebook的大牛们也曾经就缓存处理这个问题发表过相关的论文，链接如下:

分布式环境中要想完全的保证数据一致性是一件极为困难的事情，我们只能够尽可能的减低这种数据不一致性问题产生的情况。

Read Through模式

Read Through模式是指应用程序始终从缓存中请求数据。 如果缓存没有数据，则它负责使用底层提供程序插件从数据库中检索数据。 检索数据后，缓存会自行更新并将数据返回给调用应用程序。使用Read Through 有一个好处。

我们总是使用key从缓存中检索数据, 调用的应用程序不知道数据库， 由存储方来负责自己的缓存处理，这使代码更具可读性， 代码更清晰。但是这也有相应的缺陷，开发人员需要给编写相关的程序插件，增加了开发的难度性。

Write Through模式

Write Through模式和Read Through模式类似，当数据发生更新的时候，先去Cache里面进行更新，如果命中了，则先更新缓存再由Cache方来更新database。如果没有命中的话，就直接更新Cache里面的数据。

2.缓存穿透问题

在高并发的场景中，缓存穿透是一个经常都会遇到的问题。

什么是缓存穿透？

大量的请求在缓存中没有查询到指定的数据，因此需要从数据库中进行查询，造成缓存穿透。

会造成什么后果？

大量的请求短时间内涌入到database中进行查询会增加database的压力，最终导致database无法承载客户单请求的压力，出现宕机卡死等现象。

常用的解决方案通常有以下几类：

1.空值缓存

在某些特定的业务场景中，对于数据的查询可能会是空的，没有实际的存在，并且这类数据信息在短时间进行多次的反复查询也不会有变化，那么整个过程中，多次的请求数据库操作会显得有些多余。

不妨可以将这些空值（没有查询结果的数据）对应的key存储在缓存中，那么第二次查找的时候就不需要再次请求到database那么麻烦，只需要通过内存查询即可。这样的做法能够大大减少对于database的访问压力。

2.布隆过滤器

通常对于database里面的数据的key值可以预先存储在布隆过滤器里面去，然后先在布隆过滤器里面进行过滤，如果发现布隆过滤器中没有的话，就再去redis里面进行查询，如果redis中也没有数据的话，再去database查询。这样可以避免不存在的数据信息也去往存储库中进行查询情况。

什么是缓存雪崩？

当缓存服务器重启或者大量缓存集中在某一个时间段失效，这样在失效的时候，也会给后端系统(比如DB)带来很大压力。

如何避免缓存雪崩问题？

1.使用加锁队列来应付这种问题。当有多个请求涌入的时候，当缓存失效的时候加入一把分布式锁，只允许抢锁成功的请求去库里面读取数据然后将其存入缓存中，再释放锁，让后续的读请求从缓存中取数据。但是这种做法有一定的弊端，过多的读请求线程堵塞，将机器内存占满，依然没有能够从根本上解决问题。

2.在并发场景发生前，先手动触发请求，将缓存都存储起来，以减少后期请求对database的第一次查询的压力。数据过期时间设置尽量分散开来，不要让数据出现同一时间段出现缓存过期的情况。

3.从缓存可用性的角度来思考，避免缓存出现单点故障的问题，可以结合使用 主从+哨兵的模式来搭建缓存架构，但是这种模式搭建的缓存架构有个弊端，就是无法进行缓存分片，存储缓存的数据量有限制，因此可以升级为Redis Cluster架构来进行优化处理。（需要结合企业实际的经济实力，毕竟Redis Cluster的搭建需要更多的机器）

4.Ehcache本地缓存 + Hystrix限流&降级,避免MySQL被打死。

使用 Ehcache本地缓存的目的也是考虑在 Redis Cluster 完全不可用的时候，Ehcache本地缓存还能够支撑一阵。

使用 Hystrix进行限流 & 降级 ，比如一秒来了5000个请求，我们可以设置假设只能有一秒 2000个请求能通过这个组件，那么其他剩余的 3000 请求就会走限流逻辑。

然后去调用我们自己开发的降级组件（降级），比如设置的一些默认值呀之类的。以此来保护最后的 MySQL 不会被大量的请求给打死。

Ⅷ 《雪崩》epub下载在线阅读，求百度网盘云资源

《雪崩》（[美] 尼尔·斯蒂芬森）电子书网盘下载免费在线阅读

资源链接：

链接：https://pan..com/s/1B0AFf5XovrmXGIDhkEc8ag

提取码：lkze

书名：雪崩

作者：[美] 尼尔·斯蒂芬森

译者：郭泽

豆瓣评分：8.1

出版社：四川科学技术出版社

出版年份：2018-7

页数：588

内容简介：

中央情报局成了中央情报公司，国会图书馆成了中央情报公司数据库；至于国会，没几个人知道它是什么玩意儿。美国的大地上到处是特许邦国，也就是特许经营组织准国家实体，一种类似麦当劳连锁店的机构。

美国政府呢？这个东西仅仅存在于不多的几处联邦建筑里，由联邦特工持枪把守，随时准备抵抗来自街头的袭击。

这就是未来的美国，一个车水马龙与颓废荒凉并存、尖端科技与野蛮低俗混杂之地。

但在这片喧嚣混乱之上，还存在着另一个无比广阔、无比自由的国度：赛博空间，由电脑和网络构成的虚拟空间。

在现实生活中，本书主人公只是个微不足道的披萨速递员，但在虚拟空间中，他是首屈一指的黑客、擅使双刀的高手。这样的人拥有毁灭世界的力量 —— 也可以拯救这个世界……

作者简介：

［美］尼尔•斯蒂芬森

美国着名幻想文学作家，其作品包括科幻小说、历史小说和高科技惊险小说，题材涉及数学、哲学、宗教、金融、密码破译和科技史等多个学科领域。

出版于1992年的《雪崩》是斯蒂芬森重要的科幻作品之一，标志着他创作风格的成熟，面世后引发汹涌的赛博朋克阅读风潮。此后，他的作家生涯进入黄金期，几乎每四年便推出一部脍炙人口的大作。其中，1995年的《钻石时代》获得雨果奖；1999年的《编码宝典》及此后的“巴洛克”三部曲以破译数据密码为中心线索，结合历史小说和科技惊险小说的元素，戏剧性地重述了科技发展史，大受读者好评。其后，斯蒂芬森推出的《飞越修道院》和《七族》都成功入围雨果奖决选。