資料庫雪崩

Ⅰ redis常見問題

1. 緩存擊穿

緩存擊穿是指一個請求要訪問的數據，緩存中沒有，但資料庫中有的情況。這種情況一般都是緩存過期了。

但是這時由於並發訪問這個緩存的用戶特別多，這是一個熱點 key，這么多用戶的請求同時過來，在緩存裡面沒有取到數據，所以又同時去訪問資料庫取數據，引起資料庫流量激增，壓力瞬間增大，直接崩潰給你看。

所以一個數據有緩存，每次請求都從緩存中快速的返回了數據，但是某個時間點緩存失效了，某個請求在緩存中沒有請求到數據，這時候我們就說這個請求就"擊穿"了緩存。

針對這個場景，對應的解決方案一般來說有三種。

藉助Redis setNX命令設置一個標志位就行。設置成功的放行，設置失敗的就輪詢等待。就是在更新緩存時加把鎖

後台開一個定時任務，專門主動更新過期數據

比如程序中設置 why 這個熱點 key 的時候，同時設置了過期時間為 10 分鍾，那後台程序在第 8 分鍾的時候，會去資料庫查詢數據並重新放到緩存中，同時再次設置緩存為 10 分鍾。

其實上面的後台續命思想的最終體現是也是永不過期。

只是後台續命的思想，會主動更新緩存，適用於緩存會變的場景。會出現緩存不一致的情況，取決於你的業務場景能接受多長時間的緩存不一致。

2. 緩存穿透

緩存穿透是指一個請求要訪問的數據，緩存和資料庫中都沒有，而用戶短時間、高密度的發起這樣的請求，每次都打到資料庫服務上，給資料庫造成了壓力。一般來說這樣的請求屬於惡意請求。

解決方案有兩種：

就是在資料庫即使沒有查詢到數據，我們也把這次請求當做 key 緩存起來，value 可以是 NULL。下次同樣請求就會命中這個 NULL，緩存層就處理了這個請求，不會對資料庫產生壓力。這樣實現起來簡單，開發成本很低。

3. 緩存雪崩

緩存雪崩是指緩存中大多數的數據在同一時間到達過期時間，而查詢數據量巨大，這時候，又是緩存中沒有，資料庫中有的情況了。

防止雪崩的方案簡單來說就是錯峰過期。

在設置 key 過期時間的時候，在加上一個短的隨機過期時間，這樣就能避免大量緩存在同一時間過期，引起的緩存雪崩。

如果發了雪崩，我們可以有服務降級、熔斷、限流手段來拒絕一些請求，保證服務的正常。但是，這些對用戶體驗是有一定影響的。

4. Redis 高可用架構

Redis 高可用架構，大家基本上都能想到主從、哨兵、集群這三種模式。

哨兵模式：

它主要執行三種類型的任務：

哨兵其實也是一個分布式系統，我們可以運行多個哨兵。

然後這些哨兵之間需要相互通氣，交流信息，通過投票來決定是否執行自動故障遷移，以及選擇哪個從伺服器作為新的主伺服器。

哨兵之間採用的協議是 gossip，是一種去中心化的協議，達成的是最終一致性。

選舉規則：

Ⅱ 哪些因素影響了資料庫性能

網路寬頻，磁碟IO，查詢速度都會影響到資料庫的性能。

具體問題具體分析，舉例來說明為什麼磁碟IO成瓶頸資料庫的性能急速下降了。

為什麼當磁碟IO成瓶頸之後, 資料庫的性能不是達到飽和的平衡狀態，而是急劇下降。為什麼資料庫的性能有非常明顯的分界點，原因是什麼？

相信大部分做資料庫運維的朋友，都遇到這種情況。 資料庫在前一天性能表現的相當穩定，資料庫的響應時間也很正常，但就在今天，在業務人員反饋業務流量沒有任何上升的情況下，資料庫的變得不穩定了，有時候一個最簡單的insert操作， 需要幾十秒，但99%的insert卻又可以在幾毫秒完成，這又是為什麼了？

dba此時心中有無限的疑惑，到底是什麼原因呢? 磁碟IO性能變差了？還是業務運維人員反饋的流量壓根就不對？ 還是資料庫內部出問題？昨天不是還好好的嗎？

當資料庫出現響應時間不穩定的時候，我們在操作系統上會看到磁碟的利用率會比較高，如果觀察仔細一點，還可以看到，存在一些讀的IO. 資料庫伺服器如果存在大量的寫IO,性能一般都是正常跟穩定的，但只要存在少量的讀IO,則性能開始出現抖動，存在大量的讀IO時（排除配備非常高速磁碟的機器），對於在線交易的資料庫系統來說，大概性能就雪崩了。為什麼操作系統上看到的磁碟讀IO跟寫IO所帶來的性能差距這么大呢？

如果親之前沒有注意到上述的現象，親對上述的結論也是懷疑。但請看下面的分解。

在寫這個文章之前，作者閱讀了大量跟的IO相關的代碼，如非同步IO線程的相關的，innodb_buffer池相關的，以及跟讀數據塊最相關的核心函數buf_page_get_gen函數以及其調用的相關子函數。為了將文章寫得通俗點，看起來不那麼累，因此不再一行一行的將代碼解析寫出來。

咱們先來提問題。buf_page_get_gen函數的作用是從Buffer bool裡面讀數據頁，可能存在以下幾種情況。

提問. 數據頁不在buffer bool 裡面該怎麼辦？

回答：去讀文件，將文件中的數據頁載入到buffer pool裡面。下面是函數buffer_read_page的函數，作用是將物理數據頁載入到buffer pool, 圖片中顯示

buffer_read_page函數棧的頂層是pread64(),調用了操作系統的讀函數。

通過解析buf_wait_for_read函數的下層函數，我們知道其實通過首先自旋加鎖pin的方式，超過設定的自旋次數之後，進入等待，等待IO完成被喚醒。這樣節省不停自旋pin時消耗的cpu,但需要付出被喚起時的開銷。

再繼續擴展問題： 如果會話線程A 經過物理IO將數據頁1001讀入buffer之後，他需要修改這個頁，而在會話線程A之後的其他的同樣需要訪問數據頁1001的會話線程，即使在數據頁1001被入讀buffer pool之後，將仍然處於等待中。因為在數據頁上讀取或者更新的時候，同樣需要上鎖，這樣才能保證數據頁並發讀取/更新的一致性。

由此可見，當一個高並發的系統，出現了熱點數據頁需要從磁碟上載入到buffer pool中時，造成的延遲，是難以想像的。因此排在等待熱點頁隊列最後的會話線程最後才得到需要的頁，響應時間也就越長，這就是造成了一個簡單的sql需要執行幾十秒的原因。

再回頭來看上面的問題，mysql資料庫出現性能下降時，可以看到操作系統有讀IO。 原因是，在資料庫對數據頁的更改，是在內存中的，然後通過檢查點線程進行非同步寫盤，這個非同步的寫操作是不堵塞執行sql的會話線程的。所以，即使看到操作系統上有大量的寫IO，資料庫的性能也是很平穩的。但當用戶線程需要查找的數據頁不在buffer pool中時，則會從磁碟上讀取，在一個熱點數據頁不是非常多的情況下，我們設置足夠大的innodb_buffer_pool的size, 基本可以緩存所有的數據頁，因此一般都不會出現缺頁的情況，也就是在操作系統上基本看不到讀的IO。 當出現讀的IO時，原因時在執行buf_read_page_low函數，從磁碟上讀取數據頁到buffer pool, 則資料庫的性能則開始下降，當出現大量的讀IO，資料庫的性能會非常差。

Ⅲ 用雲資料庫會被打死嗎

緩存雪崩、擊穿、穿透及解決方案
1、緩存雪崩，出現過程，假如一個系統，高峰期5000次/s，4000次走了緩存，1000次走資料庫，資料庫1000/s是正常指標，完全可以工作，但是如果緩存宕機了，或者緩存設置了相同的過期時間，導致緩存同一時間失效，然後5000次請求都打在了資料庫上，資料庫立馬被打死了，資料庫一般1s最多抗2000個請求(這個取決於具體硬體配置)，如果DBA重啟資料庫，同樣的立馬會繼續被打死，這就是緩存雪崩。

Ⅳ java清緩存前可以進後台方法,清完緩存不進了

關於java清緩存前可以進後台方法,清完緩存不進了相關資料如下
java我們在使用緩存時，往往先嘗試去緩存中取值，如果沒有，再去資料庫取值，如果資料庫也沒有值，則根據業務需求，返回空或者拋異常。

如果用戶一直訪問一個資料庫不存在的數據，比如id為-1的數據，就會導致每次請求都會先去緩存查一次，然後再去資料庫查一次，造成嚴重的性能問題。這種情況就叫緩存穿透。

解決方案

以下幾種解決方案：對請求參數做校驗，比如用戶鑒權校驗，id做基礎校驗，id <= 0的直接攔截。

如果查詢到資料庫沒有值，也將對應的key存進緩存中，value為null。這樣下次查詢就直接從緩存返回了。但這里的key的緩存時間應該比較短，比如30s。防止後面在資料庫插入了這條數據，而用戶獲取不到。

使用布隆過濾器，判斷一個key是否已經查過了，如果已經查過了，就不去資料庫查詢。

緩存擊穿

緩存擊穿指的是，一個key的訪問量非常大，比如某秒殺活動，有1w/s的並發量。這個key在某一時刻過期，那這些大量的請求就會一瞬間到資料庫，資料庫可能會直接崩潰。

解決方案

緩存擊穿的解決方案也有幾種，可以配合使用：對於熱點數據，慎重考慮過期時間，確保熱點期間key不會過期，甚至有些可以設置永不過期。

使用互斥鎖(比如Java的多線程鎖機制)，第一個線程訪問key的時候就鎖住，等查詢資料庫返回後，把值插入到緩存後再釋放鎖，這樣後面的請求就可以直接取緩存裡面的數據了。

緩存雪崩

緩存雪崩指的是，在某一時刻，多個key失效。這樣就會有大量的請求從緩存中獲取不到值，全部到資料庫。還有另一種情況，就是緩存伺服器宕機，也算做緩存雪崩。

解決方案

針對上述兩種情況，緩存雪崩有兩種解決方案：對每個key的過期時間設置一個隨機值，而不是所有key都相同。

使用高可用的分布式緩存集群，確保緩存的高可用性，比如redis-cluster。

Ⅳ 為什麼當磁碟IO成瓶頸之後資料庫的性能急劇下降

自從使用阿里雲以來，我們遇到了三次故障（一、二、三），這三次故障都與磁碟IO高有關。第一次故障發生在跑zzk.cnblogs.com索引服務的雲 伺服器上，當時的Avg.Disk Read Queue Length高達200多；第二次故障發生在跑images.cnblogs.com靜態文件的雲伺服器上，當時的Avg.Disk Read Queue Length在2左右（後來分析，對於圖片站點這樣的直接讀文件進行響應的應用，Disk Read Queue Length達到這個值會明顯影響響應速度）；第三次故障發生在跑資料庫服務的雲伺服器上，當時的Avg. Disk Write Queue Length達到4~5，造成很多的資料庫寫入操作超時。

Ⅵ Redis緩存雪崩就這么簡單

在實際項目開發中，我們都知道Redis不可能把所有的數據都緩存起來( 內存昂貴且有限 )，所以Redis需要對數據設置過期時間，並採用的是惰性刪除+定期刪除兩種策略對過期鍵刪除。

如果緩存數據 設置的過期時間是相同 的，並且Redis恰好將這部分數據全部刪光了。這就會導致在這段時間內，這些緩存 同時失效 ，全部請求到資料庫中。

這就是緩存雪崩 ：

緩存雪崩如果發生了，很可能就把我們的資料庫 搞垮 ，導致整個服務癱瘓，造成的後果很嚴重。

對緩存數據設置相同的過期時間，導致某段時間內緩存失效。」

對於「Redis掛掉了」，我們可以有以下的思路：

Ⅶ 華為技術架構師分享：高並發場景下緩存處理的一些思路

在實際的開發當中，我們經常需要進行磁碟數據的讀取和搜索，因此經常會有出現從資料庫讀取數據的場景出現。但是當數據訪問量次數增大的時候，過多的磁碟讀取可能會最終成為整個系統的性能瓶頸，甚至是壓垮整個資料庫，導致系統卡死等嚴重問題。

常規的應用系統中，我們通常會在需要的時候對資料庫進行查找，因此系統的大致結構如下所示：

1.緩存和資料庫之間數據一致性問題

常用於緩存處理的機制我總結為了以下幾種：

首先來簡單說說Cache aside的這種方式：

Cache Aside模式

這種模式處理緩存通常都是先從資料庫緩存查詢，如果緩存沒有命中則從資料庫中進行查找。

這裡面會發生的三種情況如下：

緩存命中：

當查詢的時候發現緩存存在，那麼直接從緩存中提取。

緩存失效：

當緩存沒有數據的時候，則從database裡面讀取源數據，再加入到cache裡面去。

緩存更新：

當有新的寫操作去修改database裡面的數據時，需要在寫操作完成之後，讓cache裡面對應的數據失效。

關於這種模式下依然會存在缺陷。比如，一個是讀操作，但是沒有命中緩存，然後就到資料庫中取數據，此時來了一個寫操作，寫完資料庫後，讓緩存失效，然後，之前的那個讀操作再把老的數據放進去，所以，會造成臟數據。

Facebook的大牛們也曾經就緩存處理這個問題發表過相關的論文，鏈接如下:

分布式環境中要想完全的保證數據一致性是一件極為困難的事情，我們只能夠盡可能的減低這種數據不一致性問題產生的情況。

Read Through模式

Read Through模式是指應用程序始終從緩存中請求數據。 如果緩存沒有數據，則它負責使用底層提供程序插件從資料庫中檢索數據。 檢索數據後，緩存會自行更新並將數據返回給調用應用程序。使用Read Through 有一個好處。

我們總是使用key從緩存中檢索數據, 調用的應用程序不知道資料庫， 由存儲方來負責自己的緩存處理，這使代碼更具可讀性， 代碼更清晰。但是這也有相應的缺陷，開發人員需要給編寫相關的程序插件，增加了開發的難度性。

Write Through模式

Write Through模式和Read Through模式類似，當數據發生更新的時候，先去Cache裡面進行更新，如果命中了，則先更新緩存再由Cache方來更新database。如果沒有命中的話，就直接更新Cache裡面的數據。

2.緩存穿透問題

在高並發的場景中，緩存穿透是一個經常都會遇到的問題。

什麼是緩存穿透？

大量的請求在緩存中沒有查詢到指定的數據，因此需要從資料庫中進行查詢，造成緩存穿透。

會造成什麼後果？

大量的請求短時間內湧入到database中進行查詢會增加database的壓力，最終導致database無法承載客戶單請求的壓力，出現宕機卡死等現象。

常用的解決方案通常有以下幾類：

1.空值緩存

在某些特定的業務場景中，對於數據的查詢可能會是空的，沒有實際的存在，並且這類數據信息在短時間進行多次的反復查詢也不會有變化，那麼整個過程中，多次的請求資料庫操作會顯得有些多餘。

不妨可以將這些空值（沒有查詢結果的數據）對應的key存儲在緩存中，那麼第二次查找的時候就不需要再次請求到database那麼麻煩，只需要通過內存查詢即可。這樣的做法能夠大大減少對於database的訪問壓力。

2.布隆過濾器

通常對於database裡面的數據的key值可以預先存儲在布隆過濾器裡面去，然後先在布隆過濾器裡面進行過濾，如果發現布隆過濾器中沒有的話，就再去redis裡面進行查詢，如果redis中也沒有數據的話，再去database查詢。這樣可以避免不存在的數據信息也去往存儲庫中進行查詢情況。

什麼是緩存雪崩？

當緩存伺服器重啟或者大量緩存集中在某一個時間段失效，這樣在失效的時候，也會給後端系統(比如DB)帶來很大壓力。

如何避免緩存雪崩問題？

1.使用加鎖隊列來應付這種問題。當有多個請求湧入的時候，當緩存失效的時候加入一把分布式鎖，只允許搶鎖成功的請求去庫裡面讀取數據然後將其存入緩存中，再釋放鎖，讓後續的讀請求從緩存中取數據。但是這種做法有一定的弊端，過多的讀請求線程堵塞，將機器內存占滿，依然沒有能夠從根本上解決問題。

2.在並發場景發生前，先手動觸發請求，將緩存都存儲起來，以減少後期請求對database的第一次查詢的壓力。數據過期時間設置盡量分散開來，不要讓數據出現同一時間段出現緩存過期的情況。

3.從緩存可用性的角度來思考，避免緩存出現單點故障的問題，可以結合使用 主從+哨兵的模式來搭建緩存架構，但是這種模式搭建的緩存架構有個弊端，就是無法進行緩存分片，存儲緩存的數據量有限制，因此可以升級為Redis Cluster架構來進行優化處理。（需要結合企業實際的經濟實力，畢竟Redis Cluster的搭建需要更多的機器）

4.Ehcache本地緩存 + Hystrix限流&降級,避免MySQL被打死。

使用 Ehcache本地緩存的目的也是考慮在 Redis Cluster 完全不可用的時候，Ehcache本地緩存還能夠支撐一陣。

使用 Hystrix進行限流 & 降級 ，比如一秒來了5000個請求，我們可以設置假設只能有一秒 2000個請求能通過這個組件，那麼其他剩餘的 3000 請求就會走限流邏輯。

然後去調用我們自己開發的降級組件（降級），比如設置的一些默認值呀之類的。以此來保護最後的 MySQL 不會被大量的請求給打死。

Ⅷ 《雪崩》epub下載在線閱讀，求百度網盤雲資源

《雪崩》（[美] 尼爾·斯蒂芬森）電子書網盤下載免費在線閱讀

資源鏈接：

鏈接：https://pan..com/s/1B0AFf5XovrmXGIDhkEc8ag

提取碼：lkze

書名：雪崩

作者：[美] 尼爾·斯蒂芬森

譯者：郭澤

豆瓣評分：8.1

出版社：四川科學技術出版社

出版年份：2018-7

頁數：588

內容簡介：

中央情報局成了中央情報公司，國會圖書館成了中央情報公司資料庫；至於國會，沒幾個人知道它是什麼玩意兒。美國的大地上到處是特許邦國，也就是特許經營組織准國家實體，一種類似麥當勞連鎖店的機構。

美國政府呢？這個東西僅僅存在於不多的幾處聯邦建築里，由聯邦特工持槍把守，隨時准備抵抗來自街頭的襲擊。

這就是未來的美國，一個車水馬龍與頹廢荒涼並存、尖端科技與野蠻低俗混雜之地。

但在這片喧囂混亂之上，還存在著另一個無比廣闊、無比自由的國度：賽博空間，由電腦和網路構成的虛擬空間。

在現實生活中，本書主人公只是個微不足道的披薩速遞員，但在虛擬空間中，他是首屈一指的黑客、擅使雙刀的高手。這樣的人擁有毀滅世界的力量 —— 也可以拯救這個世界……

作者簡介：

［美］尼爾•斯蒂芬森

美國著名幻想文學作家，其作品包括科幻小說、歷史小說和高科技驚險小說，題材涉及數學、哲學、宗教、金融、密碼破譯和科技史等多個學科領域。

出版於1992年的《雪崩》是斯蒂芬森重要的科幻作品之一，標志著他創作風格的成熟，面世後引發洶涌的賽博朋克閱讀風潮。此後，他的作家生涯進入黃金期，幾乎每四年便推出一部膾炙人口的大作。其中，1995年的《鑽石時代》獲得雨果獎；1999年的《編碼寶典》及此後的「巴洛克」三部曲以破譯數據密碼為中心線索，結合歷史小說和科技驚險小說的元素，戲劇性地重述了科技發展史，大受讀者好評。其後，斯蒂芬森推出的《飛越修道院》和《七族》都成功入圍雨果獎決選。