redis刷新緩存

A. Docker NextCloud Redis緩存配置

轉自我的博客：https://sleele.com/2019/04/19/docker-nextcloud-redis緩則悄存配置/

前言

nextcloud這個東西真的是挺慢的，文件一多等刷新都要等很久，孫衡渣如果配置了Redis做緩存就會快不少

搭建過程我就不再贅述了，可以參照我上篇博文

https://sleele.com/2019/03/03/linux-qbittorrent和nextcloud安裝筆記/

部署redis

docker run --name redis -d redis

查看docker容器IP

docker inspect --format='{{.Name}} - {{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' $(docker ps -aq)

之後修改nextcloud的配置文件

首先到本地

docker cp nextcloud:/var/www/html/config/config.php /tmp/

vi /tmp/config.php

添加如下內容

找准位置在攔早【'memcache.local' => '\OC\Memcache\APCu',】 這行後面添加

host那行換成你的redis地址

'memcache.locking' => '\OC\Memcache\Redis',

'redis' => array(

    'host' => '172.17.0.5',

    'port' => 6379,

      ),

再回去，注意直接回去會導致nextcloud報錯，需要修改許可權

docker cp config.php nextcloud:/var/www/html/config/

docker exec -it nextcloud bash

cd /var/www/html/config/

chmod 777 config.php

重啟nextcloud，教程結束

docker restart nextcloud

B. Redis緩存過期機制

一、針對與設置了過期時間的key值

    1.（主動）定期刪除：定時隨機的檢查過期的key，如果過期則清理刪除

        redis.conf(每秒檢查的次數1-500)配置:   hz 10

    2.（被動）惰性刪除：當客戶端請求到一個已經過期的key時，redis會檢查是否過期並刪除

所以，雖然key過期了，但是沒被清理的話，還是會占內存的。

二、內存淘汰管理機制Memory Management

    當內存占滿之後，redis提供緩存淘汰機制。

    redis.conf: maxmemory <bytes>

* noeviction：舊緩存永不過期，新緩存設置不了，返回錯誤 

* allkeys-lru：清除最少用的舊緩存，然後保存新的緩存（推薦使用）

* allkeys-random：在所有的緩存中隨機刪除（不推薦）

* volatile-lru：在那些設置了expire過期時間的緩存中，清除最少用的舊緩存，然後保存新的緩存

* volatile-random：在那些設置了expire過期時間的緩存中，隨機刪除緩存

* volatile-ttl：在那些設置了expire過期時間的緩存中，刪除即將過期的

C. Redis分布式緩存搭建

花了兩天時間整理了之前記錄的Redis單體與哨兵模式的搭建與使用，又補齊了集群模式的使用和搭建經驗，並對集群的一些個原理做了理解。

筆者安裝中遇到的一些問題：

如果make報錯，可能是沒裝gcc或者gcc++編輯器，安裝之 yum -y install gcc gcc-c++ kernel-devel ，有可能還是提示一些個c文件編譯不過，gcc -v查看下版本，如果不到5.3那麼升級一下gcc：

在 /etc/profile 追加一行 source /opt/rh/devtoolset-9/enable

scl enable devtoolset-9 bash

重新make clean, make

這回編譯通過了，提示讓你最好make test一下/

執行make test ，如果提示 You need tcl 8.5 or newer in order to run the Redis test

那就升級tcl， yum install tcl

重新make test，如果還有error就刪了目錄，重新tar包解壓重新make , make test

o/ All tests passed without errors! ，表示編譯成功。

然後make install即可。

直接運行命令： ./redis-server /usr/redis-6.0.3/redis.conf &

redis.conf 配置文件里 bind 0.0.0.0 設置外部訪問， requirepass xxxx 設置密碼。

redis高可用方案有兩種：

常用搭建方案為1主1從或1主2從+3哨兵監控主節點， 以及3主3從6節點集群。

（1）sentinel哨兵

/usr/redis-6.0.3/src/redis-sentinel /usr/redis-6.0.3/sentinel2.conf &

sentinel2.conf配置：

坑1：master節點也會在故障轉移後成為從節點，也需要配置masterauth

當kill master進程之後，經過sentinel選舉，slave成為了新的master，再次啟動原master，提示如下錯誤：

原因是此時的master再次啟動已經是slave了，需要向現在的新master輸入密碼，所以需要在master.conf
中配置：

坑2：哨兵配置文件要暴露客戶端可以訪問到的master地址

在 sentinel.conf 配置文件的 sentinel monitor mymaster 122.xx.xxx.xxx 6379 2 中，配置該哨兵對應的master名字、master地址和埠，以及達到多少個哨兵選舉通過認為master掛掉。其中master地址要站在redis訪問者（也就是客戶端）的角度、配置訪問者能訪問的地址，例如sentinel與master在一台伺服器（122.xx.xxx.xxx）上，那麼相對sentinel其master在本機也就是127.0.0.1上，這樣 sentinel monitor mymaster 127.0.0.1 6379 2 邏輯上沒有問題，但是如果另外伺服器上的springboot通過lettuce訪問這個redis哨兵，則得到的master地址為127.0.0.1，也就是springboot所在伺服器本機，這顯然就有問題了。

附springboot2.1 redis哨兵配置：

坑3：要注意配置文件.conf會被哨兵修改

redis-cli -h localhost -p 26379 ，可以登到sentinel上用info命令查看一下哨兵的信息。

曾經遇到過這樣一個問題，大致的信息如下

slaves莫名其妙多了一個，master的地址也明明改了真實對外的地址，這里又變成127.0.0.1 !
最後，把5個redis進程都停掉，逐個檢查配置文件，發現redis的配置文件在主從哨兵模式會被修改，master的配置文件最後邊莫名其妙多了一行replicaof 127.0.0.1 7001， 懷疑應該是之前配置錯誤的時候（見坑2）被哨兵動態加上去的！ 總之，實踐中一定要多注意配置文件的變化。

（2）集群

當數據量大到一定程度，比如幾十上百G，哨兵模式不夠用了需要做水平拆分，早些年是使用codis，twemproxy這些第三方中間件來做分片的，即 客戶端 -> 中間件 -> Redis server 這樣的模式，中間件使用一致性Hash演算法來確定key在哪個分片上。後來Redis官方提供了方案，大家就都採用官方的Redis Cluster方案了。

Redis Cluster從邏輯上分16384個hash slot，分片演算法是 CRC16(key) mod 16384 得到key應該對應哪個slot，據此判斷這個slot屬於哪個節點。

每個節點可以設置1或多個從節點，常用的是3主節點3從節點的方案。

reshard，重新分片，可以指定從哪幾個節點移動一些hash槽到另一個節點去。重新分片的過程對客戶端透明，不影響線上業務。

搭建Redis cluster

redis.conf文件關鍵的幾個配置：

啟動6個集群節點

[root@VM_0_11_centos redis-6.0.3]# ps -ef|grep redis
root 5508 1 0 21:25 ? 00:00:00 /usr/redis-6.0.3/src/redis-server 0.0.0.0:7001 [cluster]
root 6903 1 0 21:32 ? 00:00:00 /usr/redis-6.0.3/src/redis-server 0.0.0.0:7002 [cluster]
root 6939 1 0 21:33 ? 00:00:00 /usr/redis-6.0.3/src/redis-server 0.0.0.0:7003 [cluster]
root 6966 1 0 21:33 ? 00:00:00 /usr/redis-6.0.3/src/redis-server 0.0.0.0:7004 [cluster]
root 6993 1 0 21:33 ? 00:00:00 /usr/redis-6.0.3/src/redis-server 0.0.0.0:7005 [cluster]
root 7015 1 0 21:33 ? 00:00:00 /usr/redis-6.0.3/src/redis-server 0.0.0.0:7006 [cluster]

這時候這6個節點還是獨立的，要把他們配置成集群：

說明： -a xxxx 是因為筆者在redis.conf中配置了requirepass xxxx密碼，然後 --cluster-replicas 1 中的1表示每個master節點有1個從節點。

上述命令執行完以後會有一個詢問： Can I set the above configuration? yes同意自動做好的分片即可。

最後 All 16384 slots covered. 表示集群中16384個slot中的每一個都有至少有1個master節點在處理，集群啟動成功。

查看集群狀態：

坑1：暴露給客戶端的節點地址不對

使用lettuce連接發現連不上，查看日誌 Connection refused: no further information: /127.0.0.1:7002 ，跟之前哨兵配置文件sentinel.conf里邊配置master地址犯的錯誤一樣，集群啟動的時候帶的地址應該是提供給客戶端訪問的地址。

我們要重建集群：先把6個redis進程停掉，然後刪除 nodes-7001.conf 這些節點配置文件，刪除持久化文件 mp.rdb 、 appendonly.aof ，重新啟動6個進程，在重新建立集群：

然後，還是連不上，這次報錯 connection timed out: /172.xx.0.xx:7004 ，發現連到企鵝雲伺服器的內網地址上了！

解決辦法，修改每個節點的redis.conf配置文件，找到如下說明：

所以增加配置：

然後再重新構建集群，停進程、改配置、刪除節點文件和持久化文件、啟動進程、配置集群。。。再來一套（累死了）

重新使用Lettuce測試，這次終於連上了！

坑2：Lettuce客戶端在master節點故障時沒有自動切換到從節點

name這個key在7002上，kill這個進程模擬master下線，然後Lettuce一直重連。我們期望的是應該能自動切換到其slave 7006上去，如下圖：

重新啟動7002進程，

7006已成為新master，7002成為它的slave，然後Lettuce也能連接上了。
解決辦法，修改Lettuce的配置：

筆者用的是springboot 2.1 spring-boot-starter-data-redis 默認的Lettuce客戶端，當使用Redis cluster集群模式時，需要配置一下 RedisConnectionFactory 開啟自適應刷新來做故障轉移時的自動切換從節點進行連接。

重新測試：停掉master 7006，這次Lettuce可以正常切換連到7002slave上去了。（仍然會不斷的在日誌里報連接錯誤，因為需要一直嘗試重連7006，但因為有7002從節點頂上了、所以應用是可以正常使用的）

Redis不保證數據的強一致性

Redis並不保證數據的強一致性，也就是取CAP定理中的AP

關於一致性Hash演算法，可以參考 一致性Hash演算法 - (jianshu.com)

Redis cluster使用的是hash slot演算法，跟一致性Hash演算法不太一樣，固定16384個hash槽，然後計算key落在哪個slot里邊（計算key的CRC16值再對16384取模），key找的是slot而不是節點，而slot與節點的對應關系可以通過reshard改變並通過gossip協議擴散到集群中的每一個節點、進而可以為客戶端獲知，這樣key的節點定址就跟具體的節點個數沒關系了。也同樣解決了普通hash取模演算法當節點個數發生變化時，大量key對應的定址都發生改動導致緩存失效的問題。

比如集群增加了1個節點，這時候如果不做任何操作，那麼新增加的這個節點上是沒有slot的，所有slot都在原來的節點上且對應關系不變、所以沒有因為節點個數變動而緩存失效，當reshard一部分slot到新節點後，客戶端獲取到新遷移的這部分slot與新節點的對應關系、定址到新節點，而沒遷移的slot仍然定址到原來的節點。

關於熱遷移，猜想，內部應該是先做復制遷移，等遷移完了，再切換slot與節點的對應關系，復制沒有完成之前仍按照原來的slot與節點對應關系去原節點訪問。復制結束之後，再刪除原節點上已經遷移的slot所對應的key。

與哨兵模式比較類似，當1個節點發現某個master節點故障了、會對這個故障節點進行pfail主觀宕機，然後會通過gossip協議通知到集群中的其他節點、其他節點也執行判斷pfail並gossip擴散廣播這一過程，當超過半數節點pfail時那麼故障節點就是fail客觀宕機。接下來所有的master節點會在故障節點的從節點中選出一個新的主節點，此時所有的master節點中超過半數的都投票選舉了故障節點的某個從節點，那麼這個從節點當選新的master節點。

所有節點都持有元數據，節點之間通過gossip這種二進制協議進行通信、發送自己的元數據信息給其他節點、故障檢測、集群配置更新、故障轉移授權等等。

這種去中心化的分布式節點之間內部協調，包括故障識別、故障轉移、選主等等，核心在於gossip擴散協議，能夠支撐這樣的廣播協議在於所有的節點都持有一份完整的集群元數據，即所有的節點都知悉當前集群全局的情況。

Redis高可用方案 - (jianshu.com)

面試題:Redis 集群模式的工作原理能說一下么 - 雲+社區 - 騰訊雲 (tencent.com)

深度圖解Redis Cluster原理 - detectiveHLH - 博客園 (cnblogs.com)

Redis學習筆記之集群重啟和遇到的坑-阿里雲開發者社區 (aliyun.com)

雲伺服器Redis集群部署及客戶端通過公網IP連接問題

D. 項目中redis多久刷新

1秒。Redis是最受歡迎的Nosql資料庫之一，Redis是一個使用ANSIC編寫的開源、包含卜戚多種數據結構、支持網路、基於內存、可選持久性的鍵值型皮陵對存儲資料庫。項目中redis每隔一秒刷新一次。Redis是完全開握緩源的，遵守BSD協議，是一個高性能的 key-value資料庫。

E. 請問redis緩存刪除後會不會影響網站的訪問，會重新生成緩存嗎

當從 Redis 緩存中刪除某個鍵時，該鍵對應的數據將不再存在於緩存中，因此在接下來的訪問中如果需要該數據，則需要重新生成緩存。
具體影響取決於您的網站如何處理緩存丟失的情況。如果您的網站在嘗試從緩存中獲取數據時，發現該數據不存在，則可能需要從資料庫中重新查詢數據並將其存儲到 Redis 緩存中。這可能會增加一些延遲，但不會導致網站崩潰歲磨。
如果您的網站在緩存丟失時無法正常工作，則可能需要進行修復，例如乎擾斗李祥實現一些容錯機制，如使用備份緩存伺服器或在緩存丟失時使用其他方式獲取數據。

F. redis做mysql的緩存

redis緩存其實就是把經常訪問的數據放到redis裡面，用戶查詢的時候先去redis查詢，沒有查到就執行sql語句查詢，同時把數據同步到redis裡面。redis只做讀操作，在內存中查詢速度快。

使用redis做緩存必須解決兩個問題，首先就是確定用何種數據結構存儲來自mysql的數據；確定數據結構之後就是需要確定用什麼標識來作為數據的key。
mysql是按照表存儲數據的，這些表是由若干行組成。每一次執行select查詢，mysql都會返回一個結果集，這個結果是由若干行組成的。redis有五種數據結構：列表list，哈希hash，字元串string，集合set，sorted set(有序集合)，對比幾種數據結構，string和hash是比較適合存儲行的數據結構，可以把數據轉成json字元串存入redis。

全量遍歷鍵： keys pattern keys *
有人說 KEYS 相當於關系性數據的庫的 select * ，在生產環境幾乎是要禁用的

不管上面說的對不對， keys 肯定是有風險的。那我們就換一種方案，在存數據的時候。把數據的鍵存一下，也存到redis裡面選hash類型，那麼取的時候就可以直接通過這個hash獲取所有的值，自我感覺非常好用！

G. redis緩存穿透，頻繁查詢db，怎麼解決

首先要明白redis資料庫

redis內存資料庫, 所數據基本都存於內存, 定追加或者快照式刷新硬碟.
由於redis內存資料庫, 所讀取寫入速度非快, 所經用做數據, 頁面等緩存

H. SpringBoot進階之緩存中間件Redis

大家好，一直以來我都本著 用最通俗的話理解核心的知識點， 我認為所有的難點都離不開 「基礎知識」 的鋪墊

「大佬可以繞過 ~」

本節給大家講講 「java的SpringBoot框架」 , 之前我們學習的都是java的基礎知識和底層提供的一些能力，我們日常工作都是在寫介面。在我們在產品開發中，一般我們都會選擇比較穩定的框架來幫我們加速開發，不會自己去造輪子，而在java眾多框架中，spring框架表現的非常好，大部分公司都會首選它作為開發框架，而至今，大部分企業都是以 springboot 來構建項目了,一個穩健的系統需要引入穩定的技術~

如果你是一路看過來的，很高興你能夠耐心看完。前幾期都是帶大家學習了 SpringBoot 的基礎使用以及集成 mybatis 開發，這也是我們寫業務的基礎，如果你還不熟悉這些，請先看完它們。接下來的幾期內容將會帶大家進階使用，會先講解基礎 中間件 的使用和一些場景的應用，或許這些技術你聽說過，沒看過也沒關系，我會帶大家一步一步的入門，耐心看完你一定會有 收獲 ,本期將會給大家講解最熱門的緩存中間件技術 Redis ,同樣的，我們集成到 Springboot 中。最近github可能會被牆，所以我把源碼放到了國內gitee上,本節我們依然使用上期的代碼

Redis 是由義大利人Salvatore Sanfilippo（網名：antirez）開發的一款內存高速緩存資料庫。全稱叫 Remote Dictionary Server（遠程數據服務） 是由 C語言 編寫的，Redis是一個 key-value 存儲系統，它支持豐富的數據類型，如： string、list、set、zset(sorted set)、hash 。

它本質上是一種鍵值對資料庫，我們之前學習的 mysql 它是持久層的關系型資料庫,而 redis 它的存儲主要存在 內存 中。我們都知道在 內存 中的數據讀取是非常快的，就好比你把一個變數存到磁碟讀取和直接放到代碼中運行，肯定是在代碼中拿到的速度快，因為運行時期，都是直接存到內存的。

給大家總結一下：

有了基本的概念之後，我們下面進行環境搭建,在學習階段，安裝 redis 很簡單,生產環境一般我們也會選擇雲產品，一切為了服務保障,雖說它只是做緩存用，但也是系統的一把 保護傘

如果你是 mac 用戶，你可以運行如下命令:

安裝完成後會提示你運行命令，運行即可。

win 用戶也很簡單，直接下載 redis 軟體，雙擊運行即可，運行之後它會有一個小方塊的圖案，和 locahost:6379 的log,說明運行成功了。初始階段沒有配置的 redis 默認 host 就是本地, port 就是 6379 , 而且是 沒有密碼 就可以訪問的。

推薦一個客戶端軟體 Redis Desktop Manager ，它是 redis 的客戶端界面軟體,方便麵我們學習的時候 清理緩存 使用,生產慎連。

我們不給大家講它的基本命令使用，它也有語法，可以通過類似命令執行,如果想學習的小夥伴，可以自行搜索。本期重點內容是在 sprinboot 中的使用,我們平時開發不可能是去命令行里敲的，都是代碼里執行，而目前市面上有很多封裝好的庫，我們可以直接調用它的方法，很方便的就可以操作它了，不用記一些繁瑣的命令,下面我們就實際操作一下:

修改 pom.xml

修改 application.yml :

redis 默認是有 16 個庫,不是 15 個啊，從 0 開始算的,我們隨便連一個

通過代碼很好理解, 首先需要引入 StringRedisTemplate ,然後需要設置一個 key ,那麼思考一下，這個 key 允許重復嗎

我們進客戶端看一下，發現 key 還是只有一個,但是值變成了新的值了，所以可以得知 key 是唯一的，我們重新設置的時候相當於刷新了它。

在 redis 中刪除緩存有兩種方式，一種是自我消亡，也就是 過期 銷毀,還有有一種是 主動 銷毀，我們先看一下，過期時間如何設置

我們設置了 10s 後過期,過完10s後發現，這個```key data``消失了。我們在看看如何主動刪除

我們可以利用 Redis 做一個計數器，實現自增功能,你可以用它做網站訪問統計

通常做法，我們會把它封裝一下，後續使用直接引入封裝好的即可，把它直接交給 Springboot容器 管理

其實這個類，你還可以繼續進一步封裝，比如約束 key 的規范，約束過期時間，約束數據類型等等，這一切也都是為了規范和後期維護，防止濫用緩存

緩存的主要場景是用於解決熱點數據問題，因為這些數據是訪問頻率比較高的，當大量的請求進來, mysql 可能壓力很大，這樣一來，數據查詢效率就很慢，用戶肯不高興等了，這樣用戶體驗很不好。所以我們一般做法，都是把這些熱點數據放到緩存里，因為緩存讀取速度很快。當有新數據的時候，我們再及時更新它，一般流程是先查詢緩存，查到了直接返回緩存數據，查不到再走資料庫，然後再刷回緩存。

但是並發足夠大的時候，還是會暴露出很多問題，比如面試常問的一些高頻問題 緩存雪崩、緩存穿透、緩存雪崩 ,這些問題後邊會給大家專門講，和如何去防範。所以總的來說，引入任何一門技術並不是萬事大吉，還需我們不斷的在實踐中積累經驗

本期到這里就結束了，總結一下，我們了解了什麼是 redis ，以及在 springboot 中如何去使用它們，很簡單，沒什麼復雜的東西。但這里想多說一點的是，緩存的設計卻是很復雜的，因為工具是死的，人是活的，我們如何正確設計，需要我們在項目中不斷的積累。

我們之前教大家查詢列表數據，都是所有數據返回，還沒有教大家如何去做分頁，下期將帶大家學習一下 mybatis 分頁插件的使用 ，下期不見不散, 關注我，不迷路~

I. redis緩存中的數據怎麼更新

偽代碼如下，思路也清晰。
讀寫部分
if(redis){
讀取redis數據
}else{
資料庫讀取，存redis+設置超時時間
}

更新部分
if(資料庫update){
更新redis+設置超時時間
}

J. 怎麼清理redis緩存

如果redis沒有設置持久化的話，可以重啟redis服務來清理配置的緩存。