redis分頁緩存
❶ 基於redis做緩存分頁
在實際業務中我們會將一些熱數據緩存到redis裡面,這時候數據量比較大的話,我們就要對這些熱數據進行分頁,分頁的方式有2種:
第一:從redis拿出所有數據後,再做內存分頁(不推薦),熱點數據小的時候可以這樣做,性能相差不是很大,但是當數據量大的時候,分頁期間就會佔用大量內存,或撐爆;
第二:基於redis的數據結構做緩存分頁,這里又分2種
①:基於redis的list數據結構,直接通過list的數據結構,用range方法可以進行分頁,在數據量大的時候,性能也很可觀,但是當存在介面高並發訪問時,這個list可能會無限延長,且裡面的數據會存在很多重復,這就會影響到正常的業務(不是很推薦);
②:基於redis的ZSet數據結構,通過Zset這個有序集合我們也可以做分頁,同樣也是用range方法,但是這里比較麻煩的是在初始化數據的時候Zset必須存放TypedTuple類型的數據,這個類型是一個value和score的鍵值對,具體可以查網路,這個score的生成比較麻煩我這邊測試時用的是當前數據在這個list的位置,然後Zset是根據這個score值來排序的,默認是從小到大;用這個的好處是,即使在高並發情況下Zset中也不會存在重復數據從而影響正常的業務;而且分頁效率也和list結構差不多;
③:用hash和Zset來一起實現;這個是問了一個朋友和得知的,Zset中存儲有序的id欄位,通過分頁後拿到id,然後再用id去hash中取,感覺應該效率相差不大的,只是中間多了層從hash結構取,還需要維護又一個hash;(為何這樣做我也不清楚);
貼一張我測試list和ZSet的結果圖
❷ 如何將分頁數據 放入redis
普通分頁
一般分頁做緩存都是直接查找出來,按頁放到緩存里,但是這種緩存方式有很多缺點。
如緩存不能及時更新,一旦數據有變化,所有的之前的分頁緩存都失效了。
比如像微博這樣的場景,微博下面現在有一個頂次數的排序。這個用傳統的分頁方式很難應對。
一種思路
最近想到了另一種思路。
數據以ID為key緩存到Redis里;
把數據ID和排序打分存到Redis的skip list,即zset里;
當查找數據時,先從Redis里的skip list取出對應的分頁數據,得到ID列表。
用multi get從redis上一次性把ID列表裡的所有數據都取出來。如果有缺少某些ID的數據,再從資料庫里查找,再一塊返回給用戶,並把查出來的數據按ID緩存到Redis里。
在最後一步,可以有一些小技巧:
比如在缺少一些ID數據的情況下,先直接返回給用戶,然後前端再用ajax請求缺少的ID的數據,再動態刷新。
還有一些可能用Lua腳本合並操作的優化,不過考慮到Lua腳本比較慢,可能要仔細測試。
如果是利用Lua腳本的話,可以在一個請求里完成下面的操作:
查找某頁的所有文章,返回已緩存的文章的ID及內容,還有不在緩存里的文章的ID列表。
其它的一些東東:
Lua是支持LRU模式的,即像Memcached一樣工作。但是貌似沒有見到有人這樣用,很是奇怪。
可能是用redis早就准備好把redis做存儲了,也不擔心內存的容量問題。