2000條數據分頁緩存

⑴ 如何將分頁數據 放入redis

普通分頁
一般分頁做緩存都是直接查找出來，按頁放到緩存里，但是這種緩存方式有很多缺點。
如緩存不能及時更新，一旦數據有變化，所有的之前的分頁緩存都失效了。
比如像微博這樣的場景，微博下面現在有一個頂次數的排序。這個用傳統的分頁方式很難應對。
一種思路
最近想到了另一種思路。
數據以ID為key緩存到Redis里；
把數據ID和排序打分存到Redis的skip list，即zset里；
當查找數據時，先從Redis里的skip list取出對應的分頁數據，得到ID列表。
用multi get從redis上一次性把ID列表裡的所有數據都取出來。如果有缺少某些ID的數據，再從資料庫里查找，再一塊返回給用戶，並把查出來的數據按ID緩存到Redis里。
在最後一步，可以有一些小技巧：
比如在缺少一些ID數據的情況下，先直接返回給用戶，然後前端再用ajax請求缺少的ID的數據，再動態刷新。

還有一些可能用Lua腳本合並操作的優化，不過考慮到Lua腳本比較慢，可能要仔細測試。
如果是利用Lua腳本的話，可以在一個請求里完成下面的操作：
查找某頁的所有文章，返回已緩存的文章的ID及內容，還有不在緩存里的文章的ID列表。
其它的一些東東：
Lua是支持LRU模式的，即像Memcached一樣工作。但是貌似沒有見到有人這樣用，很是奇怪。
可能是用redis早就准備好把redis做存儲了，也不擔心內存的容量問題。

⑵ redis 怎麼緩存用戶列表，做到可以分頁展示

redis是類似key_value形式的快速緩存服務。類型較豐富，可以保存對象、列表等，支持的操作也很豐富，屬於內存資料庫，且可以把內存中的數據及時或定時的寫入到磁碟。可設置過期自動刪除，速度快，易於使用。

⑶ 緩存分頁合適嗎

一種是使用本地緩存、另一種是分級緩存。這里談一談原設計的缺陷，分級緩存中我提出來通過確定兩個不同size的緩存塊來緩存兩種級別的數據，這里帶來一些問題：size的大小難以確定、為了避免邊界問題大緩存數據包含了小緩存數據這就帶來了緩存數據的冗餘（這背離了我們設計的初衷）。針對這些問題我們又在原有基礎上結合了應用場景的特殊性修改分級緩存為分頁緩存（因為對數據列表的訪問往往都是伴隨分頁需求的），將資料庫中原始數據中較常使用部分按照固定大小的頁進行緩存，服務端根據客戶端分頁的數據請求到相應的緩存頁內查找數據進行填充。採用分頁緩存一方面解決了緩存數據冗餘的問題，也不用關注分級的邊界，雖然相比分級緩存，分頁的內容要零散一些，但是總體上而言靈活性要更高。這里談談為什麼採用固定大小頁進行緩存而不是按照客戶端分頁請求來緩存結果？如果服務端根據客戶端分頁請求進行緩存這種耦合關系會導致緩存命中率的下、降性能降低，特別是多類型客戶端就更糟糕了。按照固定大小頁進行緩存類似與MVC模式中將處理邏輯與顯示邏輯解耦的思想，服務端的緩存不要依賴客戶端，一方面提高了緩存命中率同時也為緩存清理提供了遍歷。 下面是我使用IL動態生成的一個Demo反編譯後的代碼（這里針對了同時啟用本地緩存和分頁緩存的情況，還支持分頁緩存無本地緩存、僅進行memcache緩存，這里就不加贅述了），可讀性不高不想看直接pass吧。 C#代碼 public override ListObject GetList(int num5, int num6, int num1, int num4) { ListObject local; int num = num1; int num2 = num4; int num3 = ((num1 - 1) * num4) % 100; num1 = (((num1 - 1) * num4) / 100) + 1;//計算緩存頁對應的頁碼和頁大小 num4 = 100; if (num1 > 10)//不在緩存頁內直接進行資料庫查詢 { return base.GetList(num5, num6, num, num2); } ListObject obj3 = new ListObject(); do { string str = string.Concat(new object[] { "DemoCachekeyName", "|", num5, "|", num6, "|", num1, "|", num4 });//根據客戶端分頁請求計算出對應的cachekey local = CacheManager.get_Instance().GetLocal(str) as ListObject;//LocalCache的訪問 if (local == null) { DateTime time; local = CacheManager.get_Instance().Get(str) as ListObject;//訪問memcache if (local == null) { local = base.GetList(num5, num6, num1, num4); if (local != null) { time = DateTime.Now.AddSeconds(3600.0); CacheManager.get_Instance().Set(str, local, time); } } if (local != null) { time = DateTime.Now.AddSeconds(100.0); CacheManager.get_Instance().SetLocal(str, local, time); } } num1++; } while (((num1 (obj3, num2, num3, local));//填充結果集 if (obj3.totalCount == 0) { return null; } return obj3; } public override ListObject GetList(int num5, int num6, int num1, int num4){ ListObject local; int num = num1; int num2 = num4; int num3 = ((num1 - 1) * num4) % 100; num1 = (((num1 - 1) * num4) / 100) + 1;//計算緩存頁對應的頁碼和頁大小 num4 = 100; if (num1 > 10)//不在緩存頁內直接進行資料庫查詢 { return base.GetList(num5, num6, num, num2); } ListObject obj3 = new ListObject(); do { string str = string.Concat(new object[] { "DemoCachekeyName", "|", num5, "|", num6, "|", num1, "|", num4 });//根據客戶端分頁請求計算出對應的cachekey local = CacheManager.get_Instance().GetLocal(str) as ListObject;//LocalCache的訪問 if (local == null) { DateTime time; local = CacheManager.get_Instance().Get(str) as ListObject;//訪問memcache if (local == null) { local = base.GetList(num5, num6, num1, num4); if (local != null) { time = DateTime.Now.AddSeconds(3600.0); CacheManager.get_Instance().Set(str, local, time); } } if (local != null) { time = DateTime.Now.AddSeconds(100.0); CacheManager.get_Instance().SetLocal(str, local, time); } } num1++; } while (((num1 (obj3, num2, num3, local));//填充結果集 if (obj3.totalCount == 0) { return null; } return obj3;}（下次再完善這里的IL代碼的流程圖，一直想在緩存結果中再織入進一些過濾操作思前想後沒想到如何在不污染原有介面的前提下實現，正在努力中...） PS：關於IL代碼編寫：IL代碼因為是一種中間代碼可讀性不是很高，所以進行IL編碼其實還是有一點難度的（學習IL編碼可以參看《IL Emit學習之旅》一問）。我簡單談談我在編寫IL代碼中遇到的一些小問題和自己總結的一些技巧。 1.先編寫c#代碼的demo，再參照其IL指令，先完成代碼框架，在進一步編碼。在IL編碼前可以先寫一個目標生成的動態代碼，再通過參照其IL代碼進編碼，先用IL寫出的主體邏輯（即if else、for、while等），再進一步完善。這樣逐步編碼查錯和編碼效率都相對高一點。 2.什麼時候用「_S」，IL代碼中為了縮減指令長度對於某些同一操作提供了兩種指令實現，比如無條件跳轉有Br、Br_S，有時候使用Br_S跳轉目標地址會被截斷導致程序出錯。我個人覺得可以先在可能出現這類情況的地方使用不帶「_S」的指令，待動態代碼生成後查看其IL代碼，再對指令進行優化。 關於泛型函數的反射： IL代碼中常常需要調用函數，這就需要使用到反射（第一次生成動態代碼時的反射對整體的性能影響還是可以接受的）。泛型函數的反射還是稍稍有些繞的： C#代碼 //目標函數public static bool FillResult(...) MethodInfo fillResult= typeof(PageFormatUtil).GetMethod("FillResult"); fillResult=fillResult.MakeGenericMethod(info.ReturnParameter.ParameterType.GetGenericArguments()[0]);//info.ReturnParameter.ParameterType.GetGenericArguments()獲取函數返回結果中泛型參數的信息，MakeGenericMethod之後才是真正完成了泛型函數的反射 //目標函數public static bool FillResult(...)MethodInfo fillResult= typeof(PageFormatUtil).GetMethod("FillResult");fillResult=fillResult.MakeGenericMethod(info.ReturnParameter.ParameterType.GetGenericArguments()[0]);//info.ReturnParameter.ParameterType.GetGenericArguments()獲取函數返回結果中泛型參數的信息，MakeGenericMethod之後才是真正完成了泛型函數的反射C#代碼 //public class ListObject{...} reflectType=typeof(ListObject).MakeGenericType(info.ReturnParameter.ParameterType.GetGenericArguments()[0]); reflectConstruct=reflectType.GetConstructor(new Type[]{}); //public class ListObject{...}reflectType=typeof(ListObject).MakeGenericType(info.ReturnParameter.ParameterType.GetGenericArguments()[0]);reflectConstruct=reflectType.GetConstructor(new Type[]{});緩存分頁合適嗎