緩存冷數據

A. sql 什麼是冷數據

冷數據是較長時間之前的狀態數據，即用戶畫像數據；
溫數據是非即時的狀態和行為數據；
熱數據指即時的位置狀態、交易和瀏覽行為。

B. 互聯網大數據，需要什麼樣的冷數據存儲

互聯網大數據，冷數據存儲佔到總數據的80%左右。而這些冷數據同樣重要，許多大數據分析都要基於冷數據來進行，而且許多數據要求保存的時間非常長，例如銀行、社保等數據，一般都要保存70~100年的時間。傳統的觀點認為「硬碟存儲不論使用和閑置，都會消耗能量」，因此多採用磁帶或者光碟來保存冷存儲數據。但是，磁帶訪問慢，光碟容量小，操作復雜，很難滿足大數據時代數據實時在線、快速訪問的需求。而實際上，隨著疊瓦式磁記錄等硬碟技術的發展，硬碟容量原來越大，能耗越來越低，為此，瑞馳信息技術研發了一套基於硬碟的大數據智能冷存儲系統.

C. 如何解決高並發場景下，緩存冷啟動導致mysql負載過高，甚至瞬間被打死的問題

由於mysql是一個連接給一個線程，當並發高的時候，每秒需要幾百個甚至更多的線程，其中創建和銷毀線程還好說，大不了多耗費點內存，線程緩存命中率下降還有創建銷毀線程的性能增加問題---這個問題不是特別大，重點是mysql底層瞬間處理這幾百個線程提交的sql（有時候一個頁面會有10多條sql，cpu一次只能處理一條sql）會導致cpu的上下文切換，性能抖動，然後性能下降。

D. 什麼是冷數據存儲，為什麼存儲系統需要做到冷熱數據分離

規則字是低位地址為奇數，否者是非規則字，非規則字讀取需要兩周期，而規則字只需要一個周期，所以要避免非規則字。可以咨詢一下瑞馳他們也在做這一塊。

E. 冷數據存儲和熱存儲有什麼區別

冷數據存儲系統是面向海量數據歸檔應用推出的一款大容量低功耗解決方案，前端採用高性能ARM存儲 NxStor，提供高效處理、快速響應能力；後端採用高密度微集群NxCells，提供海量存儲空間；基於全ARM架構，整套集 群存儲系統節省一半以上的功耗；並可提供按訪問耗能、自動歸檔、靈活調閱、容量線性擴展等特性。 可以找下瑞馳信息技術咨詢，我們就是找他們做的這塊的解決方案。

F. 群暉選多大的SSD

今夜來談群暉----緩存、NAS和SSD那些事

《群暉NAS非官方入門手冊》是作者Lifeisgood在張大媽首發的寫作計劃，以知識卡片的形式，在每篇教程分享群暉的關鍵技能。2018年至今，已堅持三年。Life君是本站黑群暉配置最高、白群暉閑置最多的NAS小白。從今年八月起，作者Life君在張大媽創建專屬達人專欄----群暉NAS非官方入門手冊。

G. 數據存儲：什麼是冷存儲

眾所周知，隨著科技的發展，在我們生活和工作中產生的數據越來越多。這些數據中有一大部分都屬於冷數據即較長時間之前的狀態數據，其特點是較低的訪問頻率，並且需要最大限度的降低其存儲成本，同時要求隨時可訪問。例如微信和QQ上存儲的大量的圖片信息，社交媒體，智能互聯網時代，大量的社交數據產生，用戶通常查看新發布的圖片、視頻，而對於那些舊的數據，則鮮有人問之。對於照片、視頻等這些非結構化數據通常會佔用大量存儲空間，並且增長速度遠遠超過其他類型的數據。
根據被訪問的頻度不同，數據可以被分為「熱數據、溫數據、冷數據」三種類型。其中，冷數據特指活動不頻繁、不會被經常訪問甚至永遠不會被訪問，但仍然需要長期保留的數據。熱數據受到業務特徵、用戶行為乃至監管政策的影響（例如，醫院的醫學影像文件需要自患者最後一次就診之日起保存不少於15年），經過一段時間的使用後，絕大部分數據都會迅速變「冷」。因此，數據集合中通常有高達80%的部分屬於不常被訪問的冷數據。然而，冷數據並非失去價值，大數據、人工智慧等新興業務對海量冷數據進行檢索和挖掘的需求依然存在而且日益迫切。
金錢貓雲存儲架構下的冷存儲技術產品採用最前沿的AI技術，通過對存儲數據進行智能分析、區分冷熱數據、優化存儲來達到降低存儲系統的整體投資成本及運營成本。據測算可降低伺服器硬碟投資成本50%，節省用電50%。金錢貓雲存儲架構下的冷存儲技術產品是一款節資省電造福於民的產品。金錢貓的服務，走進千家萬戶！

H. 淺談redis和memcached的區別

1.Redis是什麼這個問題的結果影響了我們怎麼用Redis。如果你認為Redis是一個keyvaluestore,那可能會用它來代替MySQL；如果認為它是一個可以持久化的cache,可能只是它保存一些頻繁訪問的臨時數據。Redis是REmoteDIctionaryServer的縮寫，在Redis在官方網站的的副標題是Apersistentkey-valuedatabasewithbuilt-innetinterfacewritteninANSI-CforPosixsystems，這個定義偏向keyvaluestore。還有一些看法則認為Redis是一個memorydatabase，因為它的高性能都是基於內存操作的基礎。另外一些人則認為Redis是一個datastructureserver，因為Redis支持復雜的數據特性，比如List,Set等。對Redis的作用的不同解讀決定了你對Redis的使用方式。互聯網數據目前基本使用兩種方式來存儲，關系資料庫或者keyvalue。但是這些互聯網業務本身並不屬於這兩種數據類型，比如用戶在社會化平台中的關系，它是一個list，如果要用關系資料庫存儲就需要轉換成一種多行記錄的形式，這種形式存在很多冗餘數據，每一行需要存儲一些重復信息。如果用keyvalue存儲則修改和刪除比較麻煩，需要將全部數據讀出再寫入。Redis在內存中設計了各種數據類型，讓業務能夠高速原子的訪問這些數據結構，並且不需要關心持久存儲的問題，從架構上解決了前面兩種存儲需要走一些彎路的問題。2.Redis不可能比Memcache快很多開發者都認為Redis不可能比Memcached快，Memcached完全基於內存，而Redis具有持久化保存特性，即使是非同步的，Redis也不可能比Memcached快。但是測試結果基本是Redis占絕對優勢。一直在思考這個原因，目前想到的原因有這幾方面。Libevent。和Memcached不同，Redis並沒有選擇libevent。Libevent為了迎合通用性造成代碼龐大(目前Redis代碼還不到libevent的1/3)及犧牲了在特定平台的不少性能。Redis用libevent中兩個文件修改實現了自己的epolleventloop(4)。業界不少開發者也建議Redis使用另外一個libevent高性能替代libev，但是作者還是堅持Redis應該小巧並去依賴的思路。一個印象深刻的細節是編譯Redis之前並不需要執行./configure。CAS問題。CAS是Memcached中比較方便的一種防止競爭修改資源的方法。CAS實現需要為每個cachekey設置一個隱藏的castoken，cas相當value版本號，每次set會token需要遞增，因此帶來CPU和內存的雙重開銷，雖然這些開銷很小，但是到單機10G+cache以及QPS上萬之後這些開銷就會給雙方相對帶來一些細微性能差別(5)。3.單台Redis的存放數據必須比物理內存小Redis的數據全部放在內存帶來了高速的性能，但是也帶來一些不合理之處。比如一個中型網站有100萬注冊用戶，如果這些資料要用Redis來存儲，內存的容量必須能夠容納這100萬用戶。但是業務實際情況是100萬用戶只有5萬活躍用戶，1周來訪問過1次的也只有15萬用戶，因此全部100萬用戶的數據都放在內存有不合理之處，RAM需要為冷數據買單。這跟操作系統非常相似，操作系統所有應用訪問的數據都在內存，但是如果物理內存容納不下新的數據，操作系統會智能將部分長期沒有訪問的數據交換到磁碟，為新的應用留出空間。現代操作系統給應用提供的並不是物理內存，而是虛擬內存(VirtualMemory)的概念。基於相同的考慮，Redis2.0也增加了VM特性。讓Redis數據容量突破了物理內存的限制。並實現了數據冷熱分離。4.Redis的VM實現是重復造輪子Redis的VM依照之前的epoll實現思路依舊是自己實現。但是在前面操作系統的介紹提到OS也可以自動幫程序實現冷熱數據分離，Redis只需要OS申請一塊大內存，OS會自動將熱數據放入物理內存，冷數據交換到硬碟，另外一個知名的「理解了現代操作系統(3)」的Varnish就是這樣實現，也取得了非常成功的效果。作者antirez在解釋為什麼要自己實現VM中提到幾個原因(6)。主要OS的VM換入換出是基於Page概念，比如OSVM1個Page是4K,4K中只要還有一個元素即使只有1個位元組被訪問，這個頁也不會被SWAP,換入也同樣道理，讀到一個位元組可能會換入4K無用的內存。而Redis自己實現則可以達到控制換入的粒度。另外訪問操作系統SWAP內存區域時block進程，也是導致Redis要自己實現VM原因之一。5.用get/set方式使用Redis作為一個keyvalue存在，很多開發者自然的使用set/get方式來使用Redis，實際上這並不是最優化的使用方法。尤其在未啟用VM情況下，Redis全部數據需要放入內存，節約內存尤其重要。假如一個key-value單元需要最小佔用512位元組，即使只存一個位元組也佔了512位元組。這時候就有一個設計模式，可以把key復用，幾個key-value放入一個key中，value再作為一個set存入，這樣同樣512位元組就會存放10-100倍的容量。這就是為了節約內存，建議使用hashset而不是set/get的方式來使用Redis，詳細方法見參考文獻(7)。6.使用aof代替snapshotRedis有兩種存儲方式，默認是snapshot方式，實現方法是定時將內存的快照(snapshot)持久化到硬碟，這種方法缺點是持久化之後如果出現crash則會丟失一段數據。因此在完美主義者的推動下作者增加了aof方式。aof即appendonlymode，在寫入內存數據的同時將操作命令保存到日誌文件，在一個並發更改上萬的系統中，命令日誌是一個非常龐大的數據，管理維護成本非常高，恢復重建時間會非常長，這樣導致失去aof高可用性本意。另外更重要的是Redis是一個內存數據結構模型，所有的優勢都是建立在對內存復雜數據結構高效的原子操作上，這樣就看出aof是一個非常不協調的部分。其實aof目的主要是數據可靠性及高可用性，在Redis中有另外一種方法來達到目的：Replication。由於Redis的高性能，復制基本沒有延遲。這樣達到了防止單點故障及實現了高可用。小結要想成功使用一種產品，我們需要深入了解它的特性。Redis性能突出，如果能夠熟練的駕馭，對國內很多大型應用具有很大幫助。

I. 1T藍盤m2-SATA協議硬碟存在冷數據嗎

存在。
西部數據綠盤、藍盤、黑盤，實際上我給出的幾個他們的性能是依次遞增的，綠盤被西部數據稱之為節能靜音盤，絕大多數朋友用來存儲高清電影之類存儲用，藍盤相對說速度比綠盤要快一些，性能適中、穩定性適中，是用戶選擇最多的一種型號，而黑盤代表性能，也就是說三種盤性能最強的是黑盤，通常緩存、單碟容量等等都考慮了速度，缺陷是噪音偏大。

J. Redis和Memcache的區別總結

區別：

1、存儲方式不同

memecache 把數據全部存在內存之中，斷電後會掛掉，數據不能超過內存大小；redis有部份存在硬碟上，這樣能保證數據的持久性，支持數據的持久化（筆者註：有快照和AOF日誌兩種持久化方式，在實際應用的時候，要特別注意配置文件快照參數，要不就很有可能伺服器頻繁滿載做mp）。

2、數據支持類型不同

redis在數據支持上要比memecache多的多。

3、使用底層模型不同

新版本的redis直接自己構建了VM 機制 ，因為一般的系統調用系統函數的話，會浪費一定的時間去移動和請求。

4、運行環境不同

redis目前官方只支持LINUX 上去行，從而省去了對於其它系統的支持，這樣的話可以更好的把精力用於本系統 環境上的優化，雖然後來微軟有一個小組為其寫了補丁。但是沒有放到主幹上。

(10)緩存冷數據擴展閱讀

注意事項

1、 Redis和Memcache都是將數據存放在內存中，都是內存資料庫。不過memcache還可用於緩存其他東西，例如圖片、視頻等等。

2、Redis不僅僅支持簡單的k/v類型的數據，同時還提供list，set，hash等數據結構的存儲。

3、虛擬內存–Redis當物理內存用完時，可以將一些很久沒用到的value 交換到磁碟 。

4、過期策略–memcache在set時就指定，例如set key1 0 0 8,即永不過期。Redis可以通過例如expire 設定，例如expire name 10 。

5、分布式–設定memcache集群，利用magent做一主多從;redis可以做一主多從。都可以一主一，存儲數據安全–memcache掛掉後，數據沒了；redis可以定期保存到磁碟（持久化） 。