存儲池化
1. 軟體定義存儲的概念是什麼
SDS 的全稱是 Software Defined Storage ,字面意思直譯就是軟體定義存儲。關於 SDS 的定義可以參考全球網路存儲工業協會(Storage Networking Instry Association,SNIA),SNIA 在 2013 正式把 軟體定義存儲(SDS) 列入研究對象。
SNIA 對軟體定義存儲(SDS) 的定義是:一種具備服務管理介面的虛擬化存儲。 SDS 包括存儲池化的功能,並可通過服務管理介面定義存儲池的數據服務特徵。另外 SNIA 還提出 軟體定義存儲(SDS) 應該具備以下特性:
自動化程度高 – 通過簡化管理,降低存儲基礎架構的運維開銷
標准介面 – 支持 API 管理、發布和運維存儲設備和服務
虛擬化數據路徑 – 支持多種標准協議,允許應用通過塊存儲,文件存儲或者對象存儲介面寫入數據
擴展性 – 存儲架構具備無縫擴展規模的能力,擴展過程不影響可用性以及不會導致性能下降
透明度 – 存儲應為用戶提供管理和監控存儲的可用資源與開銷
詳細內容可關注SmartX技術博客《超融合、軟體定義存儲(SDS)、分布式存儲以及Server SAN的區別與聯系》
2. 軟體定義存儲,什麼是軟體定義存儲
什麼是軟體定義存儲(SDS)(參考資料:網路:SDS)
SDS 軟體通過虛擬數據平面對底層存儲進行抽象化,這使得虛擬機(和應用)成為了存儲調配和管理的基本單元。通過在應用和可用資源之間實施靈活的隔離措施,常見的 hypervisor 可為應用均衡分配所需的全部 IT 資源(包括計算、內存、存儲和網路連接)。
軟體定義存儲 vs.傳統存儲架構
雖然沒有官方的定義,但軟體定義存儲就是將存儲硬體中的典型的存儲控制器功能抽出來放到軟體上。這些功能包括卷管理、RAID、數據保護、快照和復制等。軟體定義存儲允許用戶不必從特定廠商采購存儲控制器硬體如硬碟、快閃記憶體等存儲介質。並且,如果存儲控制器功能被抽離出來,該功能就可以放在基礎架構的任何一部分。它可以運行在特定的硬體上,在hypervisor內部,或者與虛機並行,形成真正的融合架構。
軟體定義存儲特點
SINA 還提出 軟體定義存儲(SDS) 應該具備以下特性:
自動化程度高 – 通過簡化管理,降低存儲基礎架構的運維開銷
標准介面 – 支持 API 管理、發布和運維存儲設備和服務
虛擬化數據路徑 – 支持多種標准協議,允許應用通過塊存儲,文件存儲或者對象存儲介面寫入數據
擴展性 – 存儲架構具備無縫擴展規模的能力,擴展過程不影響可用性以及不會導致性能下降
透明度 – 存儲應為用戶提供管理和監控存儲的可用資源與開銷
您可以自行選擇運行存儲服務的硬體。您所選購的 SDS 和硬體不一定要來自同一家公司。您可以使用任意商用或 x86 伺服器來構建基於 SDS 的存儲基礎架構。這意味著,您可以充分利用現有硬體來滿足不斷增長的存儲需求,
從而做到經濟高效。SDS 採用了橫向擴展(而非縱向擴展)的分布式結構,允許您對容量和性能進行單獨調整。
您可以加入大量數據源,以構建自己的存儲基礎架構。您可以將目標平台、外部磁碟系統、磁碟或快閃記憶體資源、虛擬伺服器以及基於雲的資源(甚至是工作負載的專用數據)連接到同一網路中,以創建統一的存儲宗卷。
SDS 可以基於您的容量需求自動進行調整。由於 SDS 不依賴於硬體,所以 SDS 的自動化也可自動實現,可從連接的任意存儲宗卷中調取數據。這種存儲系統可以根據數據需求和性能進行調整,且無需管理員干預,也無需添加新的連接或硬體。
不存在任何限制。傳統的存儲區域網路受限於可用的節點(已分配 IP 地址的設備)數量。從定義來看,SDS 不存在類似限制。這意味著,在理論上,SDS 可以無限擴展。
容器:通過在容器應用中運行持久存儲,更加充分地利用您的容器應用;或者,通過在容器中運行 SDS,更加充分地利用您的存儲。
雲基礎架構:支持私有雲、公共雲和混合雲架構,並能實現所需的敏捷性和可擴展性。
大數據分析:快速安全地分析大型數據湖,以提升業務洞察力。
超融合基礎架構:消除離散存儲層,並能與您企業中的各種虛擬化伺服器實例搭配使用。
對象存儲:靈活可靠地存儲、備份和檢索 PB 級的數據。
富媒體:您的富媒體存儲會日益擴展,因為您總是需要更多內容。
軟體定義存儲優勢
軟體定義存儲用途
3. 「東數西算」全面啟動:數據大遷徙背後,看見存儲產業的未來輪廓
近日,國家發展改革委等部門聯合印發文件,同意在京津冀、長三角、粵港澳大灣區、成渝、內蒙古、貴州、甘肅、寧夏啟動建設國家算力樞紐節點,並規劃了10個國家數據中心集群。至此,全國一體化大數據中心體系完成總體布局設計,「東數西算」已成為國家級戰略工程,浩浩盪盪地站上了 歷史 舞台。
「東數西算」被認為是繼「南水北調」「西電東送」「西氣東輸」之後的又一重大基礎設施工程,將成為「新基建」的新抓手。具體而言,「東數西算」就是將東部產生的數據和需求,放到西部數據中心去計算和處理。這有利於為數據中心提供源源不斷的可再生能源,大幅降低其運行維護成本,同時能夠推動中國數字經濟和西部地區發展。
乘著「東數西算」的政策東風,存儲、計算產業也將迎來巨大的發展機遇。其中,基於分布式存儲架構的SDS(軟體定義存儲)作為先鋒力量、「熱門選手」,天生具有可擴展性以及靈活性,必然會為新基建時代帶來革命性的數據儲存手段。
然而,機遇往往與挑戰並存,一個不能忽略的問題是,隨著東數西算工程縱深推進,存儲需求激增,同時5G、AI、雲等技術加速更迭的背景下,與之相伴而生的SDS由於還在沿用十年前的技術,也必然需要同頻進化。
01
被行業擁簇的SDS(軟體定義存儲)
2013年,「軟體定義一切」被首次提出時,還是個令人懷疑的技術暢想。尤其是當它與存儲綁定在一起,在一些傳統儲存廠商眼裡是不著邊際的。但事實證明,SDS(軟體定義存儲)的誕生,不僅優化了傳統存儲的弊端,並在日後的十年裡逐漸繁榮。
根據IDC公布的2021年三季度中國軟體定義存儲(SDS)市場報告顯示,前三季度中國SDS市場獲得高速增長,市場規模同比增長54%,成為中國存儲市場的增長引擎。早就發布過軟體定義是趨勢的Gartner預測,到2024年,全球50%的存儲容量將以軟體定義存儲的形式部署,包括本地部署或在公有雲上。
SDS在市場上的狂飆突進,一方面是基於創新技術。近幾年,由於數據爆炸式增長,存儲系統的軟硬體緊耦合設計嚴重地限制了存儲技術的發展,而軟體定義存儲則可以實現軟硬解耦,讓硬體成本盡可能的降低,使得軟體發揮更大價值。通過軟體的設計,來決定存儲的性能和邊界,不用再受硬體設備、伺服器的限制。其方向在於幫助用戶在傳統數據中心或雲內實現存儲資源的池化和服務化,以及在多雲之間實現數據的統一管理和自由流動。
另一方面,是源於 歷史 的進程,被時代選擇。隨著雲計算、大數據和人工智的發展,非結構數據爆發式增長——文本、圖像、影視、超媒體等,面對這些數據,傳統存儲方式難以招架,而SDS存儲正是包含針對文件的存儲、對象的存儲,自然就成了相關行業的首選。此外,企業雲化在近幾年成為了主流。在上雲浪潮下,不同種類業務在池化的資源池中拿到相匹配的資源。這種業務場景天然適合軟體定義存儲的分布式架構、軟體定義、水平擴展、基於統一存儲引擎向上提供多種介面等特性。
02
SDS已站在新十年的轉彎處
帶著這樣的優勢,伴隨著行業的擁簇,SDS轉眼已來到新十年的轉彎處。周遭環境飛速變化,數字浪潮奔騰洶涌,一些廠商、企業赫然發現,這個階段的SDS竟然依然處於1.0時代,還在沿用十年前的開源技術,基於舊的硬體架構設計,似乎已無法更好的應對未來的新興需求。
例如,與10多年前相比,現在的存儲硬體、網路以及相關的技術方案已經發生了很多的變化,如果在軟體層面不做出新的變革,數據存儲系統就無法發揮出最大的價值。
還有介質方面,存儲已經實現了大規模的從機械硬碟向SSD固態硬碟的過渡,由此帶來了超高的IOPS、超低的時延;網路的提升更是驚人,100G已經司空見慣,400G也已經漸行漸近。
當然,也面臨著「雲」的追趕。我們都知道,目前,企業雲化已經成為必答題,雲的發展日新月異,從私有雲到多公有雲、邊緣雲、分布式雲,企業選擇上雲的部署方式越來越多元,數據可能存放在任意的地理位置,存儲平台需要構建全局統一的存儲資源池,讓數據在多數據中心、混合多雲和邊緣中按需流動,這都是目前SDS1.0需要突破的挑戰。
03
觸摸存儲未來的輪廓,ExponTech搶先邁向SDS2.0
作為數據基礎設施整體解決方案提供商—ExponTech華瑞指數雲率先提出SDS2.0概念。在ExponTech看來,SDS從1.0需要邁向2.0時代,進化為2.0後,會為行業帶來眼前一新的改變。
比如,SDS 2.0將支持可組合式架構,整合私有雲、多個公有雲,邊緣雲中的存儲資源,提供不同IO模型,不同性能和可靠性要求以及許多種協議介面(iSCSI、S3、POSIX、NFS、CIFS、CSI、HDFS等)的自由組合及靈活部署使用。
還有,SDS2.0將與雲原生高度協同。無論在計算、網路、數據亦或業務的層面,都可以按照雲原生的架構模式、部署模式和運營模式,實現與時俱進的進化。SDS 2.0需要按照雲原生的方式,支持和適配企業雲原生應用的發展。
最後,具備向上服務能力。SDS2.0在做好基礎存儲的服務、流動的同時,還會向上管理資料庫,分發數據,幫助企業解決數據孤島問題。
不僅如此,ExponTech認為,SDS2.0未來近乎要實現一個飛躍式的革新,是需要在引擎和架構方面做出全新的設計。
由此,ExponTech前瞻性地發布自主研發的新一代分布式數據存儲引擎WiDE。和其他存儲相比, WiDE既可以提供多池架構下的IO調度和數據流動,企業可以存儲海量非結構數據,也能存儲要求高性能高可靠的結構化數據,還可以做高性能的數據分析,真正實現數據原生於一個數據平台上,只保留一份數據卻可以被各類應用以各種介面訪問,避免各種數據孤島和數據復制拷貝帶來的問題。
此外,WiDE還全面覆蓋數據新基建創新型應用場景。在覆蓋現有分布式存儲產品SDS1.0的主流業務場景之外, WiDE能在高性能數據分析HPDA、高性能雲主機、高性能資料庫底座、混合多雲數據平台等業務場景發揮作用,彌補之前高端應用場景下吞吐和時延的缺陷。
引擎WiDE的問世,將會在SDS2.0時代更好地幫助企業應對數字化時代面臨的業務快速迭代升級的需求,推動企業智能化。未來,ExponTech也將會打造更多前沿存儲產品,助力國內數據存儲和國產系統軟體的發展。
伴隨著對SDS2.0的展望和引擎WiDE的無限可能性,未來之窗的紗簾正在緩緩拉開,我們對於數字世界廣闊前景的想像,變得更為具體可感了。
END
4. 聽說了VMware vSAN,這個產品簡單介紹一下好嗎
參考VMware官網介紹:
vSAN 是企業級存儲虛擬化軟體,與vSphere結合使用時,可讓您通過單個平台管理計算和存虛伏儲。藉助 vSAN,您可以降低傳統存儲高昂的成本和較高的復雜性,通過最簡單的方法實現超融合基礎架構弊帆和混合雲。採用基於 vSAN 的集成式超融合基礎架構 (HCI) 解決方案,可以在加快運維速度並降低成本的同時提高業務敏捷性。
目前新基建與IT國產化的浪潮下,原來越多的企業開始考慮基於SMTX ZBS之差卜攜類的國產企業級存儲虛擬化軟體,實現底層存儲池化,並進一步構建新一代超融合基礎架構。
5. 超融合架構(HCI)和軟體定義存儲(SDS)的關系
很簡單,HCI 是一室一廳(同時扮演著客廳,書房,卧室的角色)適合小規模分支機構,從業務的角度一個應用一套系統,整合了計算,存儲,網路
SDS 是四室兩廳,每個房間都有自己獨立的功能,適合大型企業,適合多業務場景,文件,塊,對象,大數據HDFS需求
業務部門喜歡HCI,一套集群搞定,IT 運維和基礎架構部門,喜歡SDC,SDS,SDN 拆分部署,計算,存儲資源容易量化
HCI 的弊端是選擇一個廠家的HCI,比如虛擬機是KVM就沒法再選擇 VSPHERE ,計算跟存儲無法分開擴容,不適合30個節點以上的集群需求,實際上HCI的案例,大部分都是30節點以內一個集群,如果有大型案例,用戶一般都會拆分到很多個集群去管理,SDS 比較好的廠商,一個集群200個節點很常見,比如電信全球眼,移動咪咕,這些基於SDS架構的平台,20PB 是常見容量,這些應用不適合採用 HCI
6. 聽說浪潮聯合三星推出了全快閃記憶體儲資源池化解決方案,有人了解是怎麼回事嗎
在第二屆開放計算中國社區技術峰會中浪潮信息聯合三星推出了基於1U伺服器的開放全快閃記憶體儲資源池化解決方案,採用新的Ruler SSD,基於EDSFF標准(企業與數據中心存儲形態),1U空間可以實現快閃記憶體容量最高可達256TB,支持通過NVMeoF技術實現快閃記憶體儲資源的遠程共享,同時也適用於本地大容量高性能存儲解決方案。隨著新技術的不斷滲透及應用,企業業務發展對數據採集和處理的速率要求也越來越高,系統對高性能、大容量的存儲解決有更高訴求,需要引入高性能存儲才可以實現系統平衡,在此情況下,浪潮信息開始與三星合作,共同打造了開放全快閃記憶體儲資源池化解決方案。
7. 軟體定義存儲的概念是什麼
什麼是軟體定義存儲(SDS)(參考資料:網路:SDS)
SDS 軟體通過虛擬數據平面對底層存儲進行抽象化,這使得虛擬機(和應用)成為了存儲調配和管理的基本單元。
通過在應用和可用資源之間實施靈活的隔離措施,常見的 hypervisor 可為應用均衡分配所需的全部 IT 資源(包括計算、內存、存儲和網路連接)。
軟體定義存儲 vs.傳統存儲架構
雖然沒有官方的定義,但軟體定義存儲就是將存儲硬體中的典型的存儲控制器功能抽出來放到軟體上。這些功能包括卷管理、RAID、數據保護、快照和復制等。軟體定義存儲允許用戶不必從特定廠商采購存儲控制器硬體如硬碟、快閃記憶體等存儲介質。並且,如果存儲控制器功能被抽離出來,該功能就可以放在基礎架構的任何一部分。它可以運行在特定的硬體上,在hypervisor內部,或者與虛機並行,形成真正的融合架構。
軟體定義存儲特點
自動化:管理得到簡化,成本也隨之下降。
標准介面:用於管理和維護存儲設備和服務的應用編程介面 (API)。
虛擬化數據路徑:可通過應用寫入數據的塊、文件和對象介面。
可擴展性:能在不影響性能的情況下橫向擴展存儲基礎架構。
透明:能夠監控並管理存儲空間的使用情況,並清楚知曉有哪些可用資源以及相應的成本。
您可以自行選擇運行存儲服務的硬體。您所選購的 SDS 和硬體不一定要來自同一家公司。您可以使用任意商用或 x86 伺服器來構建基於 SDS 的存儲基礎架構。這意味著,您可以充分利用現有硬體來滿足不斷增長的存儲需求,
從而做到經濟高效。SDS 採用了橫向擴展(而非縱向擴展)的分布式結構,允許您對容量和性能進行單獨調整。
您可以加入大量數據源,以構建自己的存儲基礎架構。您可以將目標平台、外部磁碟系統、磁碟或快閃記憶體資源、虛擬伺服器以及基於雲的資源(甚至是工作負載的專用數據)連接到同一網路中,以創建統一的存儲宗卷。
SDS 可以基於您的容量需求自動進行調整。由於 SDS 不依賴於硬體,所以 SDS 的自動化也可自動實現,可從連接的任意存儲宗卷中調取數據。這種存儲系統可以根據數據需求和性能進行調整,且無需管理員干預,也無需添加新的連接或硬體。
不存在任何限制。傳統的存儲區域網路受限於可用的節點(已分配 IP 地址的設備)數量。從定義來看,SDS 不存在類似限制。這意味著,在理論上,SDS 可以無限擴展。
容器:通過在容器應用中運行持久存儲,更加充分地利用您的容器應用;或者,通過在容器中運行 SDS,更加充分地利用您的存儲。
雲基礎架構:支持私有雲、公共雲和混合雲架構,並能實現所需的敏捷性和可擴展性。
大數據分析:快速安全地分析大型數據湖,以提升業務洞察力。
超融合基礎架構:消除離散存儲層,並能與您企業中的各種虛擬化伺服器實例搭配使用。
對象存儲:靈活可靠地存儲、備份和檢索 PB 級的數據。
富媒體:您的富媒體存儲會日益擴展,因為您總是需要更多內容。
軟體定義存儲優勢
軟體定義存儲用途
8. 選擇軟體定義存儲/分布式存儲還是超融合一體機
肯定選擇分布式存儲,非常強調數據安全性,可以規避很多硬碟、伺服器損壞、靜默數據損毀等常見數據丟失風險。如果是普通的中小企業,主要部署一些靜態網站,存儲需求量不大,對數據安全性要求不高,能夠容忍一定的數據丟失風險的,可以用超融合一體機。我們司負責IT的就10來個人,採用的VMware虛擬機加元核雲分布式統一存儲的方案
9. 池化是什麼意思
指存儲池化概念。
存儲池化概念的提出不始於存儲虛擬化技術,在存儲從伺服器直聯存儲到以SAN或者NAS為代表的網路存儲的發展過程中,就提出了池化的概念。
藉助池化,網路存儲可以有效提升存儲的利用率。因此,從直聯存儲向網路存儲的發展過程,從技術上看,就是一個磁碟池化的過程。JBOD也好,RAID也好,以及SAN和NAS都是藉助池化來提升磁碟的利用率。
相關信息
對於多套網路存儲系統並存,中國民航計褲納算機信息中心生產調度部負責人戚前方指出,從企業發灶芹展的角度,SAN的出現就是企業需求的表現。如果純粹從理論的隱純畢角度,用一個SAN所構建的網路存儲系統支撐企業所有應用系統的存儲需求,這是有可能的。
但從實際情況看,這是非常困難的。戚前方指出,很多企業都存在著多套SAN系統並存,不同SAN系統利用率不同,但是又沒有辦法讓多個SAN系統之間形成資源聯動。戚前方表示,作為用戶他非常需要能夠靈活調配存儲資源的解決方案。
10. 什麼是池化
池化在分布式軟體定義存畝轎儲常常可見,存儲資源池共享,彈性,按需求、按功能分配。最大化利用資源,避免浪費。更多相關的可以通過查詢SDS了解,或者通過國內幾家做SDS的公司官網大致了解一下,比如迅首肆元芹含核雲。