das存儲可以在線擴容嗎
① DAS, SAN, NAS 和IPSAN他們之間的區別和聯系
1、意思不同
NAS按字面簡單說就是連接在網路上,具備資料存儲功能的裝置,因此也稱為「網路存儲器」。它是一種專用數據存儲伺服器。
IPSAN是在SAN後產生的,SAN默認指FCSAN,以光纖通道構建存儲網路,IPSAN則以IP網路構建存儲網路,較FCSAN,具有更經濟、自由擴展等特點。
存儲區域網路簡稱SAN,採用網狀通道技術,通過FC交換機連接存儲陣列和伺服器主機,建立專用於數據存儲的區域網路。
開放系統的直連式存儲簡稱DAS,已經有近四十年的使用歷史,隨著用戶數據的不斷增長,尤其是數百GB以上時,其在備份、恢復、擴展、災備等方面的問題變得日益困擾系統管理員。
2、優點不同
DAS能實現大容量存儲,將多個磁碟合並成一個邏輯磁碟,滿足海量存儲的需求。可實現應用數據和操作系統的分離,能提高存取性能,無須專業人員操作和維護,節省用戶投資。
SAN提供了一種與現有LAN連接的簡易方法,並且通過同一物理通道支持廣泛使用的SCSI和IP協議。SAN不受現今主流的、基於SCSI存儲結構的布局限制。
NAS產品是真正即插即用的產品。NAS設備一般支持多計算機平台,用戶通過網路支持協議可進入相同的文檔,因而NAS設備無需改造即可用於混合Unix/Windows NT區域網內。
IPSAN價格合理的存儲合並功能與更為簡化的集中數據管理功能實施過程簡單。IP網路技術相當成熟,IP-SAN減少了配置、維護、管理的復雜度。
3、特點不同
DAS可視化eCRF編輯功能,更易於數據收集,數據疑點同步自動核查,減少錯誤,提高數據質量,不同用戶及角色選擇性地擁有數據接觸權,保證數據安全,保留所有用戶數據操作痕跡以備查。
SAN由於其基礎是一個專用網路,因此擴展性很強,不管是在一個SAN系統中增加一定的存儲空間還是增加幾台使用存儲空間的伺服器都非常方便。通過SAN介面的磁帶機,SAN系統可以方便高效的實現數據的集中備份。
IP SAN基於十分成熟的乙太網技術,由於設置配置的技術簡單、低成本的特色相當明顯,而且普通伺服器或PC機只需要具備網卡,即可共享和使用大容量的存儲空間。
四者的聯系:IP-SAN的發展 其實是由 NAS 和SAN 發展過來的。通過NAS 和SAN的發展史,不難看出在早期由於DAS的發展,FAS 發展趨勢,慢慢的形成的兩個團隊。
網路-DAS
網路-SAN
網路-NAS
網路-IPSAN
② 海量數據存儲有哪些方式與方法
杉岩海量對象存儲MOS,針對海量非結構化數據存儲的最優化解決方案,採用去中心化、分布式技術架構,支持百億級文件及EB級容量存儲,
具備高效的數據檢索、智能化標簽和分析能力,輕松應對大數據和雲時代的存儲挑戰,為企業發展提供智能決策。
1、容量可線性擴展,單名字空間達EB級
SandStone MOS可在單一名字空間下實現海量數據存儲,支持業務無感知的存儲伺服器橫向擴容,為爆炸式增長的視頻、音頻、圖片、文檔等不同類型的非結構化數據提供完美的存儲方案,規避傳統NAS存儲的單一目錄或文件系統存儲空間無法彈性擴展難題
2、海量小文件存儲,百億級文件高效訪問
SandStone MOS基於完全分布式的數據和元數據存儲架構,為海量小文件存儲而生,將企業級NAS存儲的千萬文件量級提升至互聯網規模的百億級別,幫助企業從容應對幾何級增長的海量小文件挑戰。
3、中心靈活部署,容災匯聚分發更便捷
SandStone MOS支持多數據中心靈活部署,為企業數據容災、容災自動切換、多分支機構、數據就近訪問等場景提供可自定義的靈活解決方案,幫助企業實現跨地域多活容災、數據流轉、就近讀寫等,助力業務高速發展。
4、支持大數據和AI,統一數據存儲和分析
SandStone MOS內置文件智能化處理引擎,實現包括語音識別、圖片OCR識別、文件格式轉換等批量處理功能,結合標簽檢索能力還可實現語音、證件照片檢索,從而幫助企業更好地管理非結構化數據。同時,SandStone MOS還支持與Hadoop、Spark等大數據分析平台對接,一套存儲即可滿足企業數據存儲、管理和挖掘的需求。
③ 直連存儲的優缺點是什麼
直連存儲的優點:配置成本最低,因為該方案只需要將存儲設備通過SCSI介面與伺服器相連接即可,配置十分簡單,適合小型公司使用。
直連存儲的缺點:因為整體配置過於簡單,該方案也存在一些缺陷伺服器如果故障,數據就不能訪問多伺服器系統不容易管理,存儲空間不能控制分配,會產生資源的浪費存儲備份操作復雜。
(3)das存儲可以在線擴容嗎擴展閱讀:
直連式存儲的分類:
直連存儲又可分為內直連式存儲和外直連式存儲。
內直連式存儲是指存儲設備與伺服器通過串列或並行SCSI匯流排接1:3電纜直接集成在一起,但SCSI匯流排自身有傳輸距離和掛載設備的限制。
外直連式存儲通過SCSI或光纖通道將伺服器和外部的存儲設備直接連接,與內直連式存儲相比,外直連式存儲可通過光纖通道克服傳輸距離和掛載設備的限制。
對於少量PC機或伺服器,使用直連式存儲連接簡單、易於配置和管理、費用較低,但這種連接方式下,因每台計算機單獨擁有自己的存儲磁碟,所以不利於存儲容量的充分利用和伺服器間的數據共享,而且存儲系統沒有集中統一的管理方案,也不利於數據維護,因此直連式存儲不適合作為企業級的存儲解決方案。
④ 網路存儲DAS和NAS區別是什麼
一、DAS(直接附加存儲設備:Direct Attached Storage)
直接附加存儲是指將存儲設備通過SCSI介面直接連接到一台伺服器上使用。
【優點】
DAS購置成本低,配置簡單,使用過程和使用本機硬碟並無太大差別,對於伺服器的要求僅僅是一個外接的SCSI口,因此對於小型企業很有吸引力。
【缺點】
(1)伺服器本身容易成為系統瓶頸;
(2)伺服器發生故障,數據不可訪問;
(3)對於存在多個伺服器的系統來說,設備分散,不便管理。同時多台伺服器使用DAS時,存儲空間不能在伺服器之間動態分配,可能造成相當的資源浪費;
(4)數據備份操作復雜。
二、NAS(網路附加存儲伺服器:Network Attached Storage)
NAS實際是一種帶有瘦伺服器的存儲設備。這個瘦伺服器實際是一台網路文件伺服器。NAS設備直接連接到TCP/IP網路上,網路伺服器通過TCP/IP網路存取管理數據。
【優點】
NAS作為一種瘦伺服器系統,易於安裝和部署,管理使用也很方便。同時由於可以允許客戶機不通過伺服器直接在NAS中存取數據,因此對伺服器來說可以減少系統開銷。NAS為異構平台使用統一存儲系統提供了解決方案。由於NAS只需要在一個基本的磁碟陣列櫃外增加一套瘦伺服器系統,對硬體要求很低,軟體成本也不高,甚至可以使用免費的LINUX解決方案,成本只比直接附加存儲略高。
【缺點】
(1)由於存儲數據通過普通數據網路傳輸,因此易受網路上其它流量的影響。當網路上有其它大數據流量時會嚴重影響系統性能;
(2)由於存儲數據通過普通數據網路傳輸,因此容易產生數據泄漏等安全問題;
(3)存儲只能以文件方式訪問,而不能像普通文件系統一樣直接訪問物理數據塊,因此會在某些情況下嚴重影響系統效率,比如大型資料庫就不能使用NAS。
三、SAN(專用存儲區域網路:Storage Area Network)
SAN實際是一種專門為存儲建立的獨立於TCP/IP網路之外的專用網路。
【優點】
目前一般的SAN提供2Gb/S到4Gb/S的傳輸數率,同時SAN網路獨立於數據網路存在,因此存取速度很快,另外SAN一般採用高端的RAID陣列,使SAN的性能在幾種專業存儲方案中傲視群雄。SAN由於其基礎是一個專用網路,因此擴展性很強,不管是在一個SAN系統中增加一定的存儲空間還是增加幾台使用存儲空間的伺服器都非常方便。通過SAN介面的磁帶機,SAN系統可以方便高效的實現數據的集中備份。SAN作為一種新興的存儲方式,是未來存儲技術的發展方向。
【缺點】
(1)價格昂貴。不論是SAN陣列櫃還是SAN必須的光纖通道交換機價格都是十分昂貴的,就連伺服器上使用的光通道卡的價格也是不容易被小型商業企業所接受;
(2)需要單獨建立光纖網路,異地擴展比較困難。
⑤ 四大存儲方式技術解析其優劣勢
四大存儲方式技術解析其優劣勢
數據存放問題非常重要,然而在實際應用中卻是錯事連連。經常會出現掉盤、卷鎖死等諸多問題,嚴重影響了整體系統的正常使用,所以數據專用存儲已經成為市場上最關注的安防產品之一。
數據傳統存儲方式
在目前余衫的數字領域中,最常用的無非是如下四種存儲方式:硬碟、DAS、nas、san。
1. 硬碟
無論是dvr、dvs後掛硬碟還是伺服器後面直接連接擴展櫃的方式,都是採用硬碟進行存儲方式。應該說採用硬碟方式進行的存儲,並不能算作嚴格意義上的存儲系統。其原因有以下幾點:
第一,其一般不具備raid系統,對於硬碟上的數據沒有進行冗餘保護,即使有也是通過主機端的raid卡或者軟raid實現。嚴重的影響整體性能;
第二,其擴展能力極為有限,當錄像時間超過60天時,往往不能滿足錄像時間的存儲需求;
第三,無法實現數據集中存儲,後期維護成本較高,特別是在dvs後掛硬碟的方式,其維護成本往往在一年之內就超過了購置成本。
應該說硬碟存儲方式不適合大型數字視頻監控系統的應用。特別是需要長時間錄像的數字視頻監控系統。一般這種方式都是與其它存儲方式並存於同一系統中,作為其他存儲方式的緩沖或應急替代。
2. DAS(直接附加存儲)
DAS(direct attached storage),全稱為直接連接附加存儲,採用DAS的方式可以很簡單的實現平台的容量擴容,同時對數據可以提供多種rald級別的保護。
採用DAS方式時。在視頻存儲單元上部署相關的.hba卡。用於跟後端的存儲設備建立數據通道。前端的視頻存儲單元可以是dvr,也可以是視頻存儲伺服器。其通道可以採用光纖、ip網線、sas線纜甚至於usb、1394線等。
採用DAS方式並不能同時支持很多視頻存儲服務單元同時接入,而且其擴容能力嚴重依賴所選擇的存儲設備自身的擴容能力。所以在大型數字視頻監控系統中,應用DAS存儲方式將造成系統維護難度的極大提升。
正是由於DAS存儲的這些特點,所以這種存儲方式一般應用於對於dvr的擴容或者小型數字視頻監控項目中。
3. NAS(網路附加存儲)
NAS(network attached storage)。全稱為網路附加存儲,是一種專業的網路文件存儲及文件備份設備,或稱為網路直聯存儲設備、網路磁碟陣列。同時NAS對數據可以提供多種raid級別的保護。
NAS設備和多台視頻存儲服務單元均通過ip網路進行連接,按照tcp/ip協議進行通信,以文件的i/o(輸入/輸出帶李)方式進行數據傳輸。一個NAS單元包括核心處理器,文件服務管理工具,一個或者多個的硬碟驅動器用於數據的存儲。
採用NAS方式可以同時支持多個主機端同時進行讀寫,具備非常優秀的共享性能和擴展能力;同時NAS可以應用在復雜的網路環境中。部署也非常靈活。
但是由於NAS採用cif/nfs協議進行數據的文件級傳輸,所以網路開銷非常大,特別是在寫入數據時帶寬的利用率一般只有20%-40%之間。所以目前NAS一般應用於小型的網路數字視頻監控系統中或者只是用於部分數據的共享存儲。
4. SAN(存儲區域網路)
SAN(storage area network),全稱為存儲區域網路,通過交換機等連接設備將磁碟陣列與相關伺服器連接起來的高速專用子網。同時SAN對數據可以提供多種raid級別的保護。
SAN提供了一個專用的、高可靠性的存儲網路。允許獨立地增加它們的存儲容量,也使得管理及集中控制(特別是對於全部存儲設備都集中在一起的時候) 更加簡化。正是由於這豎行腔些特點,SAN架構特別適合於大型網路數字視頻監控系統的存儲應用,可以應對上千、上萬個前端監控點的存儲。
目前 SAN主要分為FC―SAN(光纖存儲區域網路)和ip―SAN(乙太網存儲區域網路)。它們之間的區別是連接線路以及使用數據傳輸協議的不同。雖然 FC―SAN由於採用專用協議可以保證傳輸時更加穩定、高效,但其部署方式、構建成本均較之ip―SAN高出很多,所以目前在大型網路數字視頻監控系統中更多採用的是ip―SAN架構。
;⑥ 資料庫伺服器一台,使用Raid 0磁碟陣列,如何在不破壞原有磁碟數據的前提下對存儲空間擴容
有兩種方法:
第一種就是樓上說的,先把數據都備份出來,然後再重新分區或再加硬碟重建RAID0的陣列。
第二種方法,就是看你的伺服器陣列卡能不能支持在線擴容陣列的功能,如果可以,那樣是可以通過管理軟體,把新的硬碟添加進去。
⑦ 可以靈活擴容的分布式文件存儲軟體有嗎
XSKY 星辰天合的XEDP平台擴展彈性就很高的,在我們使用中發現,它可以實現從單資源池數台到數百台的不停機水平擴展。
⑧ 如何對esxi虛擬機硬碟在線擴容的方法步驟
一、准備階段
在虛擬機狀態下增加一塊硬碟,如圖1、如圖2、如圖3、如圖4、如圖5
二、實施階段
1、讓Linux操作系統識別新增加的硬碟,如圖6
2、增加/dev/sdb硬碟,查看/var/log/messages日誌,如圖7
3、查看當前scsi狀態,如圖8
4、將/dev/sdb1分區,如圖9
5、將/dev/sdb1格式化,建立新目錄,如果是增加已經陸喚巧有的目錄不需要填寫/etc/fstab,如圖10
6、將這塊硬碟ID改早鍵成8e,保存退出,不鏈豎需要重新啟動。如圖11
7、創建物理卷,如圖12
8、通過vgextend命令擴展現有的vg,如圖13
9、通過lvresize命令擴展Logical Volume,如圖14
10、還要重新一下識別磁碟容量,如圖15
⑨ 資料庫在資源充足的表現
如何應對資料庫CPU打滿?最優解在這里...
阿里雲資料庫
2020-04-26 16:48·字數:4996·閱讀:129
如何用好資料庫,調校資料庫使其發揮最優的性能?
如何快速診斷和應對各種原因導致的突發資料庫性能問題?
如何以最低資源成本滿足業務需求?
......
這些復雜的運維難題最優解到底是什麼?
今天(4月22日)15:00資料庫自治服務DAS重磅發布會
現場為你揭曉答案!
資料庫自動駕駛時代一觸即發點擊這里
即可預約直播
今天提前為大家揭秘資料庫自治服務DAS的一個創新功能 —— AutoScale,基於資料庫實例的實時性能數據作為輸入,由DAS完成流量異常發現、合理資料庫規格建議和合理磁碟容量建議,使資料庫服務具備自動擴展存儲和計算資源的能力。
01背 景
為業務應用選擇一個合適的資料庫規格,是每個資料庫運維同學都會經常面臨的一個問題。若規格選的過大,會產生資源浪費;若規格選的過小,計算性能不足會影響業務。
通常情況下,運維同學會採用業務平穩運行狀態下,CPU可處於合理水位(例如50%以下)的一個規格(如4核CPU配8G內存)並配一個相對富餘的磁碟規格(如200G)。
然而在資料庫應用運維同學的日常生活里,線上應用流量突增導致資料庫資源打滿的情況時有發生,而引發這類問題的場景可能多種多樣:
1、新業務上線,對業務流量預估不足,導致資源打滿,如新上線的應用接入了大量的引流,或基礎流量比較大的平台上線了一個新特性功能。
2、不可預知的流量,如突發的輿論熱點帶來的臨時流量,或某個網紅引發的限時搶購、即興話題等。
3、一些平時運行頻次不高,但又偶發集中式訪問,如每日一次的上班打卡場景,或每周執行幾次的財務核算業務。這類業務場景平時業務壓力不高,雖已知會存在訪問高峰,但為節省資源而通常不會分配較高的規格。
當上述業務場景突發計算資源不足狀況時,通常會讓運維同學措手不及,嚴重影響業務,如何應對「資料庫資源打滿」是運維同學常常被挑戰的問題之一。
在資料庫場景下,資源打滿可分為計算資源和存儲資源兩大類,其主衫閉歷要表現:
1、計算資源打滿,主要表現為CPU資源利用率達到100%,當前規格下的計算能力不足以應對;
2、存儲資源打滿,主要表現為磁碟空間使用率達到100%,資料庫寫入的數據量達到當前規格下的磁碟空間限制,導致業或搜務無法寫入新數據;
針對上述兩類問題,資料庫自治服務 DAS 進行了服務創新,使資料庫服務具備自動擴展存儲和計算資源的技術能力,應對上述的問題。
DAS AutoScale基於資料庫實例的實時性能數據作為輸入,由DAS完成流量異常發現、合理資料庫規格建議和合理磁碟容量建議,使資料庫服務具備自動擴展存儲和計算資源的能力。
接下來,本文將對DAS AutoScale服務的架構進行詳細的介紹,包括技術挑戰、解決方案和關鍵技術。
02技術挑戰
計算節點規格調整是資料庫優化的一態源種常用手段,盡管計算資源規格只涉及到CPU和內存,但在生產環境進行規格變配的影響還是不容忽視,將涉及數據遷移、HA切換、Proxy切換等操作,對業務也會產生影響。
業務有突發流量時,計算資源通常會變得緊張甚至出現CPU達到100%的情況。通常情況下,這種情況會通過擴容資料庫規格的方式來解決問題,同時DBA在准備擴容方案時會至少思考如下三個問題:
1.擴容是否能解決資源不足的問題?
2.何時應該進行擴容?
3.如何擴容,規格該如何選擇?
解決這三個問題,DAS同樣面臨如下三個方面挑戰:
2.1. 挑戰一:如何判別擴容是否能夠解決問題?
在資料庫場景下,CPU打滿只是一個計算資源不足的表徵,導致這個現象的根因多樣,解法也同樣各異。例如業務流量激增,當前規格的資源確實不能夠滿足計算需求,在合適的時機點,彈性擴容是一個好的選擇,再如出現了大量的慢SQL,慢SQL堵塞任務隊列,且佔用了大量的計算資源等,此時資深的資料庫管理員首先想到的是緊急SQL限流,而不是擴容。在感知到實例資源不足時,DAS同樣需要從錯綜復雜的問題中抽絲剝繭定位根因,基於根因做出明智的決策,是限流,是擴容,還是其它。
2.2. 挑戰二:如何選擇合適的擴容時機和擴容方式?
對於應急擴容時機,選擇的好壞與緊急情況的判斷准確與否密切相關。「緊急」告警發出過於頻繁,會導致實例頻繁的高規格擴容,產生不必要的費用支出;「緊急」告警發出稍晚,業務受到突發情況影響的時間就會相對較長,對業務會產生影響,甚至引發業務故障。在實時監控的場景下,當我們面臨一個突發的異常點時,很難預判下一時刻是否還會異常。因此,是否需要應急告警變得比較難以決斷。
對於擴容方式,通常有兩種方式,分別是通過增加只讀節點的水平擴容,以及通過改變實例自身規格的垂直擴容。
其中,水平擴容適用於讀流量較多,而寫流量較少的場景,但傳統資料庫需要搬遷數據來搭建只讀節點,而搬遷過程中主節點新產生的數據還存在增量同步更新的問題,會導致創建新節點比較慢。
垂直擴容則是在現有規格基礎上進行升級,其一般流程為先對備庫做升級,然後主備切換,再對新備庫做規格升級,通過這樣的流程來降低對業務的影響,但是備庫升級後切換主庫時依然存在數據同步和數據延遲的問題。因此,在什麼條件下選擇哪種擴容方式也需要依據當前實例的具體流量來進行確定。
2.3. 挑戰三:如何選擇合適的計算規格?
在資料庫場景下,實例變更一次規格涉及多項管控運維操作。以物理機部署的資料庫變更規格為例,一次規格變更操作通常會涉及數據文件搬遷、cgroup隔離重新分配、流量代理節點切換、主備節點切換等操作步驟;而基於Docker部署的資料庫規格變更則更為復雜,會額外增加Docker鏡像生成、Ecs機器選擇、規格庫存等微服務相關的流程。因此,選擇合適的規格可有效地避免規格變更的次數,為業務節省寶貴的時間。
當CPU已經是100%的時候,升配一個規格將會面臨兩種情況:第一種是升配之後,計算資源負載下降並且業務流量平穩;第二種是升配之後,CPU依然是100%,並且流量因為規格提升後計算能力增強而提升。
第一種情況,是比較理想的情況,也是預期擴容後應該出現的效果,但是第二種情況也是非常常見的情形,由於升配之後的規格依然不能承載當前的業務流量容量,而導致資源依然不足,並且仍在影響業務。如何利用資料庫運行時的信息選擇一個合適的高配規格是將直接影響升配的有效性。
03解決方案
針對上述提到的三項技術挑戰,下面從DAS AutoScale服務的產品能力、解決方案、核心技術這三個方面進行解讀,其中涉及RDS和PolarDB兩種資料庫服務,以及存儲自動擴容和規格自動變更兩個功能,最後以一個案例進一步具體說明。
3.1. 能力介紹
在產品能力上,目前DAS AutoScale服務針對阿里雲RDS資料庫和PolarDB數據提供存儲自動擴容服務和規格自動變配服務。
其中,針對即將達到用戶已購買規格上限的實例,DAS存儲自動擴容服務可以進行磁碟空間預擴容,避免出現因資料庫磁碟滿而影響用戶業務的發生。在該服務中,用戶可自主配置擴容的閾值比例,也可以採用DAS服務預先提供的90%規格上界的閾值配置,當觸發磁碟空間自動擴容事件後,DAS會對該實例的磁碟進行擴容;
針對需要變更實例規格的資料庫實例,DAS規格自動變配服務可進行計算資源的調整,用更符合用戶業務負載的計算資源來處理應用請求,在該服務中,用戶可自主配置業務負載流量的突發程度和持續時間,並可以指定規格變配的最大配置以及變配之後是否回縮到原始規格。
在用戶交互層面,DAS AutoScale主要採用消息通知的方式展示具體的進度以及任務狀態,其中主要包括異常觸發事件、規格建議和管控任務狀態三部分。異常觸發事件用於通知用戶觸發變配任務,規格建議將針對存儲擴容和規格變配的原始規格和目標值進行說明,而管控任務狀態則將反饋AutoScale任務的具體進展和執行狀態。
3.2 方案介紹
為了實現上面介紹的具體能力,DAS AutoScale實現了一套完整的數據閉環,如圖1:
圖1 DAS AutoScale數據閉環
在該閉環中,包含性能採集模塊、決策中心、演算法模型、規格建議模塊、管控執行模塊和任務跟蹤模塊,各模塊的具體功能如下:
性能採集模塊負責對實例進行實時性能數據採集,涉及資料庫的多項性能指標信息、規格配置信息、實例運行會話信息等;
決策中心模塊則會根據當前性能數據、實例會話列表數據等信息進行全局判斷,以解決挑戰一的問題。例如可通過SQL限流來解決當前計算資源不足的問題則會採取限流處理;若確實為突增的業務流量,則會繼續進行AutoScale服務流程;
演算法模型是整個DAS AutoScale服務的核心模塊,負責對資料庫實例的業務負載異常檢測和容量規格模型推薦進行計算,進而解決挑戰二和挑戰三的具體問題;
規格建議校驗模塊將產出具體建議,並針對資料庫實例的部署類型和實際運行環境進行適配,並與當前區域的可售賣規格進行二次校驗,確保的建議能夠順利在管控側進行執行;
管控模塊負責按照產出的規格建議進行分發執行;
狀態跟蹤模塊則用於衡量和跟蹤規格變更前後資料庫實例上的性能變化情況;
接下來,將分別針對DAS AutoScale支持的存儲擴容和規格變配兩個業務場景進行展開介紹。
!圖2 存儲擴容方案](https://upload-images.jianshu.io/upload_images/16625435-f448260506c94c56.jpg?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240 "lADPD26eLFb47F_NAW3NBDg_1080_365.jpg_720x720q90g.jpg")
存儲擴容的方案見圖2,主要有兩類觸發方式,分別是用戶自定義觸發和演算法預測觸發。其中,演算法將根據資料庫實例過去一段時間內的磁碟使用值結合時序序列預測演算法,預測出未來一段時間內的磁碟使用量,若短時間內磁碟使用量將超過用戶實例的磁碟規格,則進行自動擴容。每次磁碟擴容將最少擴大5G,最多擴大原實例規格的15%,以確保資料庫實例的磁碟空間充足。
目前在磁碟AutoScale的時機方面,主要採用的是閾值和預測相結合的方式。當用戶的磁碟數據緩慢增長達到既定閾值(90%)時,將觸發擴容操作;如果用戶的磁碟數據快速增長,演算法預測到其短時間內將會可用空間不足時,也會給出磁碟擴容建議及相應的擴容原因說明。
圖3 規格變配方案
規格變配的方案見圖3,其具體流程為:首先,異常檢測模塊將針對業務突發流量從多個維度(qps、tps、active session、iops等指標)進行突發異常識別,經決策中心判別是否需要AutoScale變配規格,然後由規格建議模塊產生高規格建議,再由管控組件進行規格變配執行。
待應用的異常流量結束之後,異常檢測模塊將識別出流量已回歸正常,然後再由管控組件根據元數據中存儲的原規格信息進行規格回縮。在整個變配流程結束之後,將有效果跟蹤模塊產出變配期間的性能變化趨勢和效果評估。
目前規格的AutoScale觸發時機方面,主要是採取對實例的多種性能指標(包括cpu利用率、磁碟iops、實例Logic read等)進行異常檢測之後,結合用戶設定的觀測窗口期長度來實現有效的規格AutoScale觸發。
觸發AutoScale之後,規格推薦演算法模塊將基於訓練好的模型並結合當前性能數據、規格、歷史性能數據進行計算,產出更適合當前流量的實例規格。此外,回縮原始規格的觸發時機也是需要結合用戶的靜默期配置窗口長度和實例的性能數據進行判斷,當符合回縮原始規格條件後,將進行原始規格的回縮。
3.3核心技術支撐
DAS AutoScale服務依賴的是阿里雲資料庫數據鏈路團隊、管控團隊和內核團隊技術的綜合實力,其中主要依賴了如下幾項關鍵技術:
1.全網資料庫實例的秒級數據監控技術,目前監控採集鏈路實現了全網所有資料庫實例的秒級採集、監控、展現、診斷,可每秒實時處理超過1000萬項監控指標,為資料庫服務智能化打下了堅實的數據基礎;
2.全網統一的RDS管控任務流技