全流量存儲性能
1. 存儲性能和空間利用率哪個重要
最大限度地挖掘存儲系統的性能潛力是用戶永遠的追求,但是,面對眾多性能優化技術,還必須考慮到底是性能重要還是空間利用率重要。
在當前經濟形勢低迷的大背景下,挖掘現有存儲系統的性能潛力成為用戶的必然選擇,不過追求性能只是一個方面。
看到的現象是大多數存儲系統的空間利用率還不到50%,而且存儲控制器的處理能力也只用到一小部分,這些都是讓用戶不可接受的事實。
在數據中心應用領域,通過伺服器整合以及虛擬化技術,物理伺服器的資源已經被最大化的利用起來,與此相反的是,存儲效率低下的問題卻成為用戶的痛點。
若要實現伺服器虛擬化的高效率,存儲系統就必須跟得上,這是一個必要的前提,因此伺服器虛擬化應用推動著存儲技術向更高效的方向發展。
在虛擬化環境中,當前端伺服器數量不斷增加,後端存儲陣列的不足便暴露出來,尤其表現在缺乏細粒度的分配和調動空間資源的能力方面。
因此,如果用戶希望對數據中心進行高度整合,那麼伺服器虛擬化技術和高效的存儲技術二者缺一不可。
存儲效率是一個綜合性的指標,實現最佳的存儲效率意味著要在有效存儲空間以及可用處理資源兩方面都有出色表現,通常也是各產品之間相互競爭的重點。
StorageIO高級分析師GregSchulz說,「為了達到應用所需的IOPS能力,有些存儲系統被設計得很大,通過大量磁碟的並發來提升IOPS,可是空間利用率卻非常低,反之,追求空間利用率的最大化往往需要藉助存儲精簡技術,比如壓縮和重復數據刪除等等,但是這些功能會對系統性能帶來負面的影響「。
因此,達成高效的存儲就需要在容量和性能之間尋找一個平衡點,根據應用需求的不同,對容量、處理能力、性能以及成本進行控制和優化。
保證存儲效率有哪些基本條件優化存儲系統的性能,本質上就是要盡可能地提高存儲處理資源的利用率,同時盡量消除系統的瓶頸或阻塞。
隨著處理資源利用率的增加,剩餘的處理資源以及響應額外處理請求的能力相應的就會降低。
而且如果緩沖區太小,那麼系統達到性能上限(瓶頸)的可能性就非常大。
舉個例子來說,一個平均處理資源利用率在50%的磁碟陣列不太可能觸及性能上限(瓶頸),而對於一個利用率達到80%的系統來說,這個可能性就要大得多。
高效存儲技術及其對性能、容量和成本的影響由存儲廠商或第三方公司提供的內嵌在存儲系統內部或在外部附加的運行報告、監控以及存儲分析功能是十分重要的,它們可以幫助用戶更好的了解系統的運行情況,避免系統過度(過高)配置,並減少很多後期維護工作。
尤其是當用戶需要優化性能或者按需增加處理資源時,這些組件的作用就會體現的非常明顯。
對此,StorageIO高級分析師GregSchulz評價道:「無論是性能問題還是容量問題,好好利用存儲廠商或第三方公司提供的工具都是十分重要的。
」這些工具不僅能夠幫助用戶定位性能的問題,更重要的方面在於它們可以幫助用戶選擇出最恰當的解決方案。
衡量一套存儲系統的性能並不能依賴某個單一指標,而要考慮多種組合因素,它們每一項都對應用程序訪問數據的速度有所影響。
其中,IOPS、吞吐帶寬和訪問延遲這三項指標是最關鍵的。
不過,指標數據究竟是好是壞還要考慮應用環境的差異,包括工作負載的類型(隨機請求或者順序請求)、數據塊的大小、交易類型(讀或是寫),以及其他相關的能夠影響性能的因素都依賴於應用程序本身的特點。
比方說,如果是流媒體視頻應用,那麼大文件快速順序讀性能和大數據塊是最重要的;
而如果是虛擬化應用環境,那麼隨機讀性能通常是最主要的考察指標。
下面的部分,將縱覽那些可以優化性能並且提高存儲資源利用率的技術,這里沒有獨門秘籍,因為每一種方法都有其優點和缺點。
通過堆砌磁碟數量來提高性能磁碟驅動器是一種機械裝置,讀寫磁頭通過在高速旋轉碟片的內道和外道之間往復移動來尋找並讀寫數據。
即使是轉速最快的15000轉磁碟,其磁頭機械臂的重定位時間延遲都會有數毫秒之多,因此每個磁碟的IOPS值最多隻有幾百個,吞吐帶寬則局限在100MB/秒以內。
通過將數據分布在多個磁碟上,然後對多個磁碟同步進行讀寫訪問是一種常見的擴展性能的方法。
通過增加磁碟的個數,系統整體的IOPS和帶寬值也會等比例提升。
加之,有些存儲廠商還提供shortstr好ing這樣的可以縮短磁頭機械臂移動距離的技術。
此類技術可以將數據集中放置在磁碟碟片的外道區域,結果是磁頭移動的距離大大縮短,對數據訪問的性能具有十分明顯的提升作用。
可是,當通過利用大量的磁碟並發以及short-str好ing磁頭短距離移動技術達成既定的性能目標之後,會發現其代價是非常高昂的,此外,由於僅僅使用了碟片的外道空間,所以存儲的空間利用率會非常差。
早在SSD固態盤技術出現之前,利用大量的磁碟並發以及short-str好ing磁頭短距離移動技術來滿足應用的性能要求是最普遍的辦法,即使在今天,這種方案依然被大量使用,原因是SSD固態盤的成本太高,所以用戶依然青睞磁碟而不是SSD。
NatApp技術和戰略總監MikeRiley就說:「對於順序訪問大數據塊和大文件這樣的應用,使用磁碟通常性價比更高。
」RAID及wide-striping技術對效率的影響很多用戶容易忽視一點,即RAID和RAID級別其實都會對性能和容量產生影響。
通過改變RAID級別來提升存儲性能或者空間的利用率是一種很現實的選擇。
校驗盤的數量、條帶的大小、RAID組的尺寸以及RAID組內數據塊大小都會影響性能和容量。
RAID技術對性能和容量的影響都熟悉那些常見的RAID級別及其特點,但還有一些不常見的技術趨勢值得關注,這些都與討論的存儲效率有關。
首先,RAID組的尺寸會影響性能、可用性以及容量。
通常,大的RAID組包含的磁碟數量更多,速度也更快,但是,當出現磁碟故障後,大RAID組也需要更多的時間用來重建。
每隔幾年,磁碟的容量都會翻一番,其結果是RAID重建的時間也相應變的更長,在數據重建期間出現其他磁碟故障的風險也變得更大。
即使是帶有雙校驗機制,允許兩塊磁碟同時出現故障的RAID6也存在風險增加的問題,況且,RAID6對性能的影響還比較大。
有一個更好的辦法是完全打破傳統RAID組和私有校驗盤的概念,比如,NetApp的DynamicDiskPools(DDP)技術,該技術將數據、校驗信息以及閑置空間塊分散放置在一個磁碟池中,池中所有的磁碟會並發處理RAID重建工作。
另一個有代表性的產品是HP的3PAR存儲系統,3PAR採用了一種叫做widestriping的技術,將數據條塊化之後散布在一大堆磁碟上,同時磁碟自身的裸容量又細分成若干小的存儲塊(chunklet)。
3PAR的卷管理器將這些小的chunklet組織起來形成若干個micro-RAID(微型RAID組),每個微型RAID組都有自己的校驗塊。
對於每一個單獨的微型RAID組來說,其成員塊(chunklet)都分布在不同的磁碟上,而且chunklet的尺寸也很小,因此數據重建時對性能的沖擊和風險都是最小的。
固態存儲毫無疑問,SSD固態存儲的出現是一件劃時代的「大事兒「,對於存儲廠商來說,在優化性能和容量這兩個方面,SSD技術都是一種全新的選擇。
與傳統的磁碟技術相比,SSD固態盤在延遲指標方面有數量級上的優勢(微秒對毫秒),而在IOPS性能上,SSD的優勢甚至達到了多個數量級(10000以上對數百)。
Flash技術(更多的時候是磁碟與flash的結合)為存儲管理員提供了一種更具性價比的解決方案,不必像過去那樣,為了滿足應用對性能的高要求而不得不部署大批量的磁碟,然後再將數據分散在磁碟上並發處理。
SSD固態盤最佳的適用場景是大量數據的隨機讀操作,比如虛擬化hypervisor,但如果是大數據塊和大文件的連續訪問請求,SSD的優勢就沒有那麼明顯了。
EMC統一存儲部門負責產品管理與市場的高級副總裁EricHerzog說:「Flash的價格仍然10倍於最高端的磁碟,因此,用戶只能酌情使用,而且要用在刀刃上。
」目前,固態存儲有三種不同的使用方式:第一種方式,用SSD固態盤完全代替機械磁碟。
用SSD替換傳統的磁碟是最簡單的提升存儲系統性能的方法。
如果選擇這個方案,關鍵的一點是用戶要協同存儲廠商來驗證SSD固態盤的效果,並且遵循廠商提供的建議。
如果存儲系統自身的處理能力無法承載固態存儲的高性能,那麼SSD有可能會將整個系統拖垮。
因為,如果SSD的速度超出了存儲控制器的承受范圍,那麼很容易出現性能(I/O阻塞)問題,而且會越來越糟。
另一個問題涉及到數據移動的機制,即的數據在什麼時候、以何種方式遷移到固態存儲上,或從固態存儲上移走。
最簡單但也最不可取的方法是人工指定,比如通過手動設定將資料庫的日誌文件固定存放在SSD固態存儲空間,對於比較老的存儲系統來說,這也許是唯一的方式。
在這里推薦用戶使用那些自動化的數據分層移動技術,比如EMC的FAST(FullyAutomatedStorageTiering)。
第二種方式,用Flash(固態存儲晶元)作為存儲系統的緩存。
傳統意義上的DRAM高速緩存容量太小,因此可以用Flash作為DRAM的外圍擴展,而這種利用Flash的方式較之第一種可能更容易實現一些。
Flash緩存本身是系統架構的一個組成部分,即使容量再大,也是由存儲控制器直接管理。
而用Flash作緩存的設計也很容易解決數據分層的難題,根據一般的定義,最活躍的數據會一直放置在高速緩存里,而過期的數據則駐留在機械磁碟上。
與第一種方式比較,存儲系統里所有的數據都有可能藉助Flash高速緩存來提升訪問性能,而第一種方式下,只有存放在SSD固態盤中的數據才能獲得高性能。
初看起來,用Flash做高速緩存的方案幾乎沒有缺陷,可問題是只有新型的存儲系統才支持這種特性,而且是選件,因此這種模式的發展受到一定的制約。
與此相反,看到用Flash做大容量磁碟的高速緩存(而不是系統的高速緩存)反而成為更普遍的存儲架構設計選擇,因為它可以將高容量和高性能更好的融合。
IBM存儲軟體業務經理RonRiffe說:「在一套磁碟陣列中,只需要增加2-3%的固態存儲空間,幾乎就可以讓吞吐帶寬提高一倍。
」在伺服器中使用Flash存儲卡。
數據的位置離CPU和內存越近,存儲性能也就越好。
在伺服器中插入PCIeFlash存儲卡,比如Fusion-IO,就可以獲得最佳的存儲性能。
不太有利的一面是,內置的Flash存儲卡無法在多台伺服器之間共享,只有單台伺服器上的應用程序才能享受這一好處,而且價格非常昂貴。
盡管如此,仍然有兩個廠商對此比較熱衷,都希望將自己的存儲系統功能向伺服器內部擴展。
一個是NetApp,正在使其核心軟體DataOntap能夠在虛擬機hypervisor上運行;
另一個是EMC,推出的功能叫做VFCache(原名叫ProjectLightning)。
顯而易見,這兩家公司的目標是通過提供伺服器端的Flash存儲分級獲得高性能,而這種方式又能讓用戶的伺服器與提供的外部存儲系統無縫集成。
存儲加速裝置存儲加速裝置一般部署在伺服器和存儲系統之間,既可以提高存儲訪問性能,又可以提供附加的存儲功能服務,比如存儲虛擬化等等。
多數情況下,存儲加速裝置後端連接的都是用戶已有的異構存儲系統,包括各種各樣的型號和品牌。
異構環境的問題是當面臨存儲效率低下或者性能不佳的困擾時,分析與評估的過程就比較復雜。
然而,存儲加速裝置能夠幫助已有磁碟陣列改善性能,並將各種異構的存儲系統納入一個統一的存儲池,這不但可以提升整個存儲環境的整體性能、降低存儲成本,而且還可以延長已有存儲的服役時間。
最近由IBM發布的是此類產品的代表,它將IBM的存儲虛擬化軟體SVC(SANVolumeController)以及存儲分析和管理工具集成在一個單獨的產品中。
可以將各種異構的物理存儲陣列納入到一個虛擬存儲池中,在這個池之上創建的卷還支持自動精簡配置。
該裝置不但可以管理連接在其後的存儲陣列中的Flash固態存儲空間,而且自身內部也可以安裝Flash固態存儲組件。
通過實時存儲分析功能,能夠識別出I/O訪問頻繁的數據以及熱點區域,並能夠自動地將數據從磁碟遷移到Flash固態存儲上,反向亦然。
用戶可以藉助的這些功能大幅度的提高現有的異構混合存儲系統環境的性能和空間利用率。
與IBM類似的產品還有Alacritech和Avere,它們都是基於塊或基於文件的存儲加速設備。
日益增加的存儲空間利用率利用存儲精簡技術,可以最大化的利用起可用的磁碟空間,存儲精簡技術包括自動精簡配置、瘦克隆、壓縮以及重復數據刪除等等。
這些技術都有一個共同的目標,即最大程度的引用已經存在的數據塊,消除或避免存儲重復的數據。
然而存儲精簡技術對系統的性能稍有影響,所以對於用戶來說,只有在明確了性能影響程度並且能夠接受這種影響的前提下,才應該啟動重復數據刪除或數據壓縮的功能。
性能和容量:密不可分存儲系統的性能和空間利用率是緊密相關的一對參數,提升或改進其中的一個,往往會給另一個帶來負面的影響。
因此,只有好好的利用存儲分析和報表工具,才能了解存儲的真實性能表現,進而發現系統瓶頸並採取適當的補救措施,這是必要的前提。
總之,提高存儲效率的工作其實就是在性能需求和存儲成本之間不斷的尋找平衡。
2. 浪潮存儲產品性能好嗎
不錯啊,存儲產品方面一直用浪潮存儲提供的方案,性能強勁而且穩定又可靠。
3. 互聯網如何海量存儲數據
目前存儲海量數據的技術主要包括NoSQL、分布式文件系統、和傳統關系型資料庫。隨著互聯網行業不斷的發展,產生的數據量越來越多,並且這些數據的特點是半結構化和非結構化,數據很可能是不精確的,易變的。這樣傳統關系型資料庫就無法發揮它的優勢。因此,目前互聯網行業偏向於使用NoSQL和分布式文件系統來存儲海量數據。
下面介紹下常用的NoSQL和分布式文件系統。
NoSQL
互聯網行業常用的NoSQL有:HBase、MongoDB、Couchbase、LevelDB。
HBase是Apache Hadoop的子項目,理論依據為Google論文 Bigtable: A Distributed Storage System for Structured Data開發的。HBase適合存儲半結構化或非結構化的數據。HBase的數據模型是稀疏的、分布式的、持久穩固的多維map。HBase也有行和列的概念,這是與RDBMS相同的地方,但卻又不同。HBase底層採用HDFS作為文件系統,具有高可靠性、高性能。
MongoDB是一種支持高性能數據存儲的開源文檔型資料庫。支持嵌入式數據模型以減少對資料庫系統的I/O、利用索引實現快速查詢,並且嵌入式文檔和集合也支持索引,它復制能力被稱作復制集(replica set),提供了自動的故障遷移和數據冗餘。MongoDB的分片策略將數據分布在伺服器集群上。
Couchbase這種NoSQL有三個重要的組件:Couchbase伺服器、Couchbase Gateway、Couchbase Lite。Couchbase伺服器,支持橫向擴展,面向文檔的資料庫,支持鍵值操作,類似於SQL查詢和內置的全文搜索;Couchbase Gateway提供了用於RESTful和流式訪問數據的應用層API。Couchbase Lite是一款面向移動設備和「邊緣」系統的嵌入式資料庫。Couchbase支持千萬級海量數據存儲
分布式文件系統
如果針對單個大文件,譬如超過100MB的文件,使用NoSQL存儲就不適當了。使用分布式文件系統的優勢在於,分布式文件系統隔離底層數據存儲和分布的細節,展示給用戶的是一個統一的邏輯視圖。常用的分布式文件系統有Google File System、HDFS、MooseFS、Ceph、GlusterFS、Lustre等。
相比過去打電話、發簡訊、用彩鈴的「老三樣」,移動互聯網的發展使得人們可以隨時隨地通過刷微博、看視頻、微信聊天、瀏覽網頁、地圖導航、網上購物、外賣訂餐等,這些業務的海量數據都構建在大規模網路雲資源池之上。當14億中國人把衣食住行搬上移動互聯網的同時,也給網路雲資源池帶來巨大業務挑戰。
首先,用戶需求動態變化,傳統業務流量主要是端到端模式,較為穩定;而互聯網流量易受熱點內容牽引,數據流量流向復雜和規模多變:比如雙十一購物狂潮,電商平台訂單創建峰值達到58.3萬筆,要求通信網路提供高並發支持;又如優酷春節期間有超過23億人次上網刷劇、抖音拜年短視頻增長超10倍,需要通信網路能夠靈活擴充帶寬。面對用戶動態多變的需求,通信網路需要具備快速洞察和響應用戶需求的能力,提供高效、彈性、智能的數據服務。
「隨著通信網路管道十倍百倍加粗、節點數從千萬級逐漸躍升至百億千億級,如何『接得住、存得下』海量數據,成為網路雲資源池建設面臨的巨大考驗」,李輝表示。一直以來,作為新數據存儲首倡者和引領者,浪潮存儲攜手通信行業用戶,不斷 探索 提速通信網路雲基礎設施的各種姿勢。
早在2018年,浪潮存儲就參與了通信行業基礎設施建設,四年內累計交付約5000套存儲產品,涵蓋全快閃記憶體儲、高端存儲、分布式存儲等明星產品。其中在網路雲建設中,浪潮存儲已連續兩年兩次中標全球最大的NFV網路雲項目,其中在網路雲二期建設中,浪潮存儲提供數千節點,為上層網元、應用提供高效數據服務。在最新的NFV三期項目中,浪潮存儲也已中標。
能夠與通信用戶在網路雲建設中多次握手,背後是浪潮存儲的持續技術投入與創新。浪潮存儲6年內投入超30億研發經費,開發了業界首個「多合一」極簡架構的浪潮並行融合存儲系統。此存儲系統能夠統籌管理數千個節點,實現性能、容量線性擴展;同時基於浪潮iTurbo智能加速引擎的智能IO均衡、智能資源調度、智能元數據管理等功能,與自研NVMe SSD快閃記憶體檔進行系統級別聯調優化,讓百萬級IO均衡落盤且路徑更短,將存儲系統性能發揮到極致。
「為了確保全球最大規模的網路雲正常上線運行,我們聯合用戶對存儲集群展開了長達數月的魔鬼測試」,浪潮存儲工程師表示。網路雲的IO以虛擬機數據和上層應用數據為主,浪潮按照每個存儲集群支持15000台虛機進行配置,分別對單卷隨機讀寫、順序寫、混合讀寫以及全系統隨機讀寫的IO、帶寬、時延等指標進行了360無死角測試,達到了通信用戶提出的單卷、系統性能不低於4萬和12萬IOPS、時延小於3ms的要求,產品成熟度得到了驗證。
以通信行業為例,2020年全國移動互聯網接入流量1656億GB,相當於中國14億人每人消耗118GB數據;其中春節期間,移動互聯網更是創下7天消耗36億GB數據流量的記錄,還「捎帶」打了548億分鍾電話、發送212億條簡訊……海量實時數據洪流,在網路雲資源池(NFV)支撐下收放自如,其中分布式存儲平台發揮了作用。如此樣板工程,其巨大示範及拉動作用不言而喻。
4. 硬碟的數據吞吐量性能是什麼意思
性能評價指標:SAN(Storage Area Network, 存儲區域網路)和NAS存儲(Network Attached Storage,網路附加存儲)一般都具備2個評價指標:IOPS和帶寬(throughput),兩個指標互相獨立又相互關聯。體現存儲系統性能的最主要指標是IOPS。下面,將介紹一下這兩個參數的含義。
IOPS(Input/Output Per Second)即每秒的輸入輸出量(或讀寫次數),是衡量磁碟性能的主鎮扮要指標之一。IOPS是指單位時間內系統能處理的I/O請求數量,I/O請求通常為讀或寫數據操作請求。隨機讀寫頻繁的應用,如OLTP(Online Transaction Processing),IOPS是關鍵衡量指標。另一個重要指標是數據吞吐量(Throughput),指單位時間內可以成功傳輸的數據數量。對於大量順序讀寫的應用,如VOD(Video On Demand),則更關注吞吐量指標。
簡而言之:磁碟的 IOPS,也就是在一秒內,磁碟進行多少次 I/O 讀寫。
磁碟的吞吐量,也就是每秒磁碟 I/O 的流量,即磁碟寫入加上讀出的數據的大小。
IOPS 與吞吐量的關系:
每秒 I/O 吞吐量= IOPS* 平均 I/O SIZE。從公式可以看出: I/O SIZE 越信念大,IOPS 越高,那麼每秒 I/O 的吞吐量就越高。因此,我們會認為 IOPS 和吞吐量的數值越高越好。實際上,對於一個磁碟來講,這兩個參數均有其最大值,而且這兩個參數也存在著一定的關系。
IOPS可細分為如下幾個指標:
Toatal IOPS,混滑旅困合讀寫和順序隨機I/O負載情況下的磁碟IOPS,這個與實際I/O情況最為相符,大多數應用關注此指標。
Random Read IOPS,100%隨機讀負載情況下的IOPS。
Random Write IOPS,100%隨機寫負載情況下的IOPS。
Sequential Read IOPS,100%順序讀負載情況下的IOPS。
Sequential Write IOPS,100%順序寫負載情況下的IOPS
5. 淺談區塊鏈存儲和流量技術積累—真正WEB3的時代即將來臨
現代 社會 對存儲和流量技術有哪些突破進步呢?下面簡單給大家梳理一下。
目前的互聯網都是中心化的流量和存儲。隨著世界發展,誕生了bt網路,bt網路是一套分布式的存儲和流量系統。但是也有它的局限性,第一,bt網路只能對單個文件進行傳輸和分享。第二,bt網路並沒有激勵機制,簡單來說就是大家加入bt網路,但是並沒有主動去保存,分發文件的意願,因為這對於參與者來說是沒有好處的。
隨著bt網路缺陷的暴露,誕生了IPFS。也就是Filecoin項目方協議實驗室研發的IPFS系統。IPFS是bt網路的升級版。它於bt網路的基礎上加入了文件夾系統。在IPFS系統中,可以直接傳輸和分享文件夾。其他人也可以直接從文件夾里瀏覽相關數據和文件等等。
但是IPFS和bt網路一樣,存在幾個方面的問題。第一:沒有激勵體系。第二:文件在傳輸的初期,由於存儲文件的節點非常少,效率非常低下。比如A上傳一個文件,B需要檢索,只能從A檢索。因此效率很低,如果C要檢索,只能從A,B這兩個節點檢索。如果A,B都關機的話,文件將不會被檢索到。這就是IPFS和bt網路存在的問題,它們初期傳輸效率及其低下,只有文件被無數次檢索,在節點中廣泛分布的時候,傳輸速度才會變得非常快速。所以bt網路和IPFS系統,它們都是一個由慢到快的過程。如果檢索一個在節點中分布比較少的文件的話,檢索能力是非常弱的,傳輸速度也很慢。為了解決這個激勵機制的問題,協議實驗室他們開發了Filecoin這一條供應鏈。
Filecoin和IPFS是兩個概念,Filecoin其實是將現實中的IPFS搬上區塊鏈。而區塊鏈特點是去中心化,節點之間是互不信任的,節點間傳輸的數據,都要重新驗算一遍。這導致區塊鏈的性能非常低下。IPFS上鏈以後就形成了Filecoin。因此Filecoin也受制於區塊鏈性能的影響,導致無法對有效數據進行撮合,也沒有辦法實行高效檢索。而Filecoin實現了數據在區塊鏈上的存儲,這個是一個非常重大的貢獻。隨後又出現了SWARM和BZZ,但BZZ由於沒有爆塊激勵機制,只有一個流量的結算系統,目前看來是失敗的。但是BZZ相對比IPFS和Filecoin,也做出了一定改進:一套主動分發的機制。舉個例子:當我上傳一個視頻,該視頻會被節點主動分發。視頻就會迅速緩存到多個節點。因此BZZ在流量的結算以及高效的檢索上都有非常突出的貢獻。雖然它留下了技術貢獻,但它仍然是一個失敗的項目。
從目前來看,流量和存儲在區塊鏈領域都已經解決了大部分的問題。其次就是區塊鏈性能的問題。經過多年的進化,Layer0,Layer1,Layer2也經過不斷的實驗。近幾年在Layer1領域的研究已經取得了非常多的成果與包括專利。相信高性能公鏈的突破很快就會出現。
因此,想要建立一套真正類似於web3這樣的區塊鏈網路,應該實現三個方面的突破:第一:高效的檢索。第二:對存儲和流量分別進行激勵。第三則是一定要有授權的訪問體系。授權的訪問體系就類似於大家在看視頻網站時需要支付費用才能獲得數據。在傳統互聯網的世界有很多變現的渠道。而區塊鏈的互聯網世界剛剛成型。因此生態建設者能夠直接獲得一定的收益。這樣才能夠促進生態的繁榮,也能夠讓生態的建設者能夠持續貢獻更多有用的應用,最後,高性能公鏈的突破也是必不可缺的一環。因此具備了以上的四個條件,web3也就離我們越來越近了。
本內容由原創曾波老師授權,未經允許不得擅自修改與轉載
6. Kubernetes 幾種存儲方式性能對比 (轉載)
原文來自:
https://blog.fleeto.us/post/kubernetes-storage-performance-comparison/
摘要
本文展示了一個簡單的存儲對比,使用未經性能優化的多種存儲提供的存儲卷進行測試和比較。
忽略 Azure 的原生 PVC 或hostPath,我們可以得出如下測試結果:
1. Portworx 是 AKS 上最快的容器存儲。
2. Ceph 是私有雲集群上最快的開源存儲後端。對公有雲來說,其操作太過復雜,這些多餘的復雜性並沒有能提供更好的測試表現。
3. OpenEBS 的概念很棒,但是其後端需要更多優化。
如果你正在運行 Kubernetes,你可能正在使用,或者准備使用動態供給的塊存卷 ,而首當其沖的問題就是為集群選擇合適的存儲技術。這個事情並不能用一個簡單的測試來做出簡單的回答,告訴你目前市面上最好的技術是什麼。存儲技術的選擇過程中,集群上運行的負載類型是一個重要的輸入。對於裸金屬集群來說,需要根據實際用例進行選擇,並集成到自己的硬體之中。公有雲中的託管 K8s,例如 AKS、EKS 或者 GKE,都具有開箱可用的塊存儲能力,然而這也不見得就是最好的選擇。有很多因素需要考慮,比如說公有雲的 StorageClass 的故障轉移時間太長。例如在 一個針對 AWS EBS 的故障測試中,載入了卷的 Pod 用了超過五分鍾才成功的在另一個節點上啟動。Portworx 或者 OpenEBS 這樣的雲原生存儲產品,正在嘗試解決這類問題。
本文的目標是使用最常見的 Kubernetes 存儲方案,進行基本的性能對比。我覺得在 Azure AKS 上使用下列後端:
AKS 原生 Storageclass:
1.Azure native premium
2.使用 cStor 後端的 OpenEBS
3.Portworx
4.Heketi 管理的 Gluster
5.Rook 管理的 Ceph