當前位置:首頁 » 存儲配置 » 福州數據分布式存儲平台

福州數據分布式存儲平台

發布時間: 2023-04-29 01:51:54

A. 區塊鏈分布式存儲:生態大數據的存儲新模式

區塊鏈,當之無愧的2019最靚的詞,在 科技 領域閃閃發亮,在實體行業星光熠熠。

2019年的1024講話,讓區塊鏈這個詞煥然一新,以前它總是和傳銷和詐騙聯系在一起,「區塊鏈」這個詞總是蒙上一層灰色。但是如今,區塊鏈則是和實體經濟融合緊密相連,成為國家的戰略技術, 這個詞瞬間閃耀著熱情的紅色和生意盎然的綠色

「產業區塊鏈」在這個時代背景下應運而生, 是繼「互聯網」後的又一大熱門詞彙,核心就是區塊鏈必須和實體產業融合,脫虛向實,讓區塊鏈技術找到更多業務場景才是正道。

區塊鏈的本質就是一個資料庫,而且是採用的分布式存儲的方式。作為一名區塊鏈從業者,今天就來講講 區塊鏈的分布式存儲和生態大數據 結合後,碰撞產生的火花。

當前的存儲大多為中心化存儲,存儲在傳統的中心化伺服器。如果伺服器出現宕機或者故障,或者伺服器停止運營,則很多數據就會丟失。

比如我們在微信朋友圈發的圖片,在抖音上傳的視頻等等,都是中心化存儲。很多朋友會把東西存儲在網上,但是某天打開後,網頁呈現404,則表示存儲的東西已經不見了。

區塊鏈,作為一個分布式的資料庫,則能很好解決這方面的問題。這是由區塊鏈的技術特徵決定了的。 區塊鏈上的數字記錄,不可篡改、不可偽造,智能合約讓大家更高效地協同起來,從而建立可信的數字經濟秩序,能夠提高數據流轉效率,打破數據孤島,打造全新的存儲模式。

生態大數據,其實和我們每天的生活息息相關,比如每天的天氣預報,所吃的農產品的溯源數據等等,都是生態大數據的一部分。要來談這個結合,首先咱們來看看生態大數據存儲的特點。

伴隨著互聯網的發展,當前,生態大數據在存儲方面有具有如下特點:

從數據規模來看,生態數據體量很大,數據已經從TB級躍升到了PB級別。

隨著各類感測器技術、衛星遙感、雷達和視頻感知等技術的發展,數據不僅來源於傳統人工監測數據,還包括航空、航天和地面數據,他們一起產生了海量生態環境數據。近10年以來,生態數據以每年數百個TB的數據在增長。

生態環境大數據需要動態新數據和 歷史 數據相結合來處理,實時連續觀測尤為重要。只有實時處理分析這些動態新數據,並與已有 歷史 數據結合起來分析,才能挖掘出有用信息,為解決有關生態環境問題提供科學決策。

比如在當前城市建設中,提倡的生態環境修復、生態模型建設中,需要大量調用生態大數據進行分析、建模和制定方案。但是目前很多 歷史 數據因為存儲不當而消失,造成了數據的價值的流失。

既然生態大數據有這些特點,那麼它有哪些存儲需求呢?

當前,生態大數據面臨嚴重安全隱患,強安全的存儲對於生態大數據而言勢在必行。

大數據的安全主要包括大數據自身安全和大數據技術安全,比如在大數據的數據存儲中,由於黑客外部網路攻擊和人為操作不當造成數據信息泄露。外部攻擊包括對靜態數據和動態數據的數據傳輸攻擊、數據內容攻擊、數據管理和網路物理攻擊等。

例如,很多野外生態環境監測的海量數據需要網路傳輸,這就加大了網路攻擊的風險。如果涉及到軍用的一些生態環境數據,如果被黑客獲得這些數據,就可能推測到我國軍方的一些信息,或者獲取敏感的生態環境數據,後果不堪設想。

生態大數據的商業化應用需要整合集成政府、企業、科研院所等 社會 多來源的數據。只有不同類型的生態環境大數據相互連接、碰撞和共享,才能釋放生態環境大數據的價值。

以當前的智慧城市建設為例,很多城市都在全方位、多維度建立知識產權、種質資源、農資、農產品、病蟲害疫情等農業信息大數據中心,為農業產供銷提供全程信息服務。建設此類大數據中心,離不開各部門生態大數據的共享。

但是,生態大數據共享面臨著巨大挑戰。首先,我國生態環境大數據包括氣象、水利、生態、國土、農業、林業、交通、 社會 經濟等其他部門的大數據,涉及多領域多部門和多源數據。雖然目前這些部門已經建立了自己的數據平台,但這些平台之間互不連通,只是一個個的數據孤島。

其次,相關部門因為無法追蹤數據的軌跡,擔心數據的利益歸屬問題,便無法實現數據的共享。因此,要想挖掘隱藏在生態大數據背後的潛在價值,實現安全的數據共享是關鍵,也是生態大數據產生價值的前提和基礎。

生態大數據來之不易,是研究院所、企業、個人等 社會 來源的集體智慧。

其中,很多生態大數據涉及到了知識產權的保護。但是目前的中心化存儲無法保證知識產權的保護,無法對數據的使用進行溯源管理,容易造成知識產權的侵犯和隱私數據的泄露。

這些就是生態大數據在存儲方面的需求。在當前產業區塊鏈快速發展的今天,區塊鏈的分布式存儲是可以為生態大數據存儲提供全新的存儲方式的。 這個核心前提就是區塊鏈的分布式存儲、不可篡改和數據追蹤特性

把區塊鏈作為底層技術,搭建此類平台,專門存儲生態大數據,可以設置節點管理、存儲管理、用戶管理、許可管理、業務通道管理等。針對上層業務應用提供高可用和動態擴展的區塊鏈網路底層服務的實現。在這個平台的應用層,可以搭建API介面,讓整個平台的使用靈活可擴展。區塊鏈分布式存儲有如下特點:

利用區塊鏈的分布式存儲,能夠實現真正的生態大數據安全存儲。

首先,數據永不丟失。這點對於生態大數據的 歷史 數據特別友好,方便新老數據的調用和對比。

其次,數據不易被泄露或者攻擊。因為數據採取的是分布式存儲,如果遭遇攻擊,也只能得到存儲在部分節點里的數據碎片,無法完全獲得完整的數據信息或者數據段。

區塊鏈能夠實現生態數據的存儲即確權,這樣就能夠避免知識產權被侵害,實現安全共享。畢竟生態大數據的獲取,是需要生態工作者常年在野外駐守,提取數據的。

生態大數據來之不易,是很多生態工作者的工作心血和結晶,需要得到產權的保護,讓數據體現出應用價值和商業價值,保護生態工作者的工作動力,讓他們能夠深入一線,採集出更多優質的大數據。

同時,利用區塊鏈的數據安全共享機制,也能夠打破氣象、林業、濕地等部門的數據壁壘,構建安全可靠的數據共享機制,讓數據流轉更具價值。

現在有部分生態工作者,為了牟取私利,會將生態數據篡改。如果利用區塊鏈技術,則沒有那麼容易了。

利用加密技術,把存儲的數據放在分布式存儲平台進行加密處理。如果生態大數據發生變更,平台就可以記錄其不同版本,便於事後追溯和核查。

這個保護機制主要是利用了數據的不可篡改,滿足在使用生態大數據的各類業務過程中對數據的安全性的要求。

區塊鏈能夠對數據提供安全監控,記錄應用系統的操作日誌、資料庫的操作日誌數據,並加密存儲在系統上,提供日誌預警功能,對於異常情況通過區塊鏈瀏覽器展示出來,便於及時發現違規的操作和提供證據。

以上就是區塊鏈的分布式存儲能夠在生態大數據方面所起的作用。未來,肯定會出現很多針對生態大數據存儲的平台誕生。

生態大數據是智慧城市建設的重要基礎資料 ,引用區塊鏈技術,打造相關的生態大數據存儲和管理平台,能夠保證生態大數據的安全存儲和有效共享,為智慧城市建設添磚加瓦,推動產業區塊鏈的發展。

作者:Justina,微信公眾號:妙譯生花,從事於區塊鏈運營,擅長內容運營、海外媒體運營。

題圖來自Unsplash, 基於CC0協議。

B. 國內一流的分布式存儲廠商有哪些

杉岩數據是其中之一。

作為一款國產分布式存儲軟體產品,技術架構上採用業內領先的全分布式高可用設計,全平台無單點故障,並且可以提供文件存儲、塊存儲和對象存儲三種不同類型的存儲模塊。

這些存儲模塊可以靈活的組合搭配,提供快速簡便的訪問方式,滿足新一代應用的敏捷開發需求,能夠根據應用的發展進行靈活的彈性擴展。

提供了全語義、跨協議數據訪問,幫助企業打通數據孤島、實現傳統應用間的數據共享,一體化極簡架構與分鍾級擴容、秒級數據檢索,加速企業上雲轉型。在數據安全和價值發掘領域,採用全國密演算法,確保數據絕對的安全。

(2)福州數據分布式存儲平台擴展閱讀:

杉岩數據優勢

1、多種數據冗餘模式

杉岩數據提供多副本和糾刪碼兩種數據冗餘策略,多副本策略以數據鏡像的方式提供數據冗餘,確保冗餘數據的完整性,同時也縮短了數據讀取路徑。

2、完善的容災體系

存儲系統支持多站點容災機制、數據跨地域存放、延展集群、非同步災備,保證數據的安全性和最高空間利用率,極大的降低RPO和RTO。

3、數據脫敏

USP採用數據脫敏技術,幫助企業提高安全性和保密等級,防止數據被濫用。同時幫助企業符合安全性規范要求,以及由管理/審計機關所要求的隱私標准。

C. 分布式存儲排名前十名有哪些

一、 Ceph

Ceph最早起源於Sage就讀博士期間的工作、成果於2004年發表,並隨後貢獻給開源社區。經過多年的發展之後,已得到眾多雲計算和存儲廠商的支持,成為應用最廣泛的開源分布式存儲平台。
二、 GFS

GFS是google的分布式文件存儲系統,是專為存儲海量搜索數據而設計的,2003年提出,是閉源的分布式文件系統。適用於大量的順序讀取和順序追加,如大文件的讀寫。注重大文件的持續穩定帶寬,而不是單次讀寫的延遲。
三、 HDFS

HDFS(Hadoop Distributed File System),是一個適合運行在通用硬體(commodity hardware)上的分布式文件系統,是Hadoop的核心子項目,是基於流數據模式訪問和處理超大文件的需求而開發的。該系統仿效了谷歌文件系統(GFS),是GFS的一個簡化和開源版本。

D. 國內的分布式存儲公司有哪些

瑞馳憑借自主可控、成熟、穩定的大數據及雲計算產品,提供豐富、完善、應需而變的全套解決方案。vCluster分布式存儲系列採用先進的分布式架構,將一個任務分給多個存儲節點並行處理,大大提高了存儲效率。我的答案能否幫你解決問題,如果能希望能採納下

E. 國內的分布式存儲公司有哪些

杉岩數據,專注軟體定義存儲,目前,杉岩數據軟體定義存儲系列產品主要為統一存儲平台(SandStoneUSP)、海量對象存儲(SandStoneMOS)、超融合一體機(SandStoneHyperCube),已經在政府、企業、醫療、教育、金融和運營商等多個行業近百家用戶中成功部署。杉岩數據與Intel、Mellanox和三星等基礎架構技術領導廠商均有緊密的研發合作關系,在產品創新、用戶體驗、性能及可靠性等方面將不斷提升和優化,力爭成為中國領先的軟體定義存儲領導廠商。

F. 國內知名的數據存力供應商有哪些浪潮存儲是不是

當然是,浪潮存儲是中國最大的數據存力供應商,基於存儲平台戰略,浪潮存儲可提供分布式存儲、集中式存儲、備份和歸檔存儲四大平台型產品,目前已經助力能源行業提升生產運營效率,並贏得了客戶的廣泛好評。

G. 分布式數據平台Data Mesh

自 2010 年左右興起到現在,微服務(Microservices)已經成為事實上的軟體架構範式,被企業廣泛採用,並引發了圍繞面向領域設計模式優缺點的激烈討論。如今,這股浪潮開始席捲數據領域。

Data Mesh 是一種基於領域驅動和自服務的數據架構設計新模式,借鑒了微服務和 Service Mesh 的分布式架構思想,最初源於 ThoughtWorks 首席技術顧問 Zhamak Dehghani 發表在 MartinFowler 官網上的兩篇文章《How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh》和《Data Mesh Principles and Logical Architecture》。

ThoughtWorks 在 2020 年 10 月發布的技術雷達中,將 Data Mesh 從「評估」調升到了「試驗」(ThoughtWorks 對「試驗」階段的技術的建議是:「值得一試。了解為何要構建這一能力是很重要的。企業應當在風險可控的前提下在項目中嘗試應用此項技術。」),這意味著 Data Mesh 已經通過可行性驗證,轉而進入建議採納階段。據了解,包括 Zalando、Intuit、Netflix、JPMorgan Chase 等公司都已經在嘗試實踐 Data Mesh 這個概念。

但對於國內開發者來說,很多人聽過 Service Mesh,甚至有不少人已經在實踐 Service Mesh 了,對 Data Mesh 卻知之甚少。圍繞 Data Mesh 的理念和架構設計、它能解決現有數據架構的哪些問題、現在是不是採用 Data Mesh 的好時機等話題,InfoQ 記者在 2021 ThoughtWorks 技術雷達峰會現場采訪了 ThoughtWorks 數據智能團隊技術負責白發川,一探 Data Mesh 究竟。

1從微服務的視角看數據架構

沒有一個概念是無緣無故憑空冒出來的,Data Mesh 的誕生也是基於對企業數據平台架構現狀和弊端的反思而提出來的。

企業數據平台的演進大致可以分為三個重要階段:

第一階段,專有的企業數據倉庫和商業智能平台;第二階段,以數據湖為代表的大數據生態系統;第三階段,雲上數據平台,也是當前主流的混合實踐模式,包含實時數據流處理架構、整合批處理與流處理的框架,以及完全採用基於雲的存儲託管服務、數據流水線執行引擎和機器學習平台。而這些數據平台架構存在一些共性的挑戰:

難以啟動:缺少用例支持,無法獲得業務支持;長時間的數據湖設計與技術評估;需要統一組織內多個業務或技術部門;數據源難以規模化:缺少手段對錯綜復雜的源數據物跡系統進行疏浚與管理;難以跟上不斷增長的數據源系統規模;數據消費難以規模化:數據平台項目跟不上企業創新要求;用例過窄,難以滿足規模化需求;平台能力跟不上錯綜復雜的用例需求;數據難以商業化:極高的開發和運營成本;難以將數據平台真正轉化為商業競爭力;難以形成創新文化。這背後的根本原因在於,從業務的視角來看,企業數據平台架構從第一到第三階段的演進其實一直延續著黑盒、集中式、單體架構的核心模式,由獨立且專業化的數據工程師團隊維護,業務方的可操控性非常弱,數據團隊很容易成為響應的瓶頸。

實際上,當前數據架構面臨的挑戰,與微服務架構之前的單體軟體所面臨的挑戰非常類似:

基喚友礎設施法響應業務彈性需和螞槐求:單體數據架構下,基礎設施資源所有業務共享,進集中式的管理和維護,法基於業務需求靈活進資源調整;數據商業化成本:加數據以產品思路對數據進處理,因此部分數據處理結果集法以商品的形式度量其業務價值;數據處理流線復成本:每個數據流線為獨的數據作空間上下,跨流線的 數據結果或者中間結果需要進復時成本較,難度較;數據處理成本較:單體數據架構模式下,部分的數據處理作進集中統管理,在涉及更多業務場景持、更多團隊協作下,數據處理的成本較。Data Mesh 試圖基於微服務的架構思想設計數據架構,來解決上述問題。

2Data Mesh 核心思路和架構邏輯

Data Mesh 實際上是一組數據平台架構原則,融合了分布式領域驅動的架構(Distributed Domain Driven Architecture)、自助平台設計(Self-serve Platform Design)以及將數據視為產品(Thinking Data as a Proct)的思維。

有別於數據倉庫 / 數據湖的集中式單體架構,Data Mesh 是高度分散的數據架構。

對於 Data Mesh 的核心設計思路,白發川將其總結為以下幾點:

從業務域視角出發,將業務解耦之後映射到數據視角,再將數據解耦,減少數據冗餘度;將數據作為產品,使數據服務端到端完備,就像一個微服務一樣,可以被直接訪問和調用;自服務的基礎設施,微服務的成功很大程度上歸功於它有非常成熟的基礎設施,比如 Spring Cloud、K8s 等,而數據的基礎設施相對於微服務的成熟架構還有所缺失,這也是未來需要持續發力的地方;生態治理,站在消費者使用數據的業務鏈調用看數據是怎麼被消費的,制定數據治理規范,讓數據更為透明和易於使用;通過網格編排的思想設計數據走向,使數據產品能夠支持不同模塊、不同域的銜接。

在 Data Mesh 架構下,治理的始終是具有業務價值的數據服務,而不是一個個的原始數據文件。Data Mesh 的架構邏輯如上圖:底層需要可自服務的數據基礎設施,至少具備穩定性和可伸縮性兩項能力;基礎設施之上,面向域構建一個個端到端的數據消費服務提供給上層業務,可以認為每一個服務對應的就是一個數據產品,比如某個數據倉庫可能抽象成 Data Mesh 中的一個 Data Service,每一個 Data Service 會包含算力、存儲和服務這三項。不同的數據服務之間會有一個數據服務注冊和調度中心,可以讓不同的 Data Service 形成業務所需要的一系列數據服務編排。另外,圍繞數據服務中心會形成數據授信訪問申請、元數據管理、數據服務管理等一系列能力。

如果從軟體架構的視角來理解 Data Mesh,則微服務映射過來就是 Data Service,基於微服務編排設計出來的 Application 映射過來就是 Data Proct,基於很多 Application 編排生成的網格 Service Mesh 映射過來就是 Data Mesh。

Data Mesh 目前有兩種落地形態,一種是閉環服務,也就是一個平台提供工具的同時還提供結果管理服務,並且只能在平台內部完成全生命周期的管理,即 Data as a Service;另一種形態則是平台提供數據和工具能力,但是工具能力為可選項,業務可以使用自己的工具,也可以使用平台的工具,即 Data Platform as a Service。

3會改變數據團隊的工作嗎?

同為大數據領域近幾年誕生的新概念,Data Mesh、數據中台、湖倉一體可能會讓很多人感到困惑:這三者有什麼本質區別呢?

針對 Data Mesh 和數據中台的區別,白發川認為,數據中台是一個概念而非架構形態,它更多強調的是站在業務視角思考企業數據消費的形態,在通過數據中台理念梳理完數據的消費模式、業務場景之後,最終還需要用一個架構來承載和實現。而 Data Mesh 可以作為數據中台的一種實踐形態。

針對 Data Mesh 和湖倉一體的區別,白發川則表示,湖倉一體主要是基於數據倉庫、數據湖這樣的成熟架構做整合,從體驗和交互上來說減少了做一件事情需要完成的步驟,屬於優化式架構,但它解決的問題只在於技術維度,解決不了業務團隊瓶頸問題,也解決不了基礎設施和業務解耦的問題。而 Data Mesh 首先從基礎設施層面對架構做了一些調整,同時還定義了在這個架構下的團隊分工協作。從架構層面來看,數據湖、數據倉庫、湖倉一體跟 Data Mesh 實際上是可以並存的,而非對立或替代關系,在 Data Mesh 架構中,數據湖、數倉可能被包含在一個個 Data Service 中。

從另一個維度來看,數據湖、數據倉庫或者湖倉一體架構的主要受眾是企業的數據團隊,只有數據團隊需要關注這些架構。但 Data Mesh 的受眾是數據團隊和業務團隊,他們都需要關心這個架構,這也是一個明顯的差別。

Data Mesh 將數據所有權上移給了負責某一項功能的業務團隊,他們可以按照自己更便於使用的方式去創建、接觸元數據,對數據進行分類和存儲。對應 Data Mesh 的架構來看,業務團隊負責創建自己需要的 Data Service,而數據團隊的工作更聚焦於底層數據基礎設施,包括為 Data Service 初始化工作空間、將雲廠商的組件和企業自己的底層平台能力組合包裝成業務可用的方式(可以理解為迷你版的雲)、Data Service 之間的調用能力封裝等等。

這是否意味著 Data Mesh 改變了企業數據團隊原有的工作內容呢?

白發川對此給出了否定答案,他認為,現在很多行業都在談數字化轉型,但當企業說數字化轉型的時候,通常發生改變的只有數據團隊,而業務團隊卻不受影響,這是有問題的。數字化並不等於數字團隊,Data Mesh 實際上更好地定義了,當企業需要數據能力的時候,業務團隊應該做什麼樣的改變。原來大家會籠統地認為凡是數據相關的都由數據團隊做,導致整個數據團隊從基礎設施到業務完全耦合在一起。Data Mesh 其實是把數據團隊和業務團隊的職責邊界做了更清晰的劃分,使數據團隊的職責更加聚焦和精簡,從技術角度看對數據團隊當前的工作不會有特別大的影響。不過過程中可能會涉及到一些人員的調整,比如原來數據團隊中負責業務相關數據分析工作的人員會直接劃到業務團隊去,而關注業務無關的基礎設施的人員則繼續留在數據團隊中。

4現在是採用 Data Mesh 的好時機嗎?

前文提到,包括 Zalando、Intuit、Netflix、JPMorgan Chase 等公司都已經在嘗試實踐 Data Mesh,但 Data Mesh 還不是一個適合所有企業廣泛採納的架構模式。盡管 ThoughtWorks 推薦「採納」Data Mesh,但這一推薦有一個重要前提,即「風險可控」。

白發川表示,當下企業落地 Data Mesh 主要的難點和風險可以從兩個角度來看:一是規劃視角,需要評估對數據架構做改造的投入產出比;二是技術視角,過去從數據倉庫到數據湖的轉變可以認為是替代式架構(不是從數據倉庫演進到數據湖,而是造一個全新的),而 Data Mesh 屬於演進式架構,改造的模式和設計的思維方式都與從前不同,目前行業內在大數據演進式架構改造的人才和經驗方面相對都是有缺失的。

其中,性價比是企業在考慮是否採用 Data Mesh 時首先要考慮的。不管是微服務也好,Data Mesh 也好,都存在一個最基本的底線成本。回顧前文提過的 Data Mesh 架構,它需要基於底層彈性基礎設施來打造,可以認為雲是做 Data Mesh 的起點,如果企業當前的數據架構不是基於雲來做的,那從當前架構迭代到 Data Mesh 架構的過程中就需要更多改造步驟,比如要先做彈性化改造,這樣初步投入的成本就會變高。此外,構建 Data Mesh 需要的投資還包括構建自服務的數據平台、支持對領域進行組織結構變更以長期維護其數據產品,以及一個激勵機制,來獎勵將數據作為產品提供和使用的領域團隊等等。如果企業衡量改造的投入產出比之後,發現收益無法超過成本,可能 Data Mesh 就不適合。

除了考慮性價比問題,白發川建議企業基於三個維度來評估自己是否應該採用 Data Mesh,分別是規模化、常態化和高門檻。其中,規模化指的是企業存在大量的領域且數據接入、數據消費規模都非常龐大,比如有大量產生數據的系統和團隊,或者多種數據驅動的用戶場景和訪問模式;常態化指的是數據的使用頻率很高,而不是一次性的;高門檻指的是企業需要非常精通大數據的技術人員來駕馭自己的數據架構。如果這三點都符合,就意味著企業需要考慮數據團隊和業務團隊之間的分工問題了,Data Mesh 可能是一個解決辦法。同時企業也需要結合自身的業務現狀來評估,如果企業已經做了數據倉庫、做了數據湖,但在前述三個維度下業務仍然出現了明顯的不可工作或協作瓶頸導致數據平台跟不上業務發展節奏,那這可能就是一個考慮採用 Data Mesh 的比較好的時機點;反之,如果業務本身毫無問題,也就沒有改造的必要了。

據白發川介紹,目前國內外有很多企業都已經在嘗試實踐 Data Mesh 的架構理念,尤其是一些數據規模特別龐大的企業,他們已經碰到集中式單體數據架構的瓶頸,開始探索向面向域的分布式數據架構轉變以解決問題,只是他們可能沒有將這個概念抽象總結成 Data Mesh。

當提及 Data Mesh 未來應用推廣道路上可能遇到的挑戰時,白發川特別強調了組織架構方面可能存在挑戰。如前文所述,Data Mesh 並不僅針對數據團隊,也不是數據團隊單獨就能做好的,它其實對應探討的是在企業的業務上下文裡面一種比較好的協作方式是什麼樣子的,需要幾個團隊承擔什麼職責才能做好這件事,並延伸到現有的團隊需要做什麼樣的調整,以及在這樣的調整下需要一套什麼樣的基礎設施或軟體來支持他們的工作。在白發川看來,數據中台、Data Mesh 都屬於所謂的「CXO 工程」,Data Mesh 也需要企業自頂向下達成共識、形成決策並通過組織結構調整提供支持,否則可能也會遭遇類似於中台戰略無法在企業順利落地的窘境。

Data Mesh 標志著大規模數據分析架構和組織範式的轉變,但要加速 Data Mesh 的實現,在開源或商業工具上仍存在巨大的缺口。對比微服務有 K8s,Service Mesh 有 Istio、Linkerd,目前還沒有一款合適的工具可以幫助企業快速應用 Data Mesh。雖然使用現有技術作為基本構建塊也是可行的,但在成熟的基礎設施工具出現之前,很多企業可能還是會選擇繼續觀望。

From https://jiahao..com/s?id=1701002572280097452&wfr=spider&for=pc

H. 國內有哪些知名的分布式存儲廠商

目前主流的分布式存儲廠商主要分兩類:

  • 自主研發,比如國內的主要有 SmartX,華為,國外的主要有 vSAN ,Nutanix;

  • 基於開源的 Ceph 研發,比如 XSKY,杉岩,深信服。

I. 國內做分布式存儲研發的公司有哪些

做過一些集成項目,國內集群NAS(分布式文件系統)這塊了解一些,隨便說說,僅限於通用集群NAS

宣傳自研集群NAS的公司不少,OEM居多,做研發的不多,完全自研就更少了

列一些接觸過,完全自研,產品化程度相對高一些的吧

大一點的,華為(oceanstor9000),曙光(parastor)

市場上見的比較多了

小一點的,龍存,這個算是老牌子了

聚存,這個知道的人不多

基於ceph的公司這幾年不少,用過其中一家的東西,塊這塊還行,文件這塊還需要時間

分布式存儲其實是一個比較大的領域

有分布式資料庫、分布式文件如隱系統、分布式塊(ServerSAN)、分布式對象存儲渣粗廳之類

做的公司挺多,不過真正都凳亮自己的代碼的挺少,很多都是開源改的

分布式數據來說一般互聯網公司用的多,像阿里,騰訊、網路都有自己分布式資料庫

國內做分布式文件系統來說,數中科院的一幫人做的最早

從中科院出來人基本的分為三家,曙光,龍存,達沃

這三家基本都屬於自研並且應用時間都在國內來說時間最久了

也有像華為、淘寶、網路、騰訊的文件系統

J. 國內較好的分布式雲存儲產品有哪些

阿里雲的分布式存儲系統盤古是自主研發的代表,支撐了大多數阿里雲的存儲和計算產品。
網路,github上有個開源的分布式文件系統,但是感覺跟工業級差別比較大。
騰訊,PaxosStore應該算一個。
華為,好多做存儲的團隊,有使用開源的,有自研的。
雲科數據,YK4000及YK6000的兩款超融合一體機的市場前景頗為看好,這與其行業領先、與世界同步的技術優勢不無關系,採用了核心分布式存儲軟體EMC ScaleIO,搭建起與谷歌、Facebook、亞馬遜等 Web大規模的公有雲相同的基礎架構。
大公司應該都有能力和資源自己寫分布式存儲系統,就看如何打磨得更適合自己的業務特點了。

熱點內容
phpmulticurl 發布:2025-02-12 01:41:58 瀏覽:70
資料庫的集群 發布:2025-02-12 01:36:55 瀏覽:633
c語言實驗買糖果 發布:2025-02-12 01:36:54 瀏覽:263
安卓怎麼轉微信到iphone 發布:2025-02-12 01:36:22 瀏覽:385
大眾朗逸哪個配置好點 發布:2025-02-12 01:25:41 瀏覽:68
引用jar怎麼發布到伺服器 發布:2025-02-12 01:07:44 瀏覽:334
舊電腦開伺服器 發布:2025-02-12 01:02:50 瀏覽:278
電腦伺服器兩個電源什麼意思 發布:2025-02-12 00:55:15 瀏覽:221
linux外網不能訪問埠 發布:2025-02-12 00:55:13 瀏覽:439
安卓系統哪裡可以看充電次數 發布:2025-02-12 00:53:53 瀏覽:724