開源文件存儲服務
❶ 如何建立單位內部雲存儲伺服器
看雲存儲的需求,是做雲盤,做大文件存儲,小文件存儲,或者塊讀寫等等。
開源系統就不少,自己建的話,省錢就用開源。
OpenStack裡面有Swift,是一個對象存儲,適合於存放比較小的,以對象為單位的文件。
SeaFile開源雲存儲系統平台是由國人開發的新一代的開源雲存儲系統軟體,SeaFile提供豐富的文件同步和管理功能,搭個網盤是比較方便的。
還有GlusterFS,是一個集群的文件系統,支持 PB 級的數據量。
Ceph,分布式文件系統,支持作為塊設備進行讀寫訪問。
按照教程來,搭建起來不難。當然,要深入使用,解決生產運行中的各種坑,還是需要一定時間的積累的。
我們就是選擇的Swift,然後在此基礎上開發的文檔管理系統。
❷ 在大數量級的數據存儲上,比較靠譜的分布式文件存儲有哪些
一、 Ceph
Ceph最早起源於Sage就讀博士期間的工作、成果於2004年發表,並隨後貢獻給開源社區。經過多年的發展之後,已得到眾多雲計算和存儲廠商的支持,成為應用最廣泛的開源分布式存儲平台。
二、 GFS
GFS是google的分布式文件存儲系統,是專為存儲海量搜索數據而設計的,2003年提出,是閉源的分布式文件系統。適用於大量的順序讀取和順序追加,如大文件的讀寫。注重大文件的持續穩定帶寬,而不是單次讀寫的延遲。
三、 HDFS
HDFS(Hadoop Distributed File System),是一個適合運行在通用硬體(commodity hardware)上的分布式文件系統,是Hadoop的核心子項目,是基於流數據模式訪問和處理超大文件的需求而開發的。該系統仿效了谷歌文件系統(GFS),是GFS的一個簡化和開源版本。
❸ Google的GFS和開源的HDFS是()中的代表性方案
Hadoop項目。
1、HDFS(HadoopDistributedFileSystem),作為GoogleFileSystem(GFS)的實現,是Hadoop項目的核心子項目,是分布式計算中數據存儲管理的基礎,是基於流數據模式訪問和處理超大文件的需求而開發的,可以運行於廉價的商用伺服器上。它所具有的高容錯、高可靠性、高可擴展性、高獲得性、高吞吐率等特徵為海量數據提供了不怕故障的存儲,為超大數據集(LargeDataSet)的應用處理帶來了很多便利。
2、GoogleGFS,BigTable,MapRece稱為Google的三駕馬車,是許多基礎服務的基石GFS於2003年提出,是一個分布式的文件系統,與此前的很多分布式系統的前提假設存在很大的不同,適用於以下場景)認為組件失效是一種常態,提供了容錯機制,自動負載均衡,使得分布式文件系統可以在廉價機器上運行)面向大文件存儲,系統主要的工作負載是大規模的流式讀取,寫操作主要是追加方式寫,很少有隨機寫)一次寫入,多次讀取。
3、開源HDFS。分布式文件存儲系統,源自於Google的GFS論文,HDFS是GFS的克隆版HDFS是Hadoop中數據存儲和管理的基礎,是一個高容錯的系統,能夠自動解決硬體故障。
❹ 小型企業搭建內部網路文件存儲伺服器有哪幾種方法
貴公司可以嘗試一下幾個方案,當然各有各的優勢,具體的還要根據貴公司的具體情況來定
1、使用電腦主機或者伺服器搭建FTP/SAMBA/NFS服務
2、使用NAS網路存儲伺服器
3、使用啟耘Box作為網路文件存儲伺服器
祝貴公司發展越來越好,望貴公司採納。
❺ 文件Fastcompre是什麼
首先簡單了解一下基礎概念,FastDFS是一個開源的輕量級分布式文件系統,由跟蹤伺服器(tracker server)、存儲伺服器(storage server)和客戶端(client)三個部分組成,主要解決了海量數據存儲問題,特別適合以中小文件(建議范圍:4KB < file_size <500MB)為載體的在線服務。FastDFS的系統結構圖如下:
如上圖,FastDFS的兩個核心概念分別是:
Tracker(跟蹤器)
Storage(存儲節點)
Tracker主要做調度工作,相當於mvc中的controller的角色,在訪問上起負載均衡的作用。跟蹤器和存儲節點都可以由一台或多台伺服器構成,跟蹤器和存儲節點中的伺服器均可以隨時增加或下線而不會影響線上服務,其中跟蹤器中的所有伺服器都是對等的,可以根據伺服器的壓力情況隨時增加或減少。Tracker負責管理所有的Storage和group,每個storage在啟動後會連接Tracker,告知自己所屬的group等信息,並保持周期性的心跳,tracker根據storage的心跳信息,建立group==>[storage server list]的映射表,Tracker需要管理的元信息很少,會全部存儲在內存中;另外tracker上的元信息都是由storage匯報的信息生成的,本身不需要持久化任何數據,這樣使得tracker非常容易擴展,直接增加tracker機器即可擴展為tracker cluster來服務,cluster里每個tracker之間是完全對等的,所有的tracker都接受stroage的心跳信息,生成元數據信息來提供讀寫服務。
Storage採用了分卷[Volume](或分組[group])的組織方式,存儲系統由一個或多個組組成,組與組之間的文件是相互獨立的,所有組的文件容量累加就是整個存儲系統中的文件容量。一個卷[Volume](組[group])可以由一台或多台存儲伺服器組成,一個組中的存儲伺服器中的文件都是相同的,組中的多台存儲伺服器起到了冗餘備份和負載均衡的作用,數據互為備份,存儲空間以group內容量最小的storage為准,所以建議group內的多個storage盡量配置相同,以免造成存儲空間的浪費。更多原理性的內容可以參考這篇blog,介紹的很詳細:分布式文件系統FastDFS設計原理
接下來就具體看一下FastDFS的整個下載安裝過程~
❻ 有了cdn為什麼還要用fastdfs
因為cdn的速度與fastdfs相差並不是很大,但是價格卻十分昂貴,所以相同情況下,企業都會選擇使用fastdfs分布式文件系統。
❼ 求開源文件備份軟體,功能強大,支持同步的,最好是有公司在用的額
微軟的sky drive
Windows SkyDrive是由微軟公司推出的一項雲存儲服務,用戶可以通過自己的Windows Live賬戶進行登錄,上傳自己的圖片、文檔等到 SkyDrive中進行存儲,微軟公司於2012年4月23日正式推出了SkyDrive客戶端用於下載,同時推出了SkyDrive的付費雲存儲服務。
在 Windows Live 伺服器上免費存儲、管理和下載文件、
SkyDrive 最近logo[1]
照片和收藏夾 (表示收藏的網站,其網址保存在計算機或聯機伺服器上,以便您方便快捷地進行訪問。) 。在 Windows Live 網路 (用戶在 Windows Live 中與之交流和共享信息的一群人。用戶的網路包括添加到個人資料中的聯系人、添加到 Messenger 中的聯系人或同時添加到這兩者中的聯系人。用戶網路中的聯系人可以在最近更新列表中看到有關該用戶最近活動的信息,也可以看到其他信息,這取決於許可權設置。) 上與朋友共享您創建的照片和文件、合作完成文檔,或向所有人顯示您創建的照片和文件。使用 Windows Live ID (您用於登錄 Windows Live 程序和服務(如 Windows Live Hotmail 和 Windows Live Messenger)、Microsoft 服務(如 Xbox LIVE、MSN 和 Office Live)以及任何其他顯示 Windows Live ID 徽標的站點的電子郵件地址和密碼。) 登錄 Windows Live SkyDrive 網站後,您可以執行以下操作:
存儲空間
在2012年4月22日之前完成微軟Live通行證注冊的用戶,如果選擇使用SkyDrive服務,將免費獲得25GB儲存空間;而在22日之後注冊的新用戶,將只能獲得7GB免費儲存空間。除了免費儲存空間外,微軟還額外提供10美元/年20GB儲存空間、25美元/年50GB儲存空間,以及50美元/年100GB儲存空間等付費選擇。
❽ SFS是什麼文件系統
SFS是一個安裝在SAN中的文件系統,也是一個軟硬體結合的產品。它為各種不同的操作系統平台提供了一個統一的文件存儲環境,將多個獨立的文件系統抽象為一個共享文件系統,從而解決了傳統SAN架構中的文件和數據管理問題,實現文件級的數據共享、存儲分配和Serverless的數據備份,而且與SVC一樣,它也具備了按照策略動態地調整存儲設備配置,透明的遷移數據等虛擬存儲SAN控制器的功能,而所有功能目的是圍繞著文件級的存儲服務展開的。
不僅如此,SFS又將分布式文件系統的設計理念和系統架構向前推進了一步。它們除了具有一般的分布式文件系統的特性之外,還採用SAN作為整個文件系統的數據存儲和傳輸路徑。它們採用帶外(out-of-band)結構,將文件系統原數據在高速乙太網上傳輸,由專門的原數據伺服器來處理和存儲。SAN File System採用了基於策略的文件數據位置選擇方法,能有效地利用系統的資源,提高性能,降低成本。
詳細的再參考資料里
❾ fastdfs對特大文件支持得如何
回復 2# happy_fish100 我這里的虛擬機鏡像不是塊設備,也是以普通文件的方式存在於文件系統上。 只不過文件都比較大,幾十G到幾百G不等,因為fastdfs是不分片的,不知道Fastdfs對特大的文件支持得如何?
❿ fastdfs能存儲什麼東西
FastDFS是一個開源的輕量級分布式文件系統,它對文件進行管理,功能包括:文件存儲、文件同步、文件訪問(文件上傳、文件下載)等,解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務,如相冊網站、視頻網站等等。