文件存儲開源

A. 有沒有用Java寫的輕量級開源的分布式存儲系統

以下內容源於分布式內存文件系統：Tachyon 14年9月的文章
Tachyon是一個分布式內存文件系統，可以在集群里以訪問內存的速度來訪問存在tachyon里的文件。把Tachyon是架構在最底層的分布式文件存儲和上層的各種計算框架之間的一種中間件。主要職責是將那些不需要落地到DFS里的文件，落地到分布式內存文件系統中，來達到共享內存，從而提高效率。同時可以減少內存冗餘，GC時間等。
<img src="https://pic3.mg.com/_b.png" data-rawwidth="810" data-rawheight="311" class="origin_image zh-lightbox-thumb" width="810" data-original="https://pic3.mg.com/_r.png">
Tachyon架構
Tachyon的架構是傳統的Master—slave架構，這里和Hadoop類似，TachyonMaster里WorkflowManager是 Master進程，因為是為了防止單點問題，通過Zookeeper做了HA，可以部署多台Standby Master。Slave是由Worker Daemon和Ramdisk構成。這里個人理解只有Worker Daemon是基於JVM的，Ramdisk是一個off heap memory。Master和Worker直接的通訊協議是Thrift。
下圖來自Tachyon的作者Haoyuan Li：
<img src="https://pic4.mg.com/_b.png" data-rawwidth="854" data-rawheight="571" class="origin_image zh-lightbox-thumb" width="854" data-original="https://pic4.mg.com/_r.png">
三、Fault Tolerant
Tachyon是一個分布式文件存儲系統，但是如果Tachyon里的容錯機制是怎麼樣的呢？
Tachyon使用血統這個我們在Spark里的RDD里已經很熟悉了，這里也有血統這一概念。會使用血統，通過非同步的向Tachyon的底層文件系統做Checkpoint。
當我們向Tachyon裡面寫入文件的時候，Tachyon會在後台非同步的把這個文件給checkpoint到它的底層存儲，比如HDFS，S3.. etc...
這里用到了一個Edge的演算法，來決定checkpoint的順序。
比較好的策略是每次當前一個checkpoint完成之後，就會checkpoint一個最新生成的文件。當然想Hadoop，Hive這樣的中間文件，需要刪除的，是不需要checkpoint的。
下圖來自Tachyon的作者Haoyuan Li：
<img src="https://pic1.mg.com/_b.png" data-rawwidth="822" data-rawheight="609" class="origin_image zh-lightbox-thumb" width="822" data-original="https://pic1.mg.com/_r.png">

關於重新計算時，資源的分配策略：
目前Tachyon支持2種資源分配策略：
1、優先順序的資源分配策略
2、公平調度的分配策略
<img src="https://pic2.mg.com/_b.png" data-rawwidth="940" data-rawheight="621" class="origin_image zh-lightbox-thumb" width="940" data-original="https://pic2.mg.com/_r.png">

四、總結
Tachyon是一個基於內存的分布式文件系統，通常位於分布式存儲系統和計算框架直接，可以在不同框架內共享內存，同時可以減少內存冗餘和基於Jvm內存計算框架的GC時間。
Tachyon也有類似RDD的血統概念，input文件和output文件都是會有血統關系，這樣來達到容錯。並且Tachyon也利用血統關系，非同步的做checkpoint，文件丟失情況下，也能利用兩種資源分配策略來優先計算丟失掉的資源。

B. 什麼數據存儲軟體的兼容性比較高

1. Ceph
Ceph是一個強大的存儲系統，它在同一個系統中同時提供了對象，塊（通過RBD）和文件存儲。無論您是希望在虛擬機中使用塊設備，還是將非結構化數據存儲在對象存儲中，Ceph都可以在一個平台上提供所有功能，並且還能獲得出色的靈活性。 Ceph中的所有內容都以對象的形式存儲，不管原始的數據類型是什麼，RADOS（reliable autonomic distributed object store）都會把它們當做對象來進行存儲。

RADOS層確保數據始終保持一致狀態並且可靠。Ceph會通過數據復制，故障檢測和恢復，以及跨群集節點進行數據遷移和重新平衡來實現數據一致性。 Ceph提供了一個符合POSIX的網路文件系統（CephFS），旨在實現高性能，大數據存儲以及與傳統應用程序的最大兼容。Ceph可以通過各種編程語言或者radosgw（RGW）實現無縫的訪問對象存儲，（RGW）這是一種REST介面，它與為S3和Swift編寫的應用程序兼容。另一方面，Ceph的RADOS塊設備（RBD）可以訪問在整個存儲集群中條帶化和復制的塊設備映像。

Ceph的特性
獨立、開放和統一的平台：將塊，對象和文件存儲組合到一個平台中，包括最新添加的CephFS

兼容性：您可以使用Ceph 存儲對外提供最兼容Amazon Web Services（AWS）S3的對象存儲。

精簡配置模式：分配存儲空間時，只是虛擬分配容量，在跟進使用情況佔用實際磁碟空間。這種模式提供了更多的靈活性和磁碟空間利用率。

副本：在Ceph Storage中，所有存儲的數據都會自動從一個節點復制到多個其他節點。默認任何時間群集中的都有三份數據。

自我修復：Ceph Monitors會不斷監控你的數據集。一旦出現一個副本丟失，Ceph會自動生成一個新副本，以確保始終有三份副本。

高可用：在Ceph Storage中，所有存儲的數據會自動從一個節點復制到多個其他的節點。這意味著，任意節點中的數據集被破壞或被意外刪除，在其他節點上都有超過兩個以上副本可用，保證您的數據具有很高的可用性。

Ceph很強大：您的集群可以用於任何場景。無論您希望存儲非結構化數據或為數據提供塊存儲或提供文件系統，或者希望您的應用程序直接通過librados使用您的存儲，而這些都已經集成在一個Ceph平台上了。

可伸縮性：C

C. 企業文件存儲系統

我總結一下市面上常見的文檔管理功能有：
1、歷史版本管理：每次修改都會自動添加一個歷史版本，所以看到的永遠是最新版本，也可以回滾至某個歷史版本。
2、簽入簽出管理：要編輯一個文檔必須先簽出，同一時間只能被一個用戶簽出，避免了多人同時修改產生混亂的問題。
3、許可權控制：可以基於每個文檔或者某一類文檔進行許可權控制。
4、文檔模板管理：可以自定義模板並保存在系統中。下次新建的時候可以選擇合適的模板。
我們對比了天翎、致遠、泛微這三個產品，各有各的優勢，又有一些不得不存在的小缺陷，天翎基本符合要求，有本地部署和雲部署，但是有點貴；致遠只能雲部署，泛微頁面精美，但是操作不夠流暢，三家廠商都可以免費體驗，這些都是我個人的使用感，試用過後才能知道哪個適合。

D. Google的GFS和開源的HDFS是()中的代表性方案

Hadoop項目。
1、HDFS（HadoopDistributedFileSystem），作為GoogleFileSystem（GFS）的實現，是Hadoop項目的核心子項目，是分布式計算中數據存儲管理的基礎，是基於流數據模式訪問和處理超大文件的需求而開發的，可以運行於廉價的商用伺服器上。它所具有的高容錯、高可靠性、高可擴展性、高獲得性、高吞吐率等特徵為海量數據提供了不怕故障的存儲，為超大數據集（LargeDataSet）的應用處理帶來了很多便利。
2、GoogleGFS，BigTable，MapRece稱為Google的三駕馬車，是許多基礎服務的基石GFS於2003年提出，是一個分布式的文件系統，與此前的很多分布式系統的前提假設存在很大的不同，適用於以下場景）認為組件失效是一種常態，提供了容錯機制，自動負載均衡，使得分布式文件系統可以在廉價機器上運行）面向大文件存儲，系統主要的工作負載是大規模的流式讀取，寫操作主要是追加方式寫，很少有隨機寫）一次寫入，多次讀取。
3、開源HDFS。分布式文件存儲系統，源自於Google的GFS論文，HDFS是GFS的克隆版HDFS是Hadoop中數據存儲和管理的基礎，是一個高容錯的系統，能夠自動解決硬體故障。

E. 求開源文件備份軟體,功能強大，支持同步的，最好是有公司在用的額

微軟的sky drive
Windows SkyDrive是由微軟公司推出的一項雲存儲服務，用戶可以通過自己的Windows Live賬戶進行登錄，上傳自己的圖片、文檔等到 SkyDrive中進行存儲，微軟公司於2012年4月23日正式推出了SkyDrive客戶端用於下載，同時推出了SkyDrive的付費雲存儲服務。

在 Windows Live 伺服器上免費存儲、管理和下載文件、
SkyDrive 最近logo[1]
照片和收藏夾 (表示收藏的網站，其網址保存在計算機或聯機伺服器上，以便您方便快捷地進行訪問。) 。在 Windows Live 網路 (用戶在 Windows Live 中與之交流和共享信息的一群人。用戶的網路包括添加到個人資料中的聯系人、添加到 Messenger 中的聯系人或同時添加到這兩者中的聯系人。用戶網路中的聯系人可以在最近更新列表中看到有關該用戶最近活動的信息，也可以看到其他信息，這取決於許可權設置。) 上與朋友共享您創建的照片和文件、合作完成文檔，或向所有人顯示您創建的照片和文件。使用 Windows Live ID (您用於登錄 Windows Live 程序和服務（如 Windows Live Hotmail 和 Windows Live Messenger）、Microsoft 服務（如 Xbox LIVE、MSN 和 Office Live）以及任何其他顯示 Windows Live ID 徽標的站點的電子郵件地址和密碼。) 登錄 Windows Live SkyDrive 網站後，您可以執行以下操作：
存儲空間
在2012年4月22日之前完成微軟Live通行證注冊的用戶，如果選擇使用SkyDrive服務，將免費獲得25GB儲存空間；而在22日之後注冊的新用戶，將只能獲得7GB免費儲存空間。除了免費儲存空間外，微軟還額外提供10美元/年20GB儲存空間、25美元/年50GB儲存空間，以及50美元/年100GB儲存空間等付費選擇。

F. 四大開源資料庫是哪些

開源世界中的那幾個免費資料庫
發布時間：2011-11-22 09:34:30 來源：CSDN 評論：0 點擊：1476 次 【字型大小：大 中 小】
QQ空間 新浪微博 騰訊微博 人人網 豆瓣網 網路空間 網路搜藏 開心網 復制 更多 0
開源資料庫MysqlMySQL是一個開放源碼的小型關聯式資料庫管理系統，開發者為瑞典MySQL AB公司。目前MySQL被廣泛地應用在Internet上的中小型網站中。由於其體積小、速度快、總體擁有成本低，尤其是開放源...

開源資料庫MySQL

MySQL是一個開放源碼的小型關聯式資料庫管理系統，開發者為瑞典MySQL AB公司。目前MySQL被廣泛地應用在Internet上的中小型網站中。由於其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，許多中小型網站為了降低網站總體擁有成本而選擇了MySQL作為網站資料庫。


盤點：開源社區那些免費的資料庫軟體

MySQL為多種編程語言提供了API，包括C、C++、C#、Delphi、Eiffel、Java、Perl、PHP、Python、Ruby和Tcl等。而其自身是採用C和C++編寫的，使用了多種編譯器進行測試，所以，MySQL能夠保證源代碼具有很強的可移植性。這樣的一款資料庫，自然能夠支持幾乎所有的操作系統，從Unix、Linux到Windows，具體包括AIX、BSDi、FreeBSD、HP-UX、Linux、Mac OS、Novell Netware、NetBSD、OpenBSD、OS/2 Wrap、Solaris、SunOS、Windows等多種操作系統。最重要的是，它是一個可以處理擁有上千萬條記錄的大型資料庫。

與此同時，MySQL也產生了很多分支版本的資料庫也非常值得推薦。

首先是MariaDB，它是一個採用Maria存儲引擎的MySQL分支版本，是由原來MySQL的作者 Michael Widenius創辦的公司所開發的免費開源的資料庫伺服器。與MySQL相比較，MariaDB更強的地方在於它擁有更多的引擎，包括Maria存儲引擎、PBXT存儲引擎、XtraDB存儲引擎、FederatedX存儲引擎，它能夠更快的復制查詢處理、運行的速度更快、更好的功能測試以及支持對Unicode的排序等。

其次是rcona，它為MySQL資料庫伺服器進行了改進，在功能和性能上較MySQL有著很顯著的提升。該版本提升了在高負載情況下的InnoDB的性能，同時，它還為DBA提供一些非常有用的性能診斷工具，並且提供很多參數和命令來控制伺服器行為。

第三是Percona Server，它使用了諸如google-mysql-tools、Proven Scaling和 Open Query對MySQL進行改造。並且，它只包含MySQL的伺服器版，並沒有提供相應對 MySQL的Connector和GUI工具進行改進。

非關系型資料庫NoSQL

從NoSQL的字面上理解，NoSQL就是Not Only SQL，被業界認為是一項全新的資料庫革命性運動，早期就有人提出，發展至2009年趨勢越發高漲。NoSQL的擁護者們提倡運用非關系型的數據存儲，相對於目前鋪天蓋地的關系型資料庫運用，這一概念無疑是一種全新的思維的注入。


盤點：開源社區那些免費的資料庫軟體

當然，NoSQL也是隨著互聯網Web2.0網站的興起才能取得長足的進步。關鍵的需求在於，傳統的關系資料庫在應付Web2.0網站，特別是超大規模和高並發的SNS類型的web2.0純動態網站顯得力不從心，暴露了很多難以克服的問題，而非關系型的資料庫則由於其本身的特點得到了非常迅速的發展。

首先推薦的是Oracle NoSQL Database，這是一個社區版。Oracle的這個NoSQL Database， 是在10月4號的甲骨文全球大全上發布的Big Data Appliance的其中一個組件，Big Data Appliance是一個集成了Hadoop、NoSQL Database、Oracle資料庫Hadoop適配器、Oracle資料庫Hadoop裝載器及R語言的系統。

其次推薦的是Membase。Membase是NoSQL家族的一個新的重量級的成員。Membase是開源項目，源代碼採用了Apache2.0的使用許可。該項目託管在GitHub.Source tarballs上，目前可以下載beta版本的Linux二進制包。該產品主要是由North Scale的memcached核心團隊成員開發完成，其中還包括Zynga和NHN這兩個主要貢獻者的工程師，這兩個組織都是很大的在線游戲和社區網路空間的供應商。

並且，Membase容易安裝、操作，可以從單節點方便的擴展到集群，而且為memcached(有線協議的兼容性)實現了即插即用功能，在應用方面為開 發者和經營者提供了一個比較低的門檻。做為緩存解決方案，Memcached已經在不同類型的領域(特別是大容量的Web應用)有了廣泛的使用，其中 Memcached的部分基礎代碼被直接應用到了Membase伺服器的前端。通過兼容多種編程語言和框架，Membase具備了很好的復用性。在安裝和配置方面，Membase提供了有效的圖形化界面和編程介面，包括可配置 的告警信息。

Membase的目標是提供對外的線性擴展能力，包括為了增加集群容量，可以針對統一的節點進行復制。 另外，對存儲的數據進行再分配仍然是必要的。

第三推薦的是Hibari。Hibari在日語中意思為「雲雀」，它是一個專為高可靠性和大數據存儲的資料庫引擎，可用於雲計算環境中，例如 webmail、SNS和其他要求T/P級數據存儲的環境中。同時，Hibari也支持Java，C/C++，Python，Ruby和Erlang語言的客戶端。

第四推薦的是memcachedb。這是一個由新浪網的開發人員開放出來的開源項目，給memcached分布式緩存伺服器添加了Berkeley DB的持久化存儲機制和非同步主輔復制機制，讓memcached具備了事務恢復能力、持久化能力和分布式復制能力，非常適合於需要超高性能讀寫速度，但是 不需要嚴格事務約束，能夠被持久化保存的應用場景，例如memcachedb被應用在新浪博客上面。

第五推薦的是Leveldb。這是一個Google實現的非常高效的kv資料庫，目前的版本1.2能夠支持billion級別的數據量了。 在這個數量級別下還有著非常高的性能，主要歸功於它的良好的設計，特別是LSM演算法。LevelDB是單進程的服務，性能非常之高，在一台4個Q6600的CPU機器上，每秒鍾寫數據超過40w，而隨機讀的性能每秒鍾超過10w。

XML資料庫的優勢

XML資料庫是一種支持對XML格式文檔進行存儲和查詢等操作的數據管理系統。在系統中，開發人員可以對資料庫中的XML文檔進行查詢、導出和指定格式的序列化。目前XML資料庫有三種類型：XMLEnabledDatabase(XEDB)，即能處理XML的資料庫;NativeXMLDatabase(NXD)，即純XML資料庫;HybridXMLDatabase(HXD)，即混合XML資料庫。

關系資料庫中的第一代XML支持是切分(或分解)文檔，以適應關系表格或將文檔原封不動地存儲為字元或二進制大對象(CLOB 或 BLOB)。這兩個方法中的任一種都嘗試將XML模型強制轉換成關系模型。然而，這兩種方法在功能和性能上都有很大的局限性。混合型模型將XML存儲在類似於DOM的模型中。XML數據被格式化為緩沖數據頁，以便快速導航和執行查詢以及簡化索引編制。

在這里，首要要推薦的XML資料庫是Sedna。它號稱是一款原生態的XML資料庫，提供了全功能的核心資料庫服務，包括持久化存儲、ACID事務、索引、安全、熱備、UTF8等。實現了 W3C XQuery 規范，支持全文搜索以及節點級別的更新操作。

第二款XML資料庫是BaseX。這款資料庫用來存儲緊縮的XML數據，提供了高效的 XPath和XQuery的實現，同時，它還提供一個前端操作界面。


盤點：開源社區那些免費的資料庫軟體

第三款推薦的是XMLDB。這款資料庫使用了關系型資料庫來存儲任意的XML文檔，因為所採用的存儲機制，所以文檔的搜索速度特別快，同時執行XSL轉換也相當快。XMLDB同時還提供了一個PHP的模塊，可以應用在Web應用中。

第四塊推薦的是X-Hive/DB。它是一個為需要高級XML數據處理和存儲功能的軟體開發者設計的強大的專屬XML資料庫。X-Hive/DB Java API包含存儲、查詢、檢索、轉換和發表XML數據的方法。

與傳統關系型資料庫相比，XML資料庫具有以下優勢：第一，XML資料庫能夠對半結構化數據進行有效的存取和管理。如網頁內容就是一種半結構化數據，而傳統的關系資料庫對於類似網頁內容這類半結構化數據無法進行有效的管理。第二，提供對標簽和路徑的操作。傳統資料庫語言允許對數據元素的值進行操作，不能對元素名稱操作，半結構化資料庫提供了對標簽名稱的操作，還包括了對路徑的操作。第三，當數據本身具有層次特徵時，由於XML數據格式能夠清晰表達數據的層次特徵，因此XML資料庫便於對層次化的數據進行操作。XML資料庫適合管理復雜數據結構的數據集，如果己經以XML格式存儲信息，則XML資料庫利於文檔存儲和檢索;可以用方便實用的方式檢索文檔，並能夠提供高質量的全文搜索引擎。另外XML資料庫能夠存儲和查詢異種的文檔結構，提供對異種信息存取的支持。

G. 在大數量級的數據存儲上，比較靠譜的分布式文件存儲有哪些

一、 Ceph

Ceph最早起源於Sage就讀博士期間的工作、成果於2004年發表，並隨後貢獻給開源社區。經過多年的發展之後，已得到眾多雲計算和存儲廠商的支持，成為應用最廣泛的開源分布式存儲平台。
二、 GFS

GFS是google的分布式文件存儲系統，是專為存儲海量搜索數據而設計的，2003年提出，是閉源的分布式文件系統。適用於大量的順序讀取和順序追加，如大文件的讀寫。注重大文件的持續穩定帶寬，而不是單次讀寫的延遲。
三、 HDFS

HDFS(Hadoop Distributed File System)，是一個適合運行在通用硬體(commodity hardware)上的分布式文件系統，是Hadoop的核心子項目，是基於流數據模式訪問和處理超大文件的需求而開發的。該系統仿效了谷歌文件系統(GFS)，是GFS的一個簡化和開源版本。

H. 分布式存儲排名前十名有哪些

一、 Ceph

Ceph最早起源於Sage就讀博士期間的工作、成果於2004年發表，並隨後貢獻給開源社區。經過多年的發展之後，已得到眾多雲計算和存儲廠商的支持，成為應用最廣泛的開源分布式存儲平台。
二、 GFS

GFS是google的分布式文件存儲系統，是專為存儲海量搜索數據而設計的，2003年提出，是閉源的分布式文件系統。適用於大量的順序讀取和順序追加，如大文件的讀寫。注重大文件的持續穩定帶寬，而不是單次讀寫的延遲。
三、 HDFS

HDFS(Hadoop Distributed File System)，是一個適合運行在通用硬體(commodity hardware)上的分布式文件系統，是Hadoop的核心子項目，是基於流數據模式訪問和處理超大文件的需求而開發的。該系統仿效了谷歌文件系統(GFS)，是GFS的一個簡化和開源版本。

I. fashdfs是文件存儲還是塊存儲

文件存儲。FastDFS是一個開源的輕量級分布式文件系統，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務，如相冊網站、視頻網站等等。

J. 可以靈活擴容的分布式文件存儲軟體有嗎

XSKY 星辰天合的XEDP平台擴展彈性就很高的，在我們使用中發現，它可以實現從單資源池數台到數百台的不停機水平擴展。