海量文件存儲

❶ 自動駕駛下的海量數據，業界如何安全高效存儲

近幾年來，各行業紛紛跨界加入造車行列，不說傳了多年要造車的國外手機巨頭、出資純電動汽車的科技互聯網大廠，國內的科技企業也在躍躍欲試，比如阿里巴巴、華為、網路、小米和滴滴出行。

除了這些高科技企業，還有小馬智行、文遠知行、AutoX、贏徹科技和主線科技等新興的自動駕駛初創企業；超星未來、奧特貝睿、宏景智駕等專注於私家車高階自動駕駛研發的新型一級供應商；以及純電動車起家的蔚來，小鵬，理想等造車新勢力，都紛紛加入汽車產業鏈，推動了汽車電動化和智能化的進程。

西部數據資深產品市場經理額日特

也正是這些新玩家的加入，使得傳統汽車產業鏈受到了前所未有的壓力，同時也推動了傳統汽車廠商加速新技術和新應用的落地。在西部數據資深產品市場經理額日特看來，隨著汽車智能網聯的不斷推進，汽車的電子電氣架構（E/E）也隨之變化，從最初的分布式架構向域融合和中央控制單元過渡。

輪子上的智能手機，對存儲架構提出更多要求

如今，不少人業內人士都認可汽車在向“輪子上的智能手機”演變，這個轉變，讓廠商開始將越來越多的攝像頭、雷達、激光雷達等感測器、電動機，甚至乙太網、人工智慧等技術都引入汽車。

額日特認為，更多感測器的引入，網聯技術、人工智慧技術的增加，以及汽車電子電氣架構的改變，對汽車內存儲產品的要求發生了很大的變化。

“在汽車存儲領域，單車存儲的 數量將會顯著降低，容量則會顯著提升 。”額日特在不久前廣州舉辦的Auto Tech 2021上演講時指出。

Counterpoint的報告也印證了這一點，該分析機構預計，未來十年內，汽車單車的存儲容量將會達到2TB左右。“目前車內存儲主要用在智能座艙和中控系統，且燃油車以32GB為主，電動汽車一般使用64GB，或128GB，相對於2TB來說，還有一個巨大的提升空間。”額日特表示。

他分析稱，為了應對汽車電動化、智能化、網聯化，及自動化方向的發展，存儲產品也面臨這很多挑戰，主要有四個比較重大的挑戰：

一是數據 的可靠性 和 安全性 ，這是存儲廠商所面臨最基本和最嚴苛的挑戰，也是相關法規及保險責任靠量的關鍵因素。因為對於自動駕駛來說，數據的可靠性和安全性意味著生命的安全。

存儲廠商在數據可靠性和安全性方面也做了不少工作，額日特拿e.MMC、UFS和SSD來說，存儲單元是由兩個部分組成的，一部分是存儲介質Raw NAND，另一部分是控制器和固件。

為了保證更好的TBW（Total Bytes Written），即產品生命周期里能承受的總寫入數據量，存儲廠商一般都會 通過控制器和固件對底層做一個讀寫均衡 。“TBW通俗地講就是耐擦寫，意思是NAND Flash是有壽命的，如果數據手冊里規定了NAND Flash的擦寫次數是3,000次，客戶就需要考量該TBW是否滿足自己的應用需求。”

還有一個是主機鎖定 ，即在汽車主機上焊上一個內存，加了主機鎖的內存放到另外一個主機上是沒有用的，因為它已經與原來的主機做了鎖定，這樣也可以確保數據的安全。

另外，防寫也是一個很重要的功能 ，比如汽車如果出事故了，有的用戶擔心數據會被汽車廠商篡改，“我們存儲廠商在與主機廠商、Tier 1企業一起共同努力，協商一個有效的協同保護機制，確保車輛在發生事故後，在警察沒有查看數據之前，沒有任何一家，包括內存廠商都無法篡改存儲器內的數據，以確保司法監管在調查的時候的公正性和嚴肅性。”額日特表示。

二是復雜的應用場景 ，隨著電子電氣架構向域及中央控制單元轉變，應用的融合對存儲的要求也變得更加復雜，不再是單一的讀或寫。比如導航是一個讀密集型操作，行車記錄儀是一個寫密集型操作。

特別是隨著電子電氣架構的改變，融合中央控制單元的使用，使得內存需要承受更加復雜的操作系統環境。比如高通的8155平台把智能座艙、數字儀表和中控融合到了一起，此時就需要使用Hypervisor，以允許多個操作系統和應用共享同一個硬體。 但實際上，現在的內存結構，只能做到邏輯分區，不能做到物理分區。

“舉一個簡單的例子，我們現在所使用的電腦有C盤、D盤、或者E盤，實際上C、D、E盤只是邏輯分區，底層的內存是沒有做到物理分區的，這些盤存儲的數據都是打散存儲在一塊內存里，不論是哪個盤壞掉，代表的就是整個內存檔都壞了。”額日特指出。

因此，這就會帶來一個問題，比如行車記錄儀是一個需要高擦寫支持的應用，如果把行車記錄儀也融合到智能座艙內的話，做起來很容易。但要是不做物理分區，由於行車記錄儀的高擦寫，可能整個內存很快就會壞掉。

為了適應這個改變，也為了數據的更加安全，“西部數據現在可以提供一種解決方案，那就是在底層做讀寫均衡的隔離，比如 一塊內存裡面，可以分別使用 TLC 和S LC 兩種N AND F lash ，由於SLC可以支持高擦寫，因此，SLC部分就可以作為行車記錄儀的存儲。”額日特表示。

三是海量數據存儲 ，為了適應自動駕駛的需求，越來越多的雷達和攝像頭被部署在汽車上，行車過程中會產生大量的數據。

特別是自動駕駛計程車的企業對數據的存儲容量需求是很大的，現在單車一天生成的數據量在8GB左右，但實際上，現在主流汽車的存儲容量在2GB到4GB之間。

額日特以西部數據與Waymo的合作為例，西部數據在Waymo自動駕駛計程車上安裝了10塊2TB的工業級SSD，也就是說Waymo的單車存儲容量要求是20TB。其實這也是大部分自動駕駛汽車的存儲需求。

四是高性能， 雷達和攝像頭會在行車過程中產生大量的數據，為了防止數據丟失，必然需要高性能、大帶寬存儲的支持。

其實存儲產品也在通過不停地創新來獲得更高的傳輸速率。在嵌入式存儲器方面，目前汽車領域使用的主流存儲產品是e.MMC，比e.MMC更快的是UFS產品，目前汽車領域主要採用的還是UFS2.1。實際上，消費類電子已經在大規模採用UFS3.0的產品了。額日特預計汽車級UFS3.1的產品，應該會在兩年內面市。

另外，在SSD方面，目前汽車領域的SSD主要還是採用SATA介面，未來帶寬更高、速度更快的NVMe介面的SSD產品也可能會在汽車上得到應用。使用SSD的好處就是容量可以做得更大，比如UFS介面能做到的最大容量可能是512GB，但SSD可以輕松做到4TB、8TB，甚至更大。

滿足汽車需求的解決方案

據額日特介紹，西部數據可以提供從端到雲的完整解決方案，以支持當前和未來的車輛系統要求，它為多樣的應用場景和數據中心，提供了小尺寸嵌入式終端存儲和可移動存儲，用於獲取和分析從車輛收集的大量數據。他特意強調，西部數據的汽車級快閃記憶體產品通過了IATF16949認證，符合AEC-Q100標准。

產品方面，有iNAND汽車級嵌入式存快閃記憶體檔（EFD），支持UFS和e.MMC介面，具有多種容量，採用11.5×13mm的小包裝，可為汽車OEM和一級供應商提供符合其需求的選擇。比如iNAND AT EU312 是一款基於 3D NAND 技術的汽車級UFS（通用快閃記憶體存儲），具有高數據傳輸速度的UFS 2.1介面和額外的UFS 3.0汽車功能，可提供最高256GB的容量，性能是前代基於e.MMC的產品的2.5倍。AT EU312利用第5代SmartSLC 技術，可提供高性能和可靠的寫入。

其e.MMC 嵌入式快閃記憶體檔基於e.MMC 5.1 標准，採用2D或3D NAND技術。具體產品有EM122已經獲得許多汽車設計的認證並投入生產，EM132在汽車市場中容量達到了256GB。

在PCIe SSD方面，有CL SN720和CL SN520等產品，採用了PCIe Gen3 NVMe介面，容量高達2TB，耐久性高達1600 TBW。

與合作夥伴的成功案例

在本次Auto Tech 2021展會上，西部數據不僅展示了自己家的汽車存儲解決方案，也帶來了合作夥伴的一些成功案例。

有為信息展示的“主動安全智能防控車載視頻終端K5-P”解決方案。

在車載監控方面，其合作夥伴有為信息展示了“主動安全只能防控車載視頻終端K5-P”解決方案，該解決方案支持ADAS、DSM只能監控，採用了記錄儀、視頻功能、主動安全功能一體化設計。同時支持硬碟（2.5” HDD）+ SD卡（西部數據WD Purple micro SD存儲卡），雙重存儲保證數據安全；且具有硬碟防震保護機制；此外，有為信息的專利的存儲介質保護裝置，可防止任意拆卸硬碟及插拔存儲卡。加上其獨特流媒體文件系統存儲方式，保證了數據安全不被篡改。

車載信息娛樂系統方面，其合作夥伴掌銳展示了“前裝車規模組”解決方案------CS199 MT8666AV模組，該模組基於聯發科 MT8666AV晶元封裝的前裝車規級帶4G通信模組，具有功能豐富，集成度高、尺寸小、低功耗、性能優、品質穩定的特點，可滿足汽車智能化、連網化的前裝需求，幫助客戶縮短項目開發周期，減少研發投入並降低品控風險。存儲方面，採用的是西部數據iNAND AT EM132產品，是汽車市場首個基於3D TLC NAND e.MMC介面產品，採用了標准BGA封裝，容量涵蓋了從32GB到256GB，具有快速啟動、自動刷新、增強型運行健康狀態監測，支持固件在線升級和100%預燒錄，有AEC-Q100溫度2級（-40°C 至105°C）和3級（-40°C至85°C）兩種選擇。

銥斯電子展示的智能駕駛輔助系統解決方案。

此外，西部數據現場還展示了採用iNAND AT EM122的智能駕艙、智能駕駛、以及車聯網等豐富的解決方案。

西部數據公司中國區嵌入式產品銷售部門銷售總監文芳女士

西部數據公司中國區嵌入式產品銷售部門銷售總監文芳表示：“車聯網、自動駕駛等新技術的商業化落地，對汽車新四化的發展起到了巨大的推動作用，同時也對車載存儲解決方案的安全性、可靠性、大容量、高性能以及復雜的場景應用提出了更嚴苛的要求。西部數據作為數據基礎架構的領導者，提供覆蓋8GB-18TB容量，包括e.MMC/UFS/micro SD/SSD/HDD等不同規格的車規級及企業級存儲產品，支持端-邊-雲新型數據架構在汽車領域的應用，滿足當前和未來單車智能及車路協同的多樣化需求。”

未來，西部數據將不斷突破創新，以卓越的產品及解決方案賦能汽車領域的改革與發展，為人們帶來更安全、優質的駕駛體驗。

結語

近年來，汽車行業正在經歷前所未有的變革，自動駕駛不斷發展，高清3D地圖、高級輔助駕駛系統（ADAS）、自主計算機、AI、大數據、增強型信息娛樂系統、無線更新、以及V2X技術等等逐步在汽車上得到普及，而這些功能都需要板載數據存儲，未來汽車的存儲需求將會越來越大，如何滿足汽車市場的特殊需求，是存儲企業必須要考慮的，抓住汽車市場，就意味著抓住了未來。

轉載自電子發燒友 @2019

❷ 海量小文件用什麼存儲好

海量小文件優先選擇對象存儲，不用考慮元數據管理的問題，如果是老系統的話需要改造支持對象存儲。我們公司現在用的元核雲的YC-DOS分布式對象存儲，穩定性和性能都還不錯。

❸ 計算機的海量存儲主要依託什麼設備實現

計算機的海量存儲主要依託磁帶、光碟、硬碟三大類。
虛擬存儲主要依託硬碟實現；虛擬硬碟和虛擬緩存，主要依託內存和U盤實現。虛擬內存是主機運行所必須的；虛擬硬碟可用於存放TEMP文件夾、網頁等臨時文件，關機即自動清除，避免垃圾堆積；虛擬緩存可避免硬碟頻繁寫入。
當下載大量文件比如視頻時，能有效保護機械硬碟；對於固盤，壽命主要取決於寫入數據量，使用虛擬緩存可以將需寫入固盤的數據都只是寫入緩存中，能大大減少固盤寫入量，以致完全無需寫入。
虛擬存儲是指將多個不同類型、獨立存在的物理存儲體，通過軟、硬體技術，集成轉化為一個邏輯上的虛擬的存儲單元，集中管理供用戶統一使用。
這個虛擬邏輯存儲單元的存儲容量是它所集中管理的各物理存儲體的存儲量的總和，而它具有的訪問帶寬則在一定程度上接近各個物理存儲體的訪問帶寬之和。

❹ 海量數據存儲有哪些方式與方法

杉岩海量對象存儲MOS，針對海量非結構化數據存儲的最優化解決方案，採用去中心化、分布式技術架構，支持百億級文件及EB級容量存儲，

具備高效的數據檢索、智能化標簽和分析能力，輕松應對大數據和雲時代的存儲挑戰，為企業發展提供智能決策。

1、容量可線性擴展，單名字空間達EB級

SandStone MOS可在單一名字空間下實現海量數據存儲，支持業務無感知的存儲伺服器橫向擴容，為爆炸式增長的視頻、音頻、圖片、文檔等不同類型的非結構化數據提供完美的存儲方案，規避傳統NAS存儲的單一目錄或文件系統存儲空間無法彈性擴展難題

2、海量小文件存儲，百億級文件高效訪問

SandStone MOS基於完全分布式的數據和元數據存儲架構，為海量小文件存儲而生，將企業級NAS存儲的千萬文件量級提升至互聯網規模的百億級別，幫助企業從容應對幾何級增長的海量小文件挑戰。

3、中心靈活部署，容災匯聚分發更便捷

SandStone MOS支持多數據中心靈活部署，為企業數據容災、容災自動切換、多分支機構、數據就近訪問等場景提供可自定義的靈活解決方案，幫助企業實現跨地域多活容災、數據流轉、就近讀寫等，助力業務高速發展。

4、支持大數據和AI，統一數據存儲和分析

SandStone MOS內置文件智能化處理引擎，實現包括語音識別、圖片OCR識別、文件格式轉換等批量處理功能，結合標簽檢索能力還可實現語音、證件照片檢索，從而幫助企業更好地管理非結構化數據。同時，SandStone MOS還支持與Hadoop、Spark等大數據分析平台對接，一套存儲即可滿足企業數據存儲、管理和挖掘的需求。

❺ 文件系統中用什麼來管理文件

文件系統中用目錄來管理文件。

文件管理系統作為一個統一的信息管理機制，可以解決海量文件存儲，管理困難；查找緩慢，效率低下；文件版本管理混亂；文件安全缺乏保障；文件無法有效協作共享；知識管理舉步維艱等問題。

隨著信息化進程，文件管理越來越受到企業的重視，但是企業在進行文件管理的過程中，經常會碰到問題有：海量文件存儲，管理困難；查找緩慢，效率低下；文件版本管理混亂；文件安全缺乏保障；文件無法有效協作共享；知識管理舉步維艱等。所以文件管理逐漸成為國內外業界研究的熱點。

具體功能

1、統一管理文件存儲空間（即外存），實施存儲空間的分配與回收。

2、確定文件信息的存放位置及存放形式。

3、實現文件從名字空間到外存地址空間的映射，即實現文件的按名存取。

4、有效實現對文件的各種控制操作（如建立、撤銷、打開、關閉文件等）和存取操作（如讀、寫、修改、復制、轉儲等）。

❻ 80T的海量資料，如何永久保存，移動硬碟成本高，且超過10年後，基本上就有毛病了，有沒其它辦法

對於海量圖片數據的存儲問題，杉岩海量對象存儲（SandStone MOS）解決方案採用去中心化分布式架構，同時利用軟體定義的方式實現了單一名字空間條件下數百PB級規模的容量擴展，業務可以隨時隨地訪問而不受數據存儲位置的限制。

在提升海量小文件訪問性能方面，SandStone MOS利用哈希計算實現了數億級文件的高效訪問。針對文件檢索困難，SandStone MOS支持標簽功能，文件存儲時會自動設置標簽，從而更好地與業務結合，滿足高效檢索。

此外，SandStone MOS在易用性與可維護性方面也超越了同級別產品，其採用「x86通用伺服器+存儲軟體」的分布式解耦架構，將底層存儲空間與上層業務邏輯空間進行分離，軟硬體的升級不會影響到整個系統的正常運行。

即使系統有再多應用更新，也不會影響存儲空間的使用。值得一提的是，SandStone MOS首創的分布式存儲數據盤漫遊功能，可以幫助企業用戶漸進式的進行老舊硬體設備更換，不影響業務的正常運行。

❼ 　海量數據存儲與管理

正如上述，在國土資源遙感綜合調查信息中，既包含有多源、多時相、多尺度、多解析度、多類型的遙感圖像數據和基礎地理數據，也包括在項目開展過程中衍生的許多觀測和分析資料，數據量十分龐大。因此，根據數據共享的要求，在數據生產、管理、應用服務以及更新和維護過程中，如何組織和管理好這些海量數據，如何快速、全面有效地訪問和獲得所需數據，成為面臨的突出問題。在這里，採用何種方式利用現有的大型商業化關系資料庫系統高效地存儲與管理這些數據，成為能否發揮系統最大性能的關鍵所在。

傳統的GIS系統對空間數據（與空間位置、空間關系有關的數據）的存儲與管理大多採用這些商業軟體特定的文件方式，如：ArcInfo的Coverage、MapInfo的Tab、MAPGIS的WL等。如果數據量越多，這些文件就會越大，數據的處理就會越復雜，其存儲、檢索、管理也就越困難，而且其最大的缺點還在於不能進行多用戶並發操作。由此可見，用以往傳統的存儲機制去管理像遙感綜合調查這樣的海量數據，顯然難以滿足要求。而近年來發展起來的空間資料庫引擎技術則是解決海量數據存儲管理的途徑之一。

本系統建設過程中，採用了空間資料庫引擎ArcSDE＋大型關系資料庫Oracle組合技術，較理想地實現了遙感綜合調查海量數據的存儲、檢索、查詢、處理。眾所周知，Oracle提供了大型資料庫環境，能夠很好地處理海量數據，而ArcSDE可將具有地理特徵的空間數據和非空間數據統一載入到Oracle中去，因此，通過ArcSDE空間資料庫引擎，可將Oracle海量數據管理功能載入到GIS系統中，並可利用Oracle的強大管理機制進行高效率的事務處理、記錄鎖定、並發控制等服務操作。

❽ 什麼由許多機器組成可以存儲海量數據文件

Hadoop。
Hadoop實現了一個 分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有高 容錯性的特點，並且設計用來部署在低廉的（low-cost）硬體上；而且它提供高吞吐量（high throughput）來訪問 應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統中的數據。
Hadoop的框架最核心的設計就是：HDFS和MapRece。HDFS為海量的數據提供了存儲，則MapRece為海量的數據提供了計算。

❾ 基於mogileFS搭建分布式文件系統--海量小文件的存儲利器

1.簡介

分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點相連。分布式文件系統的設計基於客戶機/伺服器模式。一個典型的網路可能包括多個供多用戶訪問的伺服器。另外，對等特性允許一些系統扮演客戶機和伺服器的雙重角色。例如，用戶可以「發表」一個允許其他客戶機訪問的目錄，一旦被訪問，這個目錄對客戶機來說就像使用本地驅動器一樣。

當下我們處在一個互聯網飛速發展的信息 社會 ，在海量並發連接的驅動下每天所產生的數據量必然以幾何方式增長，隨著信息連接方式日益多樣化，數據存儲的結構也隨著發生了變化。在這樣的壓力下使得人們不得不重新審視大量數據的存儲所帶來的挑戰，例如：數據採集、數據存儲、數據搜索、數據共享、數據傳輸、數據分析、數據可視化等一系列問題。

傳統存儲在面對海量數據存儲表現出的力不從心已經是不爭的事實，例如：縱向擴展受陣列空間限制、橫向擴展受交換設備限制、節點受文件系統限制。

然而分布式存儲的出現在一定程度上有效的緩解了這一問題，之所以稱之為緩解是因為分布式存儲在面對海量數據存儲時也並非十全十美毫無壓力，依然存在的難點與挑戰例如：節點間通信、數據存儲、數據空間平衡、容錯、文件系統支持等一系列問題仍處在不斷摸索和完善中。

2.分布式文件系統的一些解決方案

Google Filesystem適合存儲海量大個文件，元數據存儲與內存中

HDFS（Hadoop Filesystem）GFS的山寨版，適合存儲大量大個文件

TFS（Taobao Filesystem）淘寶的文件系統，在名稱節點上將元數據存儲與關系資料庫中，文件數量不在受限於名稱節點的內容空間，可以存儲海量小文件LustreOracle開發的企業級分布式系統，較重量級MooseFS基於FUSE的格式，可以進行掛載使用MogileFS

擅長存儲海量的小數據，元數據存儲與關系型資料庫中

1.簡介

MogileFS是一個開源的分布式文件系統，用於組建分布式文件集群，由LiveJournal旗下DangaInteractive公司開發，Danga團隊開發了包括 Memcached、MogileFS、Perlbal等不錯的開源項目：(註：Perlbal是一個強大的Perl寫的反向代理伺服器)。MogileFS是一個開源的分布式文件系統。

目前使用 MogileFS 的公司非常多,比如國外的一些公司,日本前幾名的公司基本都在使用這個.

國內所知道的使用 MogileFS 的公司有圖片託管網站 yupoo又拍,digg, 土豆, 豆瓣,1 號店, 大眾點評,搜狗,安居客等等網站.基本很多網站容量，圖片都超過 30T 以上。

2.MogileFS特性

1) 應用層提供服務，不需要使用核心組件

2）無單點失敗，主要有三個組件組成，分為tracker（跟蹤節點）、mogstore（存儲節點）、database（資料庫節點）

3）自動復制文件，復制文件的最小單位不是文件，而是class

4）傳輸中立，無特殊協議，可以通過NFS或HTTP實現通信

5）簡單的命名空間：沒有目錄，直接存在與存儲空間上，通過域來實現

6）不用共享任何數據

3.MogileFS的組成

1）Tracker--跟蹤器，調度器

MogileFS的核心，是一個調度器，mogilefsd進程就是trackers進程程序,trackers的主要職責有：刪除數據、復制數據、監控、查詢等等.這個是基於事件的( event-based ) 父進程/消息匯流排來管理所有來之於客戶端應用的交互(requesting operations to be performed), 包括將請求負載平衡到多個"query workers"中,然後讓 mogilefs的子進程去處理.

mogadm,mogtool的所有操作都要跟trackers打交道,Client的一些操作也需要定義好trackers,因此最好同時運行多個trackers來做負載均衡.trackers也可以只運行在一台機器上，使用負載均衡時可以使用搞一些簡單的負載均衡解決方案，如haproxy，lvs，nginx等，

tarcker的配置文件為/etc/mogilefs/mogilefsd.conf，監聽在TCP的7001埠

2）Database--資料庫部分

主要用來存儲mogilefs的元數據，所有的元數據都存儲在資料庫中，因此，這個數據相當重要，如果資料庫掛掉，所有的數據都不能用於訪問，因此，建議應該對資料庫做高可用

3）mogstored--存儲節點

數據存儲的位置，通常是一個HTTP（webDAV）伺服器，用來做數據的創建、刪除、獲取，任何 WebDAV 伺服器都可以, 不過推薦使用 mogstored . mogilefsd可以配置到兩個機器上使用不同埠… mogstored 來進行所有的 DAV 操作和流量,IO監測, 並且你自己選擇的HTTP伺服器(默認為 perlbal)用來做 GET 操作給客戶端提供文件.

典型的應用是一個掛載點有一個大容量的SATA磁碟. 只要配置完配置文件後mogstored程序的啟動將會使本機成為一個存儲節點.當然還需要mogadm這個工具增加這台機器到Cluster中.

配置文件為/etc/mogilefs/mogstored.conf，監聽在TCP的7500埠

4.基本工作流程

應用程序請求打開一個文件 (通過RPC 通知到 tracker, 找到一個可用的機器). 做一個 「create_open」 請求.

tracker 做一些負載均衡(load balancing)處理，決定應該去哪兒，然後給應用程序一些可能用的位置。

應用程序寫到其中的一個位置去 (如果寫失敗，他會重新嘗試並寫到另外一個位置去）.

應用程序 (client) 通過」create_close」 告訴tracker文件寫到哪裡去了.

tracker 將該名稱和域命的名空間關聯 (通過資料庫來做的)

tracker, 在後台, 開始復制文件，知道他滿足該文件類別設定的復制規則

然後,應用程序通過 「get_paths」 請求 domain+key (key == 「filename」) 文件, tracker基於每一位置的I/O繁忙情況回復(在內部經過 database/memcache/etc 等的一些抉擇處理), 該文件可用的完整 URLs地址列表.

應用程序然後按順序嘗試這些URL地址. (tracker』持續監測主機和設備的狀態，因此不會返回死連接,默認情況下他對返回列表中的第一個元素做雙重檢查，除非你不要他這么做..)

1.拓撲圖

說明：1.用戶通過URL訪問前端的nginx

2.nginx根據特定的挑選演算法，挑選出後端一台tracker來響應nginx請求

3.tracker通過查找database資料庫，獲取到要訪問的URL的值，並返回給nginx

4.nginx通過返回的值及某種挑選演算法挑選一台mogstored發起請求

5.mogstored將結果返回給nginx

6.nginx構建響應報文返回給客戶端

2.ip規劃

角色運行軟體ip地址反向代理nginx192.168.1.201存儲節點與調度節點1

mogilefs192.168.1.202存儲節點與調度節點2

mogilefs192.168.1.203資料庫節點

MariaDB192.168.1.204

3.資料庫的安裝操作並為授權

關於資料庫的編譯安裝，請參照本人相關博文http://wangfeng7399.blog.51cto.com/3518031/1393146，本處將不再累贅，本處使用的為yum源的安裝方式安裝mysql

4.安裝mogilefs. 安裝mogilefs，可以使用yum安裝，也可以使用編譯安裝，本處通過yum安裝

5.初始化資料庫

可以看到在資料庫中創建了一些表

6.修改配置文件，啟動服務

7.配置mogilefs

添加存儲主機

添加存儲設備

添加域

添加class

8.配置192.168.1.203的mogilefs 。切記不要初始化資料庫，配置應該與192.168.1.202一樣

9.嘗試上傳數據，獲取數據，客戶端讀取數據

上傳數據，在任何一個節點上傳都可以

獲取數據

客戶端查看數據

我們可以通過任何一個節點查看到數據

要想nginx能夠實現對後端trucker的反向代理，必須結合第三方模塊來實現

1.編譯安裝nginx

2.准備啟動腳本

3.nginx與mofilefs互聯

查看效果

5.配置後端truckers的集群

查看效果

大功告成了，後續思路，前段的nginx和資料庫都存在單點故障，可以實現高可用集群

❿ 大量小文件存儲，如何選擇存儲方案

1、Raid0
2、固態硬碟
3、Fat32：拷貝大量小文件(如拷貝照片、文檔轉移等)速度很快，但不支持存儲單個大於4GB的文件。
NTFS：支持大文件存儲，管理性能比Fat32強很多，但是拷貝大量小文件時速度較慢。