杉岩海量數據存儲解決方案

『壹』 海量數據存儲有哪些方式與方法

杉岩海量對象存儲MOS，針對海量非結構化數據存儲的最優化解決方案，採用去中心化、分布式技術架構，支持百億級文件及EB級容量存儲，

具備高效的數據檢索、智能化標簽和分析能力，輕松應對大數據和雲時代的存儲挑戰，為企業發展提供智能決策。

1、容量可線性擴展，單名字空間達EB級

SandStone MOS可在單一名字空間下實現海量數據存儲，支持業務無感知的存儲伺服器橫向擴容，為爆炸式增長的視頻、音頻、圖片、文檔等不同類型的非結構化數據提供完美的存儲方案，規避傳統NAS存儲的單一目錄或文件系統存儲空間無法彈性擴展難題

2、海量小文件存儲，百億級文件高效訪問

SandStone MOS基於完全分布式的數據和元數據存儲架構，為海量小文件存儲而生，將企業級NAS存儲的千萬文件量級提升至互聯網規模的百億級別，幫助企業從容應對幾何級增長的海量小文件挑戰。

3、中心靈活部署，容災匯聚分發更便捷

SandStone MOS支持多數據中心靈活部署，為企業數據容災、容災自動切換、多分支機構、數據就近訪問等場景提供可自定義的靈活解決方案，幫助企業實現跨地域多活容災、數據流轉、就近讀寫等，助力業務高速發展。

4、支持大數據和AI，統一數據存儲和分析

SandStone MOS內置文件智能化處理引擎，實現包括語音識別、圖片OCR識別、文件格式轉換等批量處理功能，結合標簽檢索能力還可實現語音、證件照片檢索，從而幫助企業更好地管理非結構化數據。同時，SandStone MOS還支持與Hadoop、Spark等大數據分析平台對接，一套存儲即可滿足企業數據存儲、管理和挖掘的需求。

『貳』 80T的海量資料，如何永久保存，移動硬碟成本高，且超過10年後，基本上就有毛病了，有沒其它辦法

對於海量圖片數據的存儲問題，杉岩海量對象存儲（SandStone MOS）解決方案採用去中心化分布式架構，同時利用軟體定義的方式實現了單一名字空間條件下數百PB級規模的容量擴展，業務可以隨時隨地訪問而不受數據存儲位置的限制。

在提升海量小文件訪問性能方面，SandStone MOS利用哈希計算實現了數億級文件的高效訪問。針對文件檢索困難，SandStone MOS支持標簽功能，文件存儲時會自動設置標簽，從而更好地與業務結合，滿足高效檢索。

此外，SandStone MOS在易用性與可維護性方面也超越了同級別產品，其採用「x86通用伺服器+存儲軟體」的分布式解耦架構，將底層存儲空間與上層業務邏輯空間進行分離，軟硬體的升級不會影響到整個系統的正常運行。

即使系統有再多應用更新，也不會影響存儲空間的使用。值得一提的是，SandStone MOS首創的分布式存儲數據盤漫遊功能，可以幫助企業用戶漸進式的進行老舊硬體設備更換，不影響業務的正常運行。

『叄』 在項目數字化轉型中使用較為普遍的軟體定義存儲一體機有嗎，求推薦

隨著國內企業數字化轉型加速，企業紛紛上雲，數據存儲量呈爆發式增長。傳統存儲擴展性差、成本高等局限性愈發明顯。軟體定義存儲（Software Defined Storage，以下簡稱SDS）以虛擬化方式將各種存儲資源抽象化、進行池化整合，通過智能化管控軟體實現存儲資源的按需分配。軟體定義存儲重新定義了存儲架構，以擴容便捷、成本較低等優勢，成為存儲領域的重要發展方向之一。

深圳市杉岩數據技術有限公司（以下簡稱「杉岩數據」或「杉岩」）是國內軟體定義存儲領域的領導者之一。IDC最新發布的《2019 Q4 中國SDS市場報告》中，杉岩數據在對象存儲市場份額第三，佔比16.3%；在塊存儲市場份額第四，佔比6.9%。

杉岩數據成立於2014年9月，公司以新一代智能分布式存儲技術為核心，致力於提供領先的面向不同業務環境的企業級存儲方案，幫助用戶輕松應對IT向雲遷移的存儲挑戰，為大數據時代的商業決策提供智能存儲，打造雲計算、人工智慧、物聯網等領域的數據存儲基石。

杉岩數據致力於幫助用戶應對數據存儲量、訪問量以及數據管理復雜度，幫助用戶建立以存儲虛擬化和計算虛擬化為核心的雲計算基礎設施環境，並逐步提供數據處理、挖掘、智能分析等方面的大數據專業系統和服務。

2020年7月8日，公司宣布獲得B+輪1.5億元最新融資，本輪融資由大型央企中遠海運領投，襄禾資本、無錫金投跟投。藉助本輪融資，公司將圍繞數據存儲、數據管理、數據價值的客戶價值模型，持續加大產品關鍵技術的研發投入、垂直領域的市場拓展、人才引入以及產業生態鏈的建設，為用戶的數字化轉型提供全面賦能。

杉岩數據融資情況

訪談內容分享如下：

1

不只是存儲優化

以數據為中心的客戶價值金字塔模式

將智能存儲的進階賦能演繹到極致

融中研究：

「SandStone是一種橙紅色石頭，由沙粒經過多年不斷沉積重新排列而成。SandStone 生動地詮釋了『分布式架構』的形成。」為什麼用這個比喻來強調「分布式架構」？有什麼特殊含義？

陳堅：

SandStone對我們確實意義深遠。實際上，我們公司名稱的來源與「Sand Stone」緊密相關。杉岩二字，來源於Sand的音譯杉，以及Stone的意譯岩。取名「SandStone」是因為我們做的是基於P2P的分布式存儲架構，分布式存儲的本質就是把分散的磁碟硬體聚合起來，形成一個很大的存儲資源池。「SandStone」生動地詮釋了「分布式架構』的形成，每個磁碟所在的伺服器節點就像一粒沙子，通過杉岩數據的軟體聚沙成石，形成一個穩定可靠的存儲系統。

SandStone不僅代表了產品的特點，實際也代表了我們的文化、經營理念。從公司內部來看，每一個員工就像一粒沙子，大家團結奮斗、緊密協作，凝聚成一個有機整體，使得整個公司像石頭一樣堅不可摧；從外部合作夥伴的拓展來看，以杉岩為中心，將周圍的合作夥伴聚在一起形成生態圈，每一個夥伴也是一粒沙子，通過不斷吸納聚合，構建穩定的生態圈。因此，SandStone所代表的團結奮斗與凝聚力內核，已內化成了公司企業文化的一部分；SandStone蘊含的分布式理念，也切合了公司與合作夥伴的生態建設理念。

融中研究：

杉岩是做存儲的，為什麼公司取名為杉岩數據而不是杉岩存儲呢？智能存儲與傳統存儲的主要區別是什麼？杉岩的智能存儲方案有什麼特點？

陳堅：

之所以叫杉岩數據而不是杉岩存儲，是因為我們帶給客戶的價值不只是存儲的優化，而是以數據為中心的智能存儲賦能，通過我們的存儲系統，解決客戶在AIoT、5G時代海量數據的存儲、管理以及使用方面的問題。

針對智能存儲，杉岩數據構建了一套以數據為中心的客戶價值金字塔模型，最底座是存儲，作為數據的抓手；中間層是數據的管理，作為內涵；最頂層為未來的智能化應用提供准備及服務，我把它叫做外延。

具體來說，第一層即數據存儲的智能化。存儲側的智能，就是讓客戶使用更加簡單。傳統存儲像煙囪，每一個業務系統配一套存儲，客戶的運維非常困難。分布式存儲則是一個存儲池，客戶面向的是一套承載了不同應用數據的存儲集群，孤立的煙囪不再存在。在存儲集群裡面的故障、性能、容量等告警，都是由存儲系統內部智能化完成，同時還保障數據的可靠性、安全性以及訪問性能。

第二層，數據管理的智能化。用戶存數據後，要管數據。我認為數據是有生命力的，像人一樣有從生到死的過程。醫療影像數據是一個典型的例子：病人拍完CT、X光產生的影像數據馬上要被用於輔助醫生尋找病症、病灶，這時數據是「熱」的。這一次病好後，數據訪問頻率下降，「熱」數據變為「溫」數據。病人徹底康復後，數據變「冷」。對「熱」數據，為了保證訪問性能，相應的軟硬體配置都非常高，價格也高。「冷」數據如果同「熱」數據一樣存儲，性價比較低。醫院一般將冷數據歸檔到公有雲或藍光等單位存儲成本相對較低的存儲介質中。這個例子正好反映了數據全生命周期的智能化管理。

在未來海量數據時代，數據的管理非常關鍵。除了數據全生命周期的管理，杉岩還能實現數據智能化的統一管理，包括：對客戶的傳統存儲和杉岩的分布式存儲的統一管理，保護客戶對傳統存儲的原有投資；對公有雲、私有雲數據的統一管理，實現數據的自由流動；對邊緣設備與中心設備數據的統一管理，實現數據的相互協同。

第三層，金字塔的頂端，是數據挖掘的智能化。數據被存儲、管理，最終都是為了信息和價值的挖掘。目前越來越多的企業藉助AI、機器學習、深度學習這些演算法來使用和挖掘數據價值。杉岩的存儲系統，包括我們的對象存儲，都為海量數據的挖掘和使用去賦能。當然，杉岩不是要做AI，而是為智能化去賦能。這體現在兩個方面，第一，我們的存儲系統裡面自帶數據處理引擎，對業務需要使用的數據進行預先處理。第二，我們為AI的訓練、數據清洗、數據的准備階段提供了友好的統一管理、存儲平台——數據處理引擎「AI in MOS」，還有面向需要對AI進行訓練、學習、應用的公司提供的存儲平台——「MOS for AI」。

融中研究：

杉岩在數據的存、管、挖各個層面的資源投入如何？杉岩在技術底層的優勢有哪些？

陳堅：

在存、管、挖三個層面，杉岩起步聚焦於「存」，致力於為客戶提供一個高可靠、高安全、高性能、高可擴展性的分布式存儲系統，「存」也是目前投入最大的一塊。在「存」方面，目前我們的核心競爭力主要體現在產品性能更高，可用性、可維性更強，特別是在數據的安全性方面，我們積累了很多經驗。

在管方面，隨著客戶持續增加，杉岩面臨的需求也不斷增加，我們通過與客戶的互動交流，了解客戶實實在在的需求與痛點，並提出創新的解決方案。目前我們一些特有的產品功能已經落地了，這是很多企業包括一些大廠都不具備的，比如說我們對傳統存儲與分布式存儲的統一管理、對數據的全生命周期管理等等。

最上層，未來數據的智能應用層面，在智能數據處理引擎「AI in MOS」產品上，我們也在加大投入，今年就會有實際的項目落地。

融中研究：

您剛才講到，在數據挖掘上會加大投入，那麼杉岩在這一塊的發展目標如何？如何與數據挖掘專業公司競爭？

陳堅：

我先做一個澄清，杉岩的產品是有邊界的，我們不會像大數據公司一樣，比如也去做一個精準營銷，我們是為精準營銷賦能。像之前提到的數據處理，即使杉岩不做，這些公司還是要做的，杉岩其實是在幫這些公司做加速。另一方面，在賦能大數據挖掘的過程，杉岩主要針對非結構化數據賦能。以前的基於資料庫的結構化數據，像BI、數據倉庫，這類數據的挖掘已經有非常成熟的解決方案，杉岩的目標不在於此。我們強調對象存儲就是因為對象存儲是存儲非結構化數據最佳的載體。我們通過對非結構化數據的AI挖掘、使用賦能實現差異化。

融中研究：

在當前軟體定義存儲，存在哪些技術局限，大概何時能夠突破？杉岩在這塊有哪些領先優勢？

陳堅：

軟體定義存儲的概念相對於傳統存儲，其設計哲學和傳統存儲剛好相反。傳統存儲以硬體為核心，存儲系統的數據可靠性高度依賴硬體架構的設計。軟體定義存儲，假設硬體是不可靠的或可靠性沒那麼高。

軟體定義存儲的性能更高、擴展性更強、更靈活。但任何一個架構、系統都會有自己的優缺點。軟體定義存儲在技術上的局限性：第一，難以將硬體的性能發揮到極致。第二，在存儲集群大了以後，整個集群的管理、運維也是一個挑戰。一般的企業沒有專門的IT運維人員或運維水平有限，在海量數據時代，存儲產品能不能讓企業實現簡單運維，也是一個挑戰。

杉岩對傳統存儲和分布式存儲都有很深入的理解，既有傳統存儲最核心的架構師和工程師，也有深耕分布式存儲領域近10年的架構師。面對這些局限，杉岩也在做一些事情，比如在軟硬結合方面，與硬體供應商一起做軟硬垂直優化；在大規模集群存儲系統的管理和運維上，借鑒一些AI的演算法能力，讓運維更加智能化、自動化。

2

立足場景尋找最佳匹配行業

以質量和服務構建客戶信任

加速市場拓展

融中研究：

杉岩已服務10+行業的500+客戶，從市場策略來看，杉岩數據在這些行業是齊頭並進還是有所側重？主要的優勢行業有哪些？未來發展或者延伸的重點行業還有哪些？

陳堅：

存儲系統作為一個標准化產品，沒有太多的行業屬性。但是軟體定義存儲有它的最佳應用場景。

杉岩數據依託場景構築產品和解決方案，再通過最佳應用場景去尋找最佳匹配行業，進行市場開拓。例如，杉岩智慧視頻雲存儲的解決方案，可以在安防、軌道交通、能源、電力、金融等等行業領域使用。另外，我們還推出了一個更加通用化、平台式的私有雲產品，適用於金融、政府、教育、醫療等多個行業。

目前，杉岩市場突破的重點在於有大量場景和需求的政府、金融、教育、醫療、交通、能源、製造等行業。市場開拓方面，杉岩在大部分行業齊頭並進，對小部分行業有所側重，例如金融行業將是杉岩數據始終關注的重點行業。

作為存儲廠商，杉岩產品的行業屬性不強，但在產品智能化層面，實際上我們有一些場景化和行業屬性的定製，但這種定製不是為某一客戶定製，而是為一個行業定製，並且可以批量復制和推廣。

融中研究：

杉岩數據如何切入客戶，並獲得客戶的信任？在客戶關系維護和服務方面，杉岩數據採取哪些措施？

陳堅：

從0到1的突破是非常難的。杉岩數據以產品為客戶帶來的價值來切入市場，早期的客戶包括中國移動、中國電信、廣發證券、深圳市供電局等。對TOB市場，標桿的意義重大。杉岩切入市場後，依託案例與標桿客戶在同行業去推廣復制。

杉岩數據依靠高質量的產品和切實的服務獲取客戶的信任。目前為止，我們存儲了2500+PB的數據，從沒丟失過數據，這一點讓用戶非常放心。服務，是創業公司最具競爭力的優勢之一，而大廠流程非常復雜，對TO B客戶服務的理念和經驗也比較缺乏。杉岩與客戶的運維人員緊密溝通，對他們進行多維培訓賦能，客戶能夠親身感受到杉岩對他們的重視。

3

疫情期間，馳援武漢

推出免費服務平台

苦練研發內功蓄勢待發

融中研究：

此次疫情對杉岩數據帶來什麼影響？杉岩數據採取哪些行動？

陳堅：

這次新冠疫情對杉岩數據是一把雙刃劍，但總體來說是利好的局面。一方面，疫情對公司短期的獲客、工作開展產生了一定的沖擊和影響；另一方面，疫情也讓新一代信息技術的價值被充分認識，例如遠程醫療、遠程診斷等會涉及到大量的數據存儲和應用，軌跡、跟蹤、健康碼等其實也都是基於數據的存儲和使用。很多行業對於新一代信息技術的接受程度更高了，特別是政府的智慧城市、醫療領域的遠程醫療、教育領域的遠程教育發展等，帶來的數據存儲機會更多了。

作為一家創業公司，疫情期間，我們也秉承一貫的家國情懷和責任，進最大的努力為抗疫提供支持。2月份，我們給武漢大學人民醫院捐獻了一套分布式存儲產品，助力提升醫院的醫療質量和效率。同時，為了幫助用戶解決疫情期間存儲問題，我們推出了供用戶免費使用的「統一存儲平台軟體SandStone USP」。

此外，我們在產品研發、市場開拓上沒有絲毫懈怠。在產品研發端，我們借機苦練內功、打磨產品，為疫情過後的市場反彈做好准備；在市場開拓方面，我們的銷售團隊通過遠程電話保持與客戶、合作夥伴的緊密互動與溝通，努力介紹杉岩的產品方案和價值亮點，積極拓展新客戶、挖掘老客戶新需求等。

4

分布式存儲市場將形成寡頭壟斷格局

杉岩將始終以差異化取勝

融中研究：

當前存儲市場競爭格局怎麼樣？主要玩家類型有哪些？

陳堅：

從市場格局來說，存儲行業技術門檻很高，需要大量的經驗積累和打磨，大浪淘沙之後，最終玩家不會很多。在傳統存儲領域，全球TOP6的公司占據市場百分之八十幾的份額。在分布式存儲領域，經過五年多的發展，與杉岩數據同期創立的公司中，很多技術不成熟的公司已經慢慢被淘汰了。我相信經過震盪式的發展後，分布式存儲的市場格局會趨於穩定，也會變成一個寡頭壟斷的格局，未來會有一家或幾家來佔領市場絕大部分的份額，杉岩肯定是其中之一。

從競爭來說，杉岩的優勢還是產品。創業公司沒有捷徑可走，品牌、資金都比拼不過大廠，生存發展一定是靠差異化的競爭力。杉岩的差異化競爭優勢主要體現在客戶價值金字塔模型的「管」和「挖」，「存」大家都在做，如果這一層都做不好自然會被淘汰；「管」層面，大廠的產品很全，內部對於傳統存儲和分布式存儲會有一些博弈和競爭，但對於垂直用戶定製化以及工業化需求領域不一定願意涉足，而杉岩獨特的價值和優勢正體現於此。數據智能層面，杉岩的價值和優勢更加明顯。杉岩的設備產品有一些特殊的功能，這是很多大廠不會去做的事情，他們提供的主要是面向全球市場的標准化產品，聚焦於存儲產品的完善。杉岩則是針對垂直細分市場進行產品差異化。

在市場競爭格局中，同類創業公司競爭方面，從目前來說，2013到2015年成立的一批公司，現在的競爭格局越來越清晰了。當前，軟體定義存儲處於繁榮發展期，蛋糕還沒有定型，在不斷擴展、挖掘客戶新場景、新需求的階段，都在共同培育市場。所以，我們正在共創生態鏈，攜手合作夥伴建設新型IT基礎設施建設。

融中研究：

大型廠商加碼存儲，例如華為、華三等大廠也開始發力對象存儲，對杉岩數據的發展會有沖擊嗎？杉岩數據如何平衡與基礎設施合作夥伴華為的競爭與合作？

陳堅：

大廠確實在加大對存儲領域的布局，但我們也看到一個趨勢，大廠現在主要在公有雲方面布局，而在私有雲方面，可能更多的是以傳統存儲、分布存儲的架構來拓展市場。與大廠的競爭要避免正面交鋒，走差異化路線。比如在金融領域，杉岩在智能化數據處理方面獨具特色，這是我們帶給客戶的獨特價值。

『肆』 如何處理海量數據

在實際的工作環境下，許多人會遇到海量數據這個復雜而艱巨的問題，它的主要難點有以下幾個方面：
一、數據量過大，數據中什麼情況都可能存在。
如果說有10條數據，那麼大不了每條去逐一檢查，人為處理，如果有上百條數據，也可以考慮，如果數據上到千萬級別，甚至 過億，那不是手工能解決的了，必須通過工具或者程序進行處理，尤其海量的數據中，什麼情況都可能存在，例如，數據中某處格式出了問題，尤其在程序處理時， 前面還能正常處理，突然到了某個地方問題出現了，程序終止了。
二、軟硬體要求高，系統資源佔用率高。
對海量的數據進行處理，除了好的方法，最重要的就是合理使用工具，合理分配系統資源。一般情況，如果處理的數據過TB級，小型機是要考慮的，普通的機子如果有好的方法可以考慮，不過也必須加大CPU和內存，就象面對著千軍萬馬，光有勇氣沒有一兵一卒是很難取勝的。
三、要求很高的處理方法和技巧。
這也是本文的寫作目的所在，好的處理方法是一位工程師長期工作經驗的積累，也是個人的經驗的總結。沒有通用的處理方法，但有通用的原理和規則。
下面我們來詳細介紹一下處理海量數據的經驗和技巧：
一、選用優秀的資料庫工具
現在的資料庫工具廠家比較多，對海量數據的處理對所使用的資料庫工具要求比較高，一般使用Oracle或者DB2，微軟 公司最近發布的SQL Server 2005性能也不錯。另外在BI領域：資料庫，數據倉庫，多維資料庫，數據挖掘等相關工具也要進行選擇，象好的ETL工具和好的OLAP工具都十分必要， 例如Informatic，Eassbase等。筆者在實際數據分析項目中，對每天6000萬條的日誌數據進行處理，使用SQL Server 2000需要花費6小時，而使用SQL Server 2005則只需要花費3小時。
二、編寫優良的程序代碼
處理數據離不開優秀的程序代碼，尤其在進行復雜數據處理時，必須使用程序。好的程序代碼對數據的處理至關重要，這不僅僅是數據處理准確度的問題，更是數據處理效率的問題。良好的程序代碼應該包含好的演算法，包含好的處理流程，包含好的效率，包含好的異常處理機制等。
三、對海量數據進行分區操作
對海量數據進行分區操作十分必要，例如針對按年份存取的數據，我們可以按年進行分區，不同的資料庫有不同的分區方式，不 過處理機制大體相同。例如SQL Server的資料庫分區是將不同的數據存於不同的文件組下，而不同的文件組存於不同的磁碟分區下，這樣將數據分散開，減小磁碟I/O，減小了系統負荷， 而且還可以將日誌，索引等放於不同的分區下。
四、建立廣泛的索引
對海量的數據處理，對大表建立索引是必行的，建立索引要考慮到具體情況，例如針對大表的分組、排序等欄位，都要建立相應 索引，一般還可以建立復合索引，對經常插入的表則建立索引時要小心，筆者在處理數據時，曾經在一個ETL流程中，當插入表時，首先刪除索引，然後插入完 畢，建立索引，並實施聚合操作，聚合完成後，再次插入前還是刪除索引，所以索引要用到好的時機，索引的填充因子和聚集、非聚集索引都要考慮。
五、建立緩存機制
當數據量增加時，一般的處理工具都要考慮到緩存問題。緩存大小設置的好差也關繫到數據處理的成敗，例如，筆者在處理2億條數據聚合操作時，緩存設置為100000條/Buffer，這對於這個級別的數據量是可行的。
六、加大虛擬內存
如果系統資源有限，內存提示不足，則可以靠增加虛擬內存來解決。筆者在實際項目中曾經遇到針對18億條的數據進行處理， 內存為1GB，1個P42.4G的CPU，對這么大的數據量進行聚合操作是有問題的，提示內存不足，那麼採用了加大虛擬內存的方法來解決，在6塊磁碟分區 上分別建立了6個4096M的磁碟分區，用於虛擬內存，這樣虛擬的內存則增加為 4096*6 + 1024 =25600 M，解決了數據處理中的內存不足問題。
七、分批處理
海量數據處理難因為數據量大，那麼解決海量數據處理難的問題其中一個技巧是減少數據量。可以對海量數據分批處理，然後處 理後的數據再進行合並操作，這樣逐個擊破，有利於小數據量的處理，不至於面對大數據量帶來的問題，不過這種方法也要因時因勢進行，如果不允許拆分數據，還 需要另想辦法。不過一般的數據按天、按月、按年等存儲的，都可以採用先分後合的方法，對數據進行分開處理。
八、使用臨時表和中間表
數據量增加時，處理中要考慮提前匯總。這樣做的目的是化整為零，大表變小表，分塊處理完成後，再利用一定的規則進行合 並，處理過程中的臨時表的使用和中間結果的保存都非常重要，如果對於超海量的數據，大表處理不了，只能拆分為多個小表。如果處理過程中需要多步匯總操作， 可按匯總步驟一步步來，不要一條語句完成，一口氣吃掉一個胖子。
九、優化查詢SQL語句
在對海量數據進行查詢處理過程中，查詢的SQL語句的性能對查詢效率的影響是非常大的，編寫高效優良的SQL腳本和存儲 過程是資料庫工作人員的職責，也是檢驗資料庫工作人員水平的一個標准，在對SQL語句的編寫過程中，例如減少關聯，少用或不用游標，設計好高效的資料庫表 結構等都十分必要。筆者在工作中試著對1億行的數據使用游標，運行3個小時沒有出結果，這是一定要改用程序處理了。
十、使用文本格式進行處理
對一般的數據處理可以使用資料庫，如果對復雜的數據處理，必須藉助程序，那麼在程序操作資料庫和程序操作文本之間選擇， 是一定要選擇程序操作文本的，原因為：程序操作文本速度快；對文本進行處理不容易出錯；文本的存儲不受限制等。例如一般的海量的網路日誌都是文本格式或者 csv格式（文本格式），對它進行處理牽扯到數據清洗，是要利用程序進行處理的，而不建議導入資料庫再做清洗。
十一、定製強大的清洗規則和出錯處理機制
海量數據中存在著不一致性，極有可能出現某處的瑕疵。例如，同樣的數據中的時間欄位，有的可能為非標準的時間，出現的原因可能為應用程序的錯誤，系統的錯誤等，這是在進行數據處理時，必須制定強大的數據清洗規則和出錯處理機制。
十二、建立視圖或者物化視圖
視圖中的數據來源於基表，對海量數據的處理，可以將數據按一定的規則分散到各個基表中，查詢或處理過程中可以基於視圖進行，這樣分散了磁碟I/O，正如10根繩子吊著一根柱子和一根吊著一根柱子的區別。
十三、避免使用32位機子（極端情況）
目前的計算機很多都是32位的，那麼編寫的程序對內存的需要便受限制，而很多的海量數據處理是必須大量消耗內存的，這便要求更好性能的機子，其中對位數的限制也十分重要。
十四、考慮操作系統問題
海量數據處理過程中，除了對資料庫，處理程序等要求比較高以外，對操作系統的要求也放到了重要的位置，一般是必須使用伺服器的，而且對系統的安全性和穩定性等要求也比較高。尤其對操作系統自身的緩存機制，臨時空間的處理等問題都需要綜合考慮。
十五、使用數據倉庫和多維資料庫存儲
數據量加大是一定要考慮OLAP的，傳統的報表可能5、6個小時出來結果，而基於Cube的查詢可能只需要幾分鍾，因此處理海量數據的利器是OLAP多維分析，即建立數據倉庫，建立多維數據集，基於多維數據集進行報表展現和數據挖掘等。
十六、使用采樣數據，進行數據挖掘
基於海量數據的數據挖掘正在逐步興起，面對著超海量的數據，一般的挖掘軟體或演算法往往採用數據抽樣的方式進行處理，這樣 的誤差不會很高，大大提高了處理效率和處理的成功率。一般采樣時要注意數據的完整性和，防止過大的偏差。筆者曾經對1億2千萬行的表數據進行采樣，抽取出 400萬行，經測試軟體測試處理的誤差為千分之五，客戶可以接受。
還有一些方法，需要在不同的情況和場合下運用，例如使用代理鍵等操作，這樣的好處是加快了聚合時間，因為對數值型的聚合比對字元型的聚合快得多。類似的情況需要針對不同的需求進行處理。
海量數據是發展趨勢，對數據分析和挖掘也越來越重要，從海量數據中提取有用信息重要而緊迫，這便要求處理要准確，精度要高，而且處理時間要短，得到有價值信息要快，所以，對海量數據的研究很有前途，也很值得進行廣泛深入的研究。

『伍』 杉岩數據的技術實力如何

這里只說一個吧，自主研發的數據盤漫遊功能，保留並利用故障伺服器上硬碟中原有數據，減少數據來回遷移所帶來的性能損耗，解決更換伺服器時遇到的諸多問題。

『陸』 銀行海量交易數據是怎麼存儲的

「合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。」分析和決策這才是銀行引入「大數據」處理的關鍵因素。僅僅對於「海量流水數據提供給客戶查詢」而言，只是滿足了客戶的某個功能性需求而已。
一般來說，銀行的數據都是結構化的、持久性存儲的（非結構化的數據一般指電子影像，如客戶辦理業務的回單掃描圖片等），以資料庫以及文件方式存儲為主。按照交易數據性質，我們可以分為「原始流水數據」和「加工後數據」兩種。

『柒』 請教：關於結構化和非結構化數據存儲

（1）結構化數據，簡單來說就是資料庫。結合到典型場景中更容易理解，比如企業ERP、財務系統；醫療HIS資料庫；政府行政審批；其他核心資料庫等。這些應用需要哪些存儲方案呢？基本包括高速存儲應用需求、數據備份需求、數據共享需求以及數據容災需求。

（2）非結構化資料庫是指其欄位長度可變，並且每個欄位的記錄又可以由可重復或不可重復的子欄位構成的資料庫，用它不僅可以處理結構化數據（如數字、符號等信息）而且更適合處理非結構化數據（全文文本、圖像、聲音、影視、超媒體等信息）。

面對海量非結構數據存儲，杉岩海量對象存儲MOS，提供完整解決方案，採用去中心化、分布式技術架構，支持百億級文件及EB級容量存儲，具備高效的數據檢索、智能化標簽和分析能力，輕松應對大數據和雲時代的存儲挑戰，為企業發展提供智能決策。

『捌』 海量數據存儲

存儲技術經歷了單個磁碟、磁帶、RAID到網路存儲系統的發展歷程。網路存儲技術就是將網路技術和I/O技術集成起來，利用網路的定址能力、即插即用的連接性、靈活性，存儲的高性能和高效率，提供基於網路的數據存儲和共享服務。在超大數據量的存儲管理、擴展性方面具有明顯的優勢。

典型的網路存儲技術有網路附加存儲NAS（Network Attached Storage）和存儲區域網SAN（Storage Area Networks）兩種。

1）NAS技術是網路技術在存儲領域的延伸和發展。它直接將存儲設備掛在網上，有良好的共享性、開放性。缺點是與LAN共同用物理網路，易形成擁塞，而影響性能。特別是在數據備份時，性能較低，影響在企業存儲應用中的地位。

2）SAN技術是以數據存儲為中心，使用光纖通道連接高速網路存儲的體系結構。即將數據存儲作為網路上的一個區域獨立出來。在高度的設備和數據共享基礎上，減輕網路和伺服器的負擔。因光纖通道的存儲網和LAN分開，使性能得到很大的提高，而且還提供了很高的可靠性和強大的連續業務處理能力。在SAN中系統的擴展、數據遷移、數據本地備份、遠程數據容災數據備份和數據管理等都比較方便，整個SAN成為一個統一管理的存儲池（Storage Pool）。SAN存儲設備之間通過專用通道進行通信，不佔用伺服器的資源。因此非常適合超大量數據的存儲，成為網路存儲的主流。

3）存儲虛擬化技術是將系統中各種異構的存儲設備映射為一個單一的存儲資源，對用戶完全透明，達到互操作性的目的和利用已有的硬體資源，把SAN內部的各種異構的存儲資源統一成一個單一視圖的存儲池，可根據用戶的需要方便地切割、分配。從而保持已有的投資，減少總體成本，提高存儲效率。

存儲虛擬化包括3個層次結構：基於伺服器的虛擬化存儲、基於存儲設備的虛擬化存儲和基於網路的虛擬化存儲。

1）基於伺服器的虛擬化存儲由邏輯管理軟體在主機/伺服器上完成。經過虛擬化的存儲空間可跨越多個異構的磁碟陣列，具有高度的穩定性和開放性，實現容易、簡便。但對異構環境和分散管理不太適應。

2）基於存儲設備的虛擬化存儲，因一些高端磁碟陣列本身具有智能化管理，可以實現同一陣列，供不同主機分享。其結構性能可達到最優。但實現起來價格昂貴，可操作性差。

3）基於網路的虛擬化存儲，通過使用專用的存儲管理伺服器和相應的虛擬化軟體，實現多個主機/伺服器對多個異構存儲設備之間進行訪問，達到不同主機和存儲之間真正的互連和共享，成為虛擬存儲的主要形式。根據不同結構可分為基於專用伺服器和基於存儲路由器兩種方式。①基於專用伺服器的虛擬化，是用一台伺服器專用於提供系統的虛擬化功能。根據網路拓撲結構和專用伺服器的具體功能，其虛擬化結構有對稱和非對稱兩種方式。在對稱結構中數據的傳輸與元數據訪問使用同一通路。實現簡單，對伺服器和存儲設備的影響小，對異構環境的適應性強。缺點是專用伺服器可能成為系統性能的瓶頸，影響SAN的擴展。在非對稱結構中，數據的傳輸與元數據訪問使用不同通路。應用伺服器的I/O命令先通過命令通路傳送到專用伺服器，獲取元數據和傳輸數據視圖後，再通過數據通路得到所需的數據。與對稱結構相比，提高了存儲系統的性能，增加了擴展能力。②基於存儲路由器的SAN虛擬化，存儲路由器是一種智能化設備，既具有路由器的功能，又針對I/O進行專門優化。它部署在存儲路由器上，多個存儲路由器保存著整個存儲系統中的元數據多個副本，並通過一定的更新策略保持一致性。這種結構中，因存儲路由器具有強大的協議功能，所以具有更多的優勢。能充分利用存儲資源，保護投資。能實現軟硬體隔離，並輔有大量的自動化工具，提高了虛擬伺服器的安全性，降低對技術人員的需求和成本。