大數據存儲技術短板

❶ 大數據存在哪些問題

數據存儲問題：隨著技術不斷發展，數據量從TB上升至PB，EB量級，如果還用傳統的數據存儲方式，必將給大數據分析造成諸多不便，這就需要藉助數據的動態處理技術，即隨著數據的規律性變更和顯示需求，對數據進行非定期的處理。同時，數量極大的數據不能直接使用傳統的結構化資料庫進行存儲，人們需要探索一種適合大數據的數據儲存模式，也是當下應該著力解決的一大難題。

分析資源調度問題：大數據產生的時間點，數據量都是很難計算的，這就是大數據的一大特點，不確定性。所以我們需要確立一種動態響應機制，對有限的計算、存儲資源進行合理的配置及調度。另外，如何以最小的成本獲得最理想的分析結果也是一個需要考慮的問題。

專業的分析工具：在發展數據分析技術的同時，傳統的軟體工具不再適用。目前人類科技尚不成熟，距離開發出能夠滿足大數據分析需求的通用軟體還有一定距離。如若不能對這些問題做出處理，在不久的將來大數據的發展就會進入瓶頸，甚至有可能出現一段時間的滯留期，難以持續起到促進經濟發展的作用。

❷ 大數據目前存在什麼問題

數據存儲問題：隨著技術不斷發展，數據量從TB上升至PB，EB量級，如果還用傳統的數據存儲方式，必將給大數據分析造成諸多不便，這就需要藉助數據的動態處理技術，即隨著數據的規律性變更和顯示需求，對數據進行非定期的處理。同時，數量極大的數據不能直接使用傳統的結構化資料庫進行存儲，人們需要探索一種適合大數據的數據儲存模式，也是當下應該著力解決的一大難題。

分析資源調度問題：大數據產生的時間點，數據量都是很難計算的，這就是大數據的一大特點，不確定性。所以我們需要確立一種動態響應機制，對有限的計算、存儲資源進行合理的配置及調度。另外，如何以最小的成本獲得最理想的分析結果也是一個需要考慮的問題。

專業的分析工具：在發展數據分析技術的同時，傳統的軟體工具不再適用。目前人類科技尚不成熟，距離開發出能夠滿足大數據分析需求的通用軟體還有一定距離。如若不能對這些問題做出處理，在不久的將來大數據的發展就會進入瓶頸，甚至有可能出現一段時間的滯留期，難以持續起到促進經濟發展的作用。

關於大數據分析目前存在哪些問題，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

❸ 大數據存儲與應用特點及技術路線分析

大數據存儲與應用特點及技術路線分析

大數據時代，數據呈爆炸式增長。從存儲服務的發展趨勢來看，一方面，對數據的存儲量的需求越來越大；另一方面，對數據的有效管理提出了更高的要求。大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求，需要充分考慮功能集成度、數據安全性、數據穩定性，系統可擴展性、性能及成本各方面因素。

大數據存儲與應用的特點分析

「大數據」是由數量巨大、結構復雜、類型眾多數據構成的數據集合，是基於雲計算的數據處理與應用模式，通過數據的整合共享，交叉復用形成的智力資源和知識服務能力。其常見特點可以概括為3V:Volume、Velocity、Variety(規模大、速度快、多樣性)。

大數據具有數據規模大(Volume)且增長速度快的特性，其數據規模已經從PB級別增長到EB級別，並且仍在不斷地根據實際應用的需求和企業的再發展繼續擴容，飛速向著ZB(ZETA-BYTE)的規模進軍。以國內最大的電子商務企業淘寶為例，根據淘寶網的數據顯示，至2011年底，淘寶網最高單日獨立用戶訪問量超過1.2億人，比2010年同期增長120%,注冊用戶數量超過4億，在線商品數量達到8億，頁面瀏覽量達到20億規模，淘寶網每天產生4億條產品信息，每天活躍數據量已經超過50TB.所以大數據的存儲或者處理系統不僅能夠滿足當前數據規模需求，更需要有很強的可擴展性以滿足快速增長的需求。

(1)大數據的存儲及處理不僅在於規模之大，更加要求其傳輸及處理的響應速度快(Velocity)。

相對於以往較小規模的數據處理，在數據中心處理大規模數據時，需要服務集群有很高的吞吐量才能夠讓巨量的數據在應用開發人員「可接受」的時間內完成任務。這不僅是對於各種應用層面的計算性能要求，更加是對大數據存儲管理系統的讀寫吞吐量的要求。例如個人用戶在網站選購自己感興趣的貨物，網站則根據用戶的購買或者瀏覽網頁行為實時進行相關廣告的推薦，這需要應用的實時反饋;又例如電子商務網站的數據分析師根據購物者在當季搜索較為熱門的關鍵詞，為商家提供推薦的貨物關鍵字，面對每日上億的訪問記錄要求機器學習演算法在幾天內給出較為准確的推薦，否則就丟失了其失效性；更或者是計程車行駛在城市的道路上，通過GPS反饋的信息及監控設備實時路況信息，大數據處理系統需要不斷地給出較為便捷路徑的選擇。這些都要求大數據的應用層可以最快的速度，最高的帶寬從存儲介質中獲得相關海量的數據。另外一方面，海量數據存儲管理系統與傳統的資料庫管理系統，或者基於磁帶的備份系統之間也在發生數據交換，雖然這種交換實時性不高可以離線完成，但是由於數據規模的龐大，較低的數據傳輸帶寬也會降低數據傳輸的效率，而造成數據遷移瓶頸。因此大數據的存儲與處理的速度或是帶寬是其性能上的重要指標。

(2)大數據由於其來源的不同，具有數據多樣性的特點。

所謂多樣性，一是指數據結構化程度，二是指存儲格式，三是存儲介質多樣性。對於傳統的資料庫，其存儲的數據都是結構化數據，格式規整，相反大數據來源於日誌、歷史數據、用戶行為記錄等等，有的是結構化數據，而更多的是半結構化或者非結構化數據，這也正是傳統資料庫存儲技術無法適應大數據存儲的重要原因之一。所謂存儲格式，也正是由於其數據來源不同，應用演算法繁多，數據結構化程度不同，其格式也多種多樣。例如有的是以文本文件格式存儲，有的則是網頁文件，有的是一些被序列化後的比特流文件等等。所謂存儲介質多樣性是指硬體的兼容，大數據應用需要滿足不同的響應速度需求，因此其數據管理提倡分層管理機制，例如較為實時或者流數據的響應可以直接從內存或者Flash(SSD)中存取，而離線的批處理可以建立在帶有多塊磁碟的存儲伺服器上，有的可以存放在傳統的SAN或者NAS網路存儲設備上，而備份數據甚至可以存放在磁帶機上。因而大數據的存儲或者處理系統必須對多種數據及軟硬體平台有較好的兼容性來適應各種應用演算法或者數據提取轉換與載入(ETL)。

大數據存儲技術路線最典型的共有三種：

第一種是採用MPP架構的新型資料庫集群，重點面向行業大數據，採用Shared Nothing架構，通過列存儲、粗粒度索引等多項大數據處理技術，再結合MPP架構高效的分布式計算模式，完成對分析類應用的支撐，運行環境多為低成本 PC Server，具有高性能和高擴展性的特點，在企業分析類應用領域獲得極其廣泛的應用。

這類MPP產品可以有效支撐PB級別的結構化數據分析，這是傳統資料庫技術無法勝任的。對於企業新一代的數據倉庫和結構化數據分析，目前最佳選擇是MPP資料庫。

第二種是基於Hadoop的技術擴展和封裝，圍繞Hadoop衍生出相關的大數據技術，應對傳統關系型資料庫較難處理的數據和場景，例如針對非結構化數據的存儲和計算等，充分利用Hadoop開源的優勢，伴隨相關技術的不斷進步，其應用場景也將逐步擴大，目前最為典型的應用場景就是通過擴展和封裝 Hadoop來實現對互聯網大數據存儲、分析的支撐。這裡面有幾十種NoSQL技術，也在進一步的細分。對於非結構、半結構化數據處理、復雜的ETL流程、復雜的數據挖掘和計算模型，Hadoop平台更擅長。

第三種是大數據一體機，這是一種專為大數據的分析處理而設計的軟、硬體結合的產品，由一組集成的伺服器、存儲設備、操作系統、資料庫管理系統以及為數據查詢、處理、分析用途而特別預先安裝及優化的軟體組成，高性能大數據一體機具有良好的穩定性和縱向擴展性。

以上是小編為大家分享的關於大數據存儲與應用特點及技術路線分析的相關內容，更多信息可以關注環球青藤分享更多干貨

❹ 大數據發展現狀怎樣

2015年左右，大數據相關政策規劃密集出台，同期為大數據企業新增數量頂峰時期。近年來，我國大數據產業迎來新的發展機遇期，產業規模日趨成熟。大數據產業主體從「硬」設施向「軟」服務轉變的態勢將更加明顯，面向金融、政務、電信、醫療等領域的大數據服務將實現倍增創新。

大數據企業數量持續增長，增速與政策出台密切相關

根據IT桔子統計，大數據企業的快速增長階段出現在2013-2015年，增長速度在2015年達到最高峰。2015年後，市場日趨成熟，企業新增開始趨於放緩，大數據產業逐漸走向成熟。

—— 以上數據及分析均來自於前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》。

❺ 何謂大數據大數據的特點,意義和缺陷.

大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。

大數據，更多的功能是分析過去，提醒現在，展望未來。廣泛應用於商業領域，藉以實現精準營銷，預測趨勢，實現商業利益的最優與最大。體現的價值為：

（1）利用大數據針對大量消費者的消費習慣，精準提供產品或服務；

（2）利用大數據做服務轉型，做小而美模式；

（3）不能充分利用大數據價值的企業，將會在互聯網壓力之下搖搖欲墜。

國家通過結合大數據和高性能的分析，是指效率更加提高，同時也能降低國家運行成本。如：

（1）為成千上萬的車輛規劃實時交通路線，躲避擁堵；

（2）及時解析問題和缺陷的根源，是制度更加完善。

（3）使用點擊流分析和數據挖掘來規避欺詐行為。

大數據的缺陷：

企業遭到黑客攻擊，客戶的資料大量非法流出，再利用大數據分析挖掘，人群進行分類排除，從而讓人更容易受騙。

(5)大數據存儲技術短板擴展閱讀：

2016年3月17日，《中華人民共和國國民經濟和社會發展第十三個五年規劃綱要》發布，其中第二十七章「實施國家大數據戰略」提出：把大數據作為基礎性戰略資源，全面實施促進大數據發展行動，加快推動數據資源共享開放和開發應用，助力產業轉型升級和社會治理創新。

具體包括：加快政府數據開放共享、促進大數據產業健康發展。

❻ 大數據的處理中有哪些棘手的技術問題有待解決

我現在在一家比較牛的數據軟體開發公司靈玖軟體做工程師，目前能想到的一是數據處理的長尾問題，比如搜索引擎中，經常會出現大部分Instance已經結束，可是還有那麼幾個就是需要花費很長時間，這是由機器環境和各個Partition的處理時間不均衡導致的。
再一個是數據的存儲，一般需要處理的數據將會很龐大的，硬體設施要過關。
再就是數據清洗了，說白了利用一些演算法清洗掉我們不需要的數據。
最後就是可視化，利用各種表現形式，從不同角度呈現數據分析的結果。

❼ 國內大數據需求所面臨的典型存儲挑戰

國內大數據需求所面臨的典型存儲挑戰
大數據讓零售無需店面，在最大限度降低投資同時，加快現金流周轉效率。大數據使各行各業商家提高獲取優質客戶資源和提升利潤空間的同時，也使競爭進入「一兵一卒」用戶爭奪戰之中。

大數據時代，企業數據量和數據種類出現飛速增長。大數據時代，全球應用數量從幾年前的以十萬為單位計算，到了以百萬為單位計算。10年前，IT從業人員只是以百萬計算，數據生成來源也比較單一，但現在，IT服務使用者已經上升到十幾億的消費者，數據生成來源更為豐富，是名副其實的大數據時代。同時，IT資源的配置和管理要滿足高度虛擬化或集群IT架構的需求。企業應用部署效率、業務穩定服務性能，以及動態有效滿足OLTP和OLAP性能要求，直接決定著企業核心競爭力。企業要求存儲更靈活、更動態、性能更穩定，以支撐大量用戶對各種IT服務交付的能力。此外，大數據時代還需要集中、統一和自動化管理的功能。
中國市場針對大數據的需求所面臨的典型的存儲挑戰：
1.業務關鍵型性能：就「存儲是否能滿足目前業務關鍵應用性能」的調查結果顯示，接受調查人員（總計455名受訪者）中28.1%表示在未來12個月考慮部署新型存儲。36.5%用戶在未來12-24個月考慮部署新存儲。大數據時代，應用使用者的快速增加，對存儲並行處理能力提出了更高要求。此外，生產應用虛擬化產生大量隨機讀取，這就對傳統IOPs和時間延遲提出了挑戰。
2.存儲利用率：大數據時代數據量快速增加。如何通過存儲容量優化，降低存儲容量和網路資源需求，降低數據保護過程對生產環境的性能影響，是控制大數據存儲新增開支的關鍵。
3. 容量優化系統性能：為了提高存儲資源利用率和業務連續性，存儲廠商近年紛紛推出各種企業級功能。為了降低存儲管理強度，中端以上存儲具有多種工作負載性能監控、動態資源配置和自動化端對端管理功能。然而，傳統存儲控制器處理能力有限，啟動這些企業級功能需要消耗存儲控制器資源。用戶往往要在存儲資源優化和生產性能之間做取捨。
4.在大數據時代如何利用各種已有存儲資源，為大數據時代的業務發展提供高可擴展和業務連續性是關鍵。傳統存儲下，不同廠商的存儲之間無法實現快照、復制、備份和恢復，由此帶來數據保護的大量開支。同時，帶來存儲資源浪費。
大數據環境對系統性能要求非常苛刻，要滿足應用OLTP和大數據分析OLAP，以及業務關鍵型應用的低延遲需求，傳統地通過增加控制器和硬碟這一解決方式不僅帶來高昂的采購、運維成本和佔地空間成本，而且還會導致資源的閑置，從而進一步降低了企業的IT總擁有成本。

❽ 大數據發展五大關鍵要素

大數據發展五大關鍵要素
目前，大數據正成為推動企業效率提升和管理變革的強大力量，一些企業正利用互聯網與物聯網等帶來的海量數據，通過挖掘、分析與業務應用，贏得優勢。它正成為經濟繁榮的催化劑，在美國，大數據已經被提到了國家戰略的高度。但如何發展大數據呢？從新加坡的經驗來看，政府在其中起到關鍵性的作用。
新加坡政府抓住了大數據發展的五大關鍵要素：基礎設施、產業鏈、人才、技術和立法。它在其中發揮了關鍵角色，尤為值得一提的是，這五個要素是普通企業所做不到的，而新加坡政府正好填補了企業的短板。
大數據基礎設施方面：一個國家在信息和存儲等方面的基礎設施，決定了大數據時代的海量數據能否匯集、傳達，存儲和應用。為了為大數據的發展提供良好的基礎，新加坡在基礎建設投資方面毫不吝嗇。新加坡是世界十大高速網路架構之一，並承載了東南亞地區半數以上的第三方數據中心儲存量。新加坡已確立其作為全球數據管理樞紐的地位，匯集了東南亞超過50%的商業數據託管及中立運營商數據中心。
大數據產業鏈方面：在大數據產業鏈中，橫跨了包括數據提供者、存儲商、分析和挖掘商，以及應用企業等。對於企業，往往只有應用能力，卻缺乏獲得、存儲和分析與挖掘大數據的能力。而在這方面，當然要依靠產業鏈中相應的服務商，但政府在產業鏈建設中發揮了關鍵性的作用。
在數據挖掘方面，鼓勵大學設立數據挖掘和分析平台，2012年，新加坡管理大學（SMU）推出的「Livelabs」創新平台，旨在增強新加坡在消費者和社會行為領域的數據分析能力；鼓勵企業設立數據分析中心，一些企業通過在新加坡設立數據分析中心，洞察亞洲市場需求，已成功地實現了區域市場業務的拓展。2011年，勞斯萊斯（Rolls-Royce）與新加坡科技研究局（A*STAR）下設的高性能計算研究院合作成立了計算工程實驗室，在智能數據分析領域進行合作研究。
新加坡信息通信研究院（I2R）擁有全亞洲最大的數據挖掘團隊之一。
承擔數據提供者角色，主動披露政府掌握的數據，在大數據建設中，這一點至關重要，因為畢竟政府是最大的數據擁有者。但是讓政府能夠主動開放自己的數據，並不是一件容易的事，而新加坡政府卻做到了這一點。新加坡土地管理局（Singapore Land Authority）研發的電子地圖（OneMap），就為基於位置的服務（LBS）的企業提供了開放數據平台。
新加坡陸路交通管理局則通過公共數據開放計劃開放新加坡交通數據，鼓勵企業甚至是個人開發提升公共交通效率的應用軟體。
新加坡環境局（NEA, National Environment Agency）與多家企業合作，研究如何收取降雨量，並通過掌握不同地區環境的數據，來預測哪個地區接下來會爆發熱帶地區可能產生的疾病。
大數據人才方面：目前企業應用大數據過程中往往最缺少數據人才，培養數據人才要充分發揮政府的作用。為了成為全球領先的數據分析中心，新加坡政府在這方面的努力可謂不遺其力。
它與企業以及本地高等院校開展合作，確保畢業生獲得必備的專業知識和技能。目前，新加坡在數據分析領域開設了4個碩士課程以及5個本科課程，提供側重於具體行業應用的多學科研究方法。
在新加坡經濟發展局的協助下，亞洲頂尖學府新加坡國立大學（NUS）和IBM將開展合作，共同成立新加坡國立大學商業分析中心。該中心旨在幫助在校學生以及在職人員提升商業分析領域的最新職業技能，為未來數據分析工作打好基礎。
大數據技術方面：大數據存儲、分析和挖掘技術與產品往往需要巨大投資，但是一般的企業無法承受這樣的投資，此時政府的作用就尤為重要。而新加坡在其中，從來就沒有缺位。
信息通信研究院（I2R）與中國搜索引擎巨頭網路在東盟自然語言技術開發領域進行合作。這一技術如被普遍應用，將為企業進軍新興的東盟市場創造空前機遇。此外，數據分析會被應用在分析社會認知領域。新加坡高性能計算研究所（IHPC）是率先開發此項技術的研究所之一。通過對人們第一印象的建模研究，企業可以更好地了解亞洲消費者。這項技術能夠幫助企業預測消費者對新產品的反饋。
在立法方面：大數據的發展總是伴隨著與個人隱私權的沖突，而能否通過立法明確保護個人隱私權是大數據能否良性發展的關鍵，而新加坡在這方面做得很充分。新加坡於2012年公布了《個人資料保護法》（PDPA）。《個人資料保護法》作為一項較為寬松的立法，旨在防範對國內數據以及源於境外的個人資料的濫用行為。該法案的出台使公民得以進一步了解個人資料的使用途徑；同時，在進行個人信息處理的過程中，也加強了企業與客戶之間的信任程度。
新加坡在收集、存儲大量數據的基礎上，對數據進行有效的分析與應用，從中獲得經濟價值。到2017年底，預計數據行業將為新加坡經濟貢獻十億新元的增值，並培養2,500名跨領域數據分析專業人才。
而所有這一切在於新加坡對於大數據的戰略定位，對於自然資源稀缺的新加坡而言，「利用數據作為資源」是非常好的選擇，新加坡經濟發展局資訊通信與媒體業執行司長吳汭剛認為，「對於新加坡，數據就是未來流通的貨幣，而我們目前所做的就是將新加坡打造成全球數據管理中心，從而有能力與企業合作，將數據的潛在價值轉化為可見的商業利潤。」

❾ 詳解大數據存儲：哪些問題最容易出現

數據是重要的生產要素
信息時代，數據儼然已成為一種重要的生產要素，如同資本、勞動力和原材料等其他要素一樣，而且作為一種普遍需求，它也不再局限於某些特殊行業的應用。各行各業的公司都在收集並利用大量的數據分析結果，盡可能的降低成本，提高產品質量、提高生產效率以及創造新的產品。例如，通過分析直接從產品測試現場收集的數據，能夠幫助企業改進設計。此外，一家公司還可以通過深入分析客戶行為，對比大量的市場數據，從而超越他的競爭對手。
存儲技術必須跟上
隨著大數據應用的爆發性增長，它已經衍生出了自己獨特的架構，而且也直接推動了存儲、網路以及計算技術的發展。畢竟處理大數據這種特殊的需求是一個新的挑戰。硬體的發展最終還是由軟體需求推動的，就這個例子來說，我們很明顯的看到大數據分析應用需求正在影響著數據存儲基礎設施的發展。
從另一方面看，這一變化對存儲廠商和其他IT基礎設施廠商未嘗不是一個機會。隨著結構化數據和非結構化數據量的持續增長，以及分析數據來源的多樣化，此前存儲系統的設計已經無法滿足大數據應用的需要。存儲廠商已經意識到這一點，他們開始修改基於塊和文件的存儲系統的架構設計以適應這些新的要求。在這里，我們會討論哪些與大數據存儲基礎設施相關的屬性，看看它們如何迎接大數據的挑戰。
容量問題
這里所說的「大容量」通常可達到PB級的數據規模，因此，海量數據存儲系統也一定要有相應等級的擴展能力。與此同時，存儲系統的擴展一定要簡便，可以通過增加模塊或磁碟櫃來增加容量，甚至不需要停機。基於這樣的需求，客戶現在越來越青睞Scale-out架構的存儲。Scale-out集群結構的特點是每個節點除了具有一定的存儲容量之外，內部還具備數據處理能力以及互聯設備，與傳統存儲系統的煙囪式架構完全不同，Scale-out架構可以實現無縫平滑的擴展，避免存儲孤島。
「大數據」應用除了數據規模巨大之外，還意味著擁有龐大的文件數量。因此如何管理文件系統層累積的元數據是一個難題，處理不當的話會影響到系統的擴展能力和性能，而傳統的NAS系統就存在這一瓶頸。所幸的是，基於對象的存儲架構就不存在這個問題，它可以在一個系統中管理十億級別的文件數量，而且還不會像傳統存儲一樣遭遇元數據管理的困擾。基於對象的存儲系統還具有廣域擴展能力，可以在多個不同的地點部署並組成一個跨區域的大型存儲基礎架構。
延遲問題
「大數據」應用還存在實時性的問題。特別是涉及到與網上交易或者金融類相關的應用。舉個例子來說，網路成衣銷售行業的在線廣告推廣服務需要實時的對客戶的瀏覽記錄進行分析，並准確的進行廣告投放。這就要求存儲系統在必須能夠支持上述特性同時保持較高的響應速度，因為響應延遲的結果是系統會推送「過期」的廣告內容給客戶。這種場景下，Scale-out架構的存儲系統就可以發揮出優勢，因為它的每一個節點都具有處理和互聯組件，在增加容量的同時處理能力也可以同步增長。而基於對象的存儲系統則能夠支持並發的數據流，從而進一步提高數據吞吐量。
有很多「大數據」應用環境需要較高的IOPS性能，比如HPC高性能計算。此外，伺服器虛擬化的普及也導致了對高IOPS的需求，正如它改變了傳統IT環境一樣。為了迎接這些挑戰，各種模式的固態存儲設備應運而生，小到簡單的在伺服器內部做高速緩存，大到全固態介質的可擴展存儲系統等等都在蓬勃發展。
並發訪問 一旦企業認識到大數據分析應用的潛在價值，他們就會將更多的數據集納入系統進行比較，同時讓更多的人分享並使用這些數據。為了創造更多的商業價值，企業往往會綜合分析那些來自不同平台下的多種數據對象。包括全局文件系統在內的存儲基礎設施就能夠幫助用戶解決數據訪問的問題，全局文件系統允許多個主機上的多個用戶並發訪問文件數據，而這些數據則可能存儲在多個地點的多種不同類型的存儲設備上。

❿ 大數據技術難點在哪裡

難點在於幾個方面：
1.大數據的存儲，數據量爆炸，如何低成本的存儲是個難點
2.大數據的查詢，數據量大的時候如何快速的查詢，是個難點
3.大數據分析和挖掘，如何從大數據中產出分析結論和挖掘出信息，這個是難點