大數據的存儲和管理

① 大數據時代,數據的存儲與管理有哪些要求

數據時代的到來，數據的存儲有以下主要要求：
首先，海量數據被及時有效地存儲。根據現行技術和預防性法規和標准，系統採集的信息的保存時間不少於30天。數據量隨時間的增加而線性增加。

其次，數據存儲系統需要具有可擴展性，不僅要滿足海量數據的不斷增長，還要滿足獲取更高解析度或更多採集點的數據需求。

第三，存儲系統的性能要求很高。在多通道並發存儲的情況下，它對帶寬，數據容量，高速緩存等有很高的要求，並且需要針對視頻性能進行優化。

第四，大數據應用需要對數據存儲進行集中管理分析。

② 澶ф暟鎹鐨勫瓨鍌ㄥ拰綆＄悊涓昏佸寘鎷鍝鍑犳柟闈㈢殑鍏抽敭鎶鏈錛

澶ф暟鎹鍦ㄥ瓨鍌ㄥ拰綆＄悊鏃剁敤鍒扮殑鍏抽敭鎶鏈涓昏佸寘鎷錛

• 鍒嗗竷寮忓瓨鍌ㄦ妧鏈錛氬侶adoop鐨凥DFS錛岃兘澶熷皢鏁版嵁鍒嗘暎鍦板瓨鍌ㄥ湪澶氫釜鑺傜偣涓婏紝浠庤屽疄鐜板規搗閲忔暟鎹鐨勫勭悊銆


• 鍒嗗竷寮忚＄畻妗嗘灦錛氬侶adoop鐨凪apRece錛岃兘澶熷湪澶ч噺璁＄畻鏈洪泦緹や笂騫惰屽湴澶勭悊澶ф暟鎹錛屽疄鐜板ぇ鏁版嵁鐨勫揩閫熷垎鏋愩


• 鏁版嵁鎸栨帢鍜屾満鍣ㄥ︿範綆楁硶錛氬ぇ鏁版嵁鐨勬寲鎺樺拰鍒嗘瀽闇瑕佷緷璧栦簬楂樻晥鐨勬暟鎹鎸栨帢鍜屾満鍣ㄥ︿範綆楁硶錛屽係cikit-learn銆乀ensorFlow絳夈


• 鏁版嵁鍘嬬緝鎶鏈錛氬ぇ鏁版嵁鐨勫瓨鍌ㄥ拰綆＄悊闇瑕佹秷鑰楀ぇ閲忕殑瀛樺偍絀洪棿鍜岃＄畻璧勬簮錛屽洜姝ら渶瑕佷嬌鐢ㄦ暟鎹鍘嬬緝鎶鏈鏉ュ噺灝忔暟鎹鐨勫ぇ灝忥紝鎻愰珮鏁版嵁瀛樺偍鍜屽勭悊鐨勬晥鐜囥

浠ヤ笂榪欎簺鍏抽敭鎶鏈鏋勬垚浜嗗ぇ鏁版嵁瀛樺偍鍜岀＄悊鐨勫熀紜錛岄氳繃榪欎簺鎶鏈鐨勭粨鍚堝簲鐢錛屽彲浠ュ疄鐜版搗閲忔暟鎹鐨勫勭悊鍜屽垎鏋愶紝涓虹幇浠ｄ俊鎮鍖栫ぞ浼氭彁渚涘己澶х殑鎶鏈鏀鎸併

③ 大數據存儲的三種方式

大數據存儲的三種方式：
1、不斷加密。任何類型的數據對於任何一個企業來說都是至關重要的，而且通常被認為是私有的，並且在他們自己掌控的范圍內是安全的。然而，黑客攻擊經常被覆蓋在業務故障中，最新的網路攻擊活動在新聞報道不斷充斥。因此，許多公司感到很難感到安全，尤其是當一些行業巨頭經常成為攻擊目標時。隨著企業為保護資產全面開展工作，加密技術成為打擊網路威脅的可行途徑。將所有內容轉換為代碼，使用加密信息，只有收件人可以解碼。如果沒有其他的要求，則加密保護數據傳輸，增強在數字傳輸中有效地到達正確人群的機會。
2、倉庫存儲。大數據似乎難以管理，就像一個永無休止統計數據的復雜的漩渦。因此，將信息精簡到單一的公司位置似乎是明智的，這是一個倉庫，其中所有的數據和伺服器都可以被充分地規劃指定。然而，有些報告指出了反對這種方法的論據，指出即使是最大的存儲中心，大數據的指數增長也不再能維持。然而，在某些情況下，企業可能會租用一個倉庫來存儲大量數據，在大數據超出的情況下，這是一個臨時的解決方案，而LCP屬性提供了一些很好的機會。畢竟，企業不會立即被大量的數據所淹沒，因此，為物理機器租用倉庫至少在短期內是可行的。這是一個簡單有效的解決方案，但並不是永久的成本承諾。
3、備份服務-雲端。大數據管理和存儲正在迅速脫離物理機器的范疇，並迅速進入數字領域。除了所有技術的發展，大數據增長得更快，以這樣的速度，世界上所有的機器和倉庫都無法完全容納它。因此，由於雲存儲服務推動了數字化轉型，雲計算的應用越來越繁榮。數據在一個位置不再受到風險控制，並隨時隨地可以訪問，大型雲計算公司將會更多地訪問基本統計信息。數據可以在這些服務上進行備份，這意味著一次網路攻擊不會消除多年的業務增長和發展。最終，如果出現網路攻擊，雲端將以A遷移到B的方式提供獨一無二的服務。

④ 澶ф暟鎹鐨勫瓨鍌

⼤鏁版嵁鐨勫瓨鍌⽅寮忔槸緇撴瀯鍖栥佸崐緇撴瀯鍖栧拰⾮緇撴瀯鍖栨搗閲忔暟鎹鐨勫瓨鍌ㄥ拰綆＄悊錛岃交鍨嬫暟鎹搴⽆娉曟弧⾜瀵瑰叾瀛樺偍浠ュ強澶嶆潅鐨勬暟鎹鎸栨帢鍜屽垎鏋愭搷浣滐紝閫氬父浣⽤鍒嗗竷寮⽂浠剁郴緇熴丯osql鏁版嵁搴撱佷簯鏁版嵁搴撶瓑銆

緇撴瀯鍖栥佸崐緇撴瀯鍖栧拰⾮緇撴瀯鍖栨搗閲忔暟鎹鐨勫瓨鍌ㄥ拰綆＄悊錛岃交鍨嬫暟鎹搴⽆娉曟弧⾜瀵瑰叾瀛樺偍浠ュ強澶嶆潅鐨勬暟鎹鎸栨帢鍜屽垎鏋愭搷浣滐紝閫氬父浣⽤鍒嗗竷寮⽂浠剁郴緇熴丯oSQL鏁版嵁搴撱佷簯鏁版嵁搴撶瓑銆

1鍒嗗竷寮忕郴緇燂細鍒嗗竷寮忕郴緇熷寘鍚澶氫釜⾃涓葷殑澶勭悊鍗曞厓錛岄氳繃璁＄畻鏈⽹緇滀簰榪炴潵鍗忎綔瀹屾垚鍒嗛厤鐨勪換鍔★紝鍏跺垎⽽娌諱箣鐨勭瓥鐣ヨ兘澶熸洿濂界殑澶勭悊⼤瑙勬ā鏁版嵁鍒嗘瀽闂棰樸

涓昏佸寘鍚浠ヤ笅涓ょ被錛

1錛夊垎甯冨紡⽂浠剁郴緇燂細瀛樺偍綆＄悊闇瑕佸氱嶆妧鏈鐨勫崗鍚⼯浣滐紝鍏朵腑⽂浠剁郴緇熶負鍏舵彁渚涙渶搴曞眰瀛樺偍鑳⼒鐨⽀鎸併傚垎甯冨紡⽂浠剁郴緇烪DFS鏄⼀涓⾼搴﹀歸敊鎬х郴緇燂紝琚璁捐℃垚閫⽤浜庢壒閲忓勭悊錛岃兘澶熸彁渚⾼鍚炲悙閲忕殑鐨勬暟鎹璁塊棶銆

2錛夊垎甯冨紡閿鍊肩郴緇燂細鍒嗗竷寮忛敭鍊肩郴緇⽤浜庡瓨鍌ㄥ叧緋葷畝鍗曠殑鍗婄粨鏋勫寲鏁版嵁銆傚吀鍨嬬殑鍒嗗竷寮忛敭鍊肩郴緇熸湁AmazonDynamo錛屼互鍙婅幏寰⼴娉涘簲⽤鍜屽叧娉ㄧ殑瀵硅薄瀛樺偍鎶鏈(ObjectStorage)涔熷彲浠ヨ嗕負閿鍊肩郴緇燂紝鍏跺瓨鍌ㄥ拰綆＄悊鐨勬槸瀵硅薄⽽涓嶆槸鏁版嵁鍧椼

2Nosql鏁版嵁搴擄細鍏崇郴鏁版嵁搴撳凡緇⽆娉曟弧⾜Web2.0鐨勯渶奼傘備富瑕佽〃鐜頒負錛⽆娉曟弧⾜嫻烽噺鏁版嵁鐨勭＄悊闇奼傘⽆娉曟弧⾜鏁版嵁⾼騫跺彂鐨勯渶奼傘⾼鍙鎵╁睍鎬у拰⾼鍙⽤鎬х殑鍔熻兘澶浣庛侼oSQL鏁版嵁搴撶殑浼樺娍錛氬彲浠⽀鎸佽秴⼤瑙勬ā鏁版嵁瀛樺偍錛岀伒媧葷殑鏁版嵁妯″瀷鍙浠ュ緢濂藉湴⽀鎸乄eb2.0搴⽤錛屽叿鏈夊己⼤鐨勬í鍚戞墿灞曡兘⼒絳夛紝鍏稿瀷鐨凬oSQL鏁版嵁搴撳寘鍚浠ヤ笅⼏縐嶏細

3浜戞暟鎹搴擄細浜戞暟鎹搴撴槸鍩轟簬浜戣＄畻鎶鏈鍙戝睍鐨⼀縐嶅叡浜鍩虹鏋舵瀯鐨⽅娉曪紝鏄閮ㄧ講鍜岃櫄鎷熷寲鍦ㄤ簯璁＄畻鐜澧冧腑鐨勬暟鎹搴撱

⑤ 澶ф暟鎹瀛樺偍鐨勪笁縐嶆柟寮

澶ф暟鎹瀛樺偍鐨勪笁縐嶆柟寮忓寘鎷錛氬垎甯冨紡鏂囦歡緋葷粺銆丯oSQL鏁版嵁搴撱佹暟鎹浠撳簱銆

棣栧厛錛屽垎甯冨紡鏂囦歡緋葷粺鏄澶ф暟鎹瀛樺偍鐨勫叧閿鏂瑰紡涔嬩竴銆傝繖縐嶇郴緇熷皢鏁版嵁鍒嗘暎瀛樺偍鍦ㄥ氫釜鐗╃悊鑺傜偣涓婏紝浠庤屾彁楂樹簡鏁版嵁鐨勫彲闈犳у拰鍙鎵╁睍鎬с侶adoop Distributed File System鏄鍒嗗竷寮忔枃浠剁郴緇熺殑浠ｈ〃錛屽畠鏄疉pache Hadoop欏圭洰鐨勪竴閮ㄥ垎銆侶DFS鑳藉熷瓨鍌ㄥぇ瑙勬ā鏁版嵁闆嗭紝騫舵彁渚涢珮鍚炲悙閲忕殑鏁版嵁璁塊棶銆備緥濡傦紝鍦ㄥ勭悊鏃ュ織鏂囦歡銆佺ぞ浜ゅ獟浣撴暟鎹嫻佹垨澶ц勬ā縐戝﹀疄楠屾暟鎹鏃訛紝HDFS鑳藉熼氳繃鍏跺垎甯冨紡鏋舵瀯鏈夋晥鍦扮＄悊榪欎簺鏁版嵁錛屼嬌寰楁暟鎹澶勭悊鍜屽垎鏋愭洿鍔犻珮鏁堛

鍏舵★紝NoSQL鏁版嵁搴撴槸鍙︿竴縐嶉噸瑕佺殑澶ф暟鎹瀛樺偍鏂瑰紡銆備笌浼犵粺鐨勫叧緋誨瀷鏁版嵁搴撲笉鍚岋紝NoSQL鏁版嵁搴撲笉闇瑕佸滻瀹氱殑鏁版嵁琛ㄧ粨鏋勶紝鍥犳ゆ洿鍔犵伒媧伙紝鑳藉熻交鏉懼簲瀵規暟鎹妯″紡鐨勫彉鍖栥侻ongoDB銆丆assandra鍜孯edis絳夋槸嫻佽岀殑NoSQL鏁版嵁搴撱傝繖浜涙暟鎹搴撻傜敤浜庡瓨鍌ㄩ潪緇撴瀯鍖栨垨鍗婄粨鏋勫寲鏁版嵁錛屽侸SON鏂囨。銆佸浘鐗囥佽嗛戠瓑銆備緥濡傦紝鍦ㄧ數鍟嗗鉤鍙頒笂錛岀敤鎴風殑璐鐗╄板綍銆佹祻瑙堣屼負鍜屽晢鍝佷俊鎮絳夋暟鎹鍙浠ラ氳繃NoSQL鏁版嵁搴撹繘琛岄珮鏁堝瓨鍌ㄥ拰鏌ヨ銆

鏈鍚庯紝鏁版嵁浠撳簱鏄鐢ㄤ簬澶ф暟鎹瀛樺偍鐨勭涓夌嶆柟寮忋傛暟鎹浠撳簱鏄涓涓闆嗘垚浜嗗氫釜鏁版嵁婧愮殑鏁版嵁瀛樺偍緋葷粺錛岄氬父鐢ㄤ簬鎶ヨ〃鍜屾暟鎹鍒嗘瀽銆傚畠鍏佽哥敤鎴峰瑰ぇ閲忔暟鎹榪涜屽嶆潅鐨勬煡璇㈠拰鍒嗘瀽鎿嶄綔銆備笌浼犵粺鐨勬暟鎹搴撲笉鍚岋紝鏁版嵁浠撳簱鏄涓撲負鍒嗘瀽鑰岃捐＄殑錛屽洜姝よ兘澶熸洿蹇鍦板勭悊澶ч噺鏁版嵁銆備緥濡傦紝鍦ㄩ噾鋙嶉嗗煙錛屾暟鎹浠撳簱鍙浠ラ泦鎴愭潵鑷涓嶅悓浜ゆ槗緋葷粺鍜屾暟鎹搴撶殑閲戣瀺鏁版嵁錛屼負椋庨櫓鍒嗘瀽銆佸競鍦鴻秼鍔塊勬祴絳夋彁渚涘己澶х殑鏁版嵁鏀鎸併

緇間笂鎵榪幫紝澶ф暟鎹瀛樺偍鐨勪笁縐嶆柟寮忓悇鏈夌壒鐐癸紝鍒嗗埆閫傜敤浜庝笉鍚岀殑搴旂敤鍦烘櫙銆傚垎甯冨紡鏂囦歡緋葷粺濡侶DFS閫傚悎澶勭悊瓚呭ぇ瑙勬ā鏂囦歡鍜屾祦寮忔暟鎹錛汵oSQL鏁版嵁搴撳垯浠ュ叾鐏墊椿鎬ц憲縐幫紝閫傚悎澶勭悊闈炵粨鏋勫寲鍜屽崐緇撴瀯鍖栨暟鎹錛涜屾暟鎹浠撳簱鍒欎笓涓哄嶆潅鐨勬暟鎹鍒嗘瀽鑰岃捐°傚湪瀹為檯搴旂敤涓錛屾牴鎹鏁版嵁鐨勭被鍨嬨佽勬ā鍜屼笟鍔￠渶奼傛潵閫夋嫨鍚堥傜殑瀛樺偍鏂瑰紡鏄鑷沖叧閲嶈佺殑銆