大数据的存储和管理

① 大数据时代,数据的存储与管理有哪些要求

数据时代的到来，数据的存储有以下主要要求：
首先，海量数据被及时有效地存储。根据现行技术和预防性法规和标准，系统采集的信息的保存时间不少于30天。数据量随时间的增加而线性增加。

其次，数据存储系统需要具有可扩展性，不仅要满足海量数据的不断增长，还要满足获取更高分辨率或更多采集点的数据需求。

第三，存储系统的性能要求很高。在多通道并发存储的情况下，它对带宽，数据容量，高速缓存等有很高的要求，并且需要针对视频性能进行优化。

第四，大数据应用需要对数据存储进行集中管理分析。

② 澶ф暟鎹镄勫瓨鍌ㄥ拰绠＄悊涓昏佸寘𨰾鍝鍑犳柟闱㈢殑鍏抽敭鎶链锛

澶ф暟鎹鍦ㄥ瓨鍌ㄥ拰绠＄悊镞剁敤鍒扮殑鍏抽敭鎶链涓昏佸寘𨰾锛

• 鍒嗗竷寮忓瓨鍌ㄦ妧链锛氩侣adoop镄凥DFS锛岃兘澶熷皢鏁版嵁鍒嗘暎鍦板瓨鍌ㄥ湪澶氢釜鑺傜偣涓婏纴浠庤屽疄鐜板规捣閲忔暟鎹镄勫勭悊銆


• 鍒嗗竷寮忚＄畻妗嗘灦锛氩侣adoop镄凪apRece锛岃兘澶熷湪澶ч噺璁＄畻链洪泦缇や笂骞惰屽湴澶勭悊澶ф暟鎹锛屽疄鐜板ぇ鏁版嵁镄勫揩阃熷垎鏋愩


• 鏁版嵁鎸栨帢鍜屾満鍣ㄥ︿範绠楁硶锛氩ぇ鏁版嵁镄勬寲鎺桦拰鍒嗘瀽闇瑕佷緷璧栦簬楂樻晥镄勬暟鎹鎸栨帢鍜屾満鍣ㄥ︿範绠楁硶锛屽係cikit-learn銆乀ensorFlow绛夈


• 鏁版嵁铡嬬缉鎶链锛氩ぇ鏁版嵁镄勫瓨鍌ㄥ拰绠＄悊闇瑕佹秷钥楀ぇ閲忕殑瀛桦偍绌洪棿鍜岃＄畻璧勬簮锛屽洜姝ら渶瑕佷娇鐢ㄦ暟鎹铡嬬缉鎶链𨱒ュ噺灏忔暟鎹镄勫ぇ灏忥纴鎻愰珮鏁版嵁瀛桦偍鍜屽勭悊镄勬晥鐜囥

浠ヤ笂杩欎簺鍏抽敭鎶链鏋勬垚浜嗗ぇ鏁版嵁瀛桦偍鍜岀＄悊镄勫熀纭锛岄氲繃杩欎簺鎶链镄勭粨钖埚簲鐢锛屽彲浠ュ疄鐜版捣閲忔暟鎹镄勫勭悊鍜屽垎鏋愶纴涓虹幇浠ｄ俊鎭鍖栫ぞ浼氭彁渚涘己澶х殑鎶链鏀鎸併

③ 大数据存储的三种方式

大数据存储的三种方式：
1、不断加密。任何类型的数据对于任何一个企业来说都是至关重要的，而且通常被认为是私有的，并且在他们自己掌控的范围内是安全的。然而，黑客攻击经常被覆盖在业务故障中，最新的网络攻击活动在新闻报道不断充斥。因此，许多公司感到很难感到安全，尤其是当一些行业巨头经常成为攻击目标时。随着企业为保护资产全面开展工作，加密技术成为打击网络威胁的可行途径。将所有内容转换为代码，使用加密信息，只有收件人可以解码。如果没有其他的要求，则加密保护数据传输，增强在数字传输中有效地到达正确人群的机会。
2、仓库存储。大数据似乎难以管理，就像一个永无休止统计数据的复杂的漩涡。因此，将信息精简到单一的公司位置似乎是明智的，这是一个仓库，其中所有的数据和服务器都可以被充分地规划指定。然而，有些报告指出了反对这种方法的论据，指出即使是最大的存储中心，大数据的指数增长也不再能维持。然而，在某些情况下，企业可能会租用一个仓库来存储大量数据，在大数据超出的情况下，这是一个临时的解决方案，而LCP属性提供了一些很好的机会。毕竟，企业不会立即被大量的数据所淹没，因此，为物理机器租用仓库至少在短期内是可行的。这是一个简单有效的解决方案，但并不是永久的成本承诺。
3、备份服务-云端。大数据管理和存储正在迅速脱离物理机器的范畴，并迅速进入数字领域。除了所有技术的发展，大数据增长得更快，以这样的速度，世界上所有的机器和仓库都无法完全容纳它。因此，由于云存储服务推动了数字化转型，云计算的应用越来越繁荣。数据在一个位置不再受到风险控制，并随时随地可以访问，大型云计算公司将会更多地访问基本统计信息。数据可以在这些服务上进行备份，这意味着一次网络攻击不会消除多年的业务增长和发展。最终，如果出现网络攻击，云端将以A迁移到B的方式提供独一无二的服务。

④ 澶ф暟鎹镄勫瓨鍌

⼤鏁版嵁镄勫瓨鍌⽅寮忔槸缁撴瀯鍖栥佸崐缁撴瀯鍖栧拰⾮缁撴瀯鍖栨捣閲忔暟鎹镄勫瓨鍌ㄥ拰绠＄悊锛岃交鍨嬫暟鎹搴⽆娉曟弧⾜瀵瑰叾瀛桦偍浠ュ强澶嶆潅镄勬暟鎹鎸栨帢鍜屽垎鏋愭搷浣滐纴阃氩父浣⽤鍒嗗竷寮⽂浠剁郴缁熴丯osql鏁版嵁搴撱佷簯鏁版嵁搴撶瓑銆

缁撴瀯鍖栥佸崐缁撴瀯鍖栧拰⾮缁撴瀯鍖栨捣閲忔暟鎹镄勫瓨鍌ㄥ拰绠＄悊锛岃交鍨嬫暟鎹搴⽆娉曟弧⾜瀵瑰叾瀛桦偍浠ュ强澶嶆潅镄勬暟鎹鎸栨帢鍜屽垎鏋愭搷浣滐纴阃氩父浣⽤鍒嗗竷寮⽂浠剁郴缁熴丯oSQL鏁版嵁搴撱佷簯鏁版嵁搴撶瓑銆

1鍒嗗竷寮忕郴缁燂细鍒嗗竷寮忕郴缁熷寘钖澶氢釜⾃涓荤殑澶勭悊鍗曞厓锛岄氲繃璁＄畻链⽹缁滀簰杩炴潵鍗忎綔瀹屾垚鍒嗛厤镄勪换锷★纴鍏跺垎⽽娌讳箣镄勭瓥鐣ヨ兘澶熸洿濂界殑澶勭悊⼤瑙勬ā鏁版嵁鍒嗘瀽闂棰樸

涓昏佸寘钖浠ヤ笅涓ょ被锛

1锛夊垎甯冨纺⽂浠剁郴缁燂细瀛桦偍绠＄悊闇瑕佸氱嶆妧链镄勫岗钖⼯浣滐纴鍏朵腑⽂浠剁郴缁熶负鍏舵彁渚涙渶搴曞眰瀛桦偍鑳⼒镄⽀鎸併傚垎甯冨纺⽂浠剁郴缁烪DFS鏄⼀涓⾼搴﹀归敊镐х郴缁燂纴琚璁捐℃垚阃⽤浜庢壒閲忓勭悊锛岃兘澶熸彁渚⾼钖炲悙閲忕殑镄勬暟鎹璁块梾銆

2锛夊垎甯冨纺阌鍊肩郴缁燂细鍒嗗竷寮忛敭鍊肩郴缁⽤浜庡瓨鍌ㄥ叧绯荤亩鍗旷殑鍗婄粨鏋勫寲鏁版嵁銆傚吀鍨嬬殑鍒嗗竷寮忛敭鍊肩郴缁熸湁AmazonDynamo锛屼互鍙婅幏寰⼴娉涘簲⽤鍜屽叧娉ㄧ殑瀵硅薄瀛桦偍鎶链(ObjectStorage)涔熷彲浠ヨ嗕负阌鍊肩郴缁燂纴鍏跺瓨鍌ㄥ拰绠＄悊镄勬槸瀵硅薄⽽涓嶆槸鏁版嵁鍧椼

2Nosql鏁版嵁搴掳细鍏崇郴鏁版嵁搴揿凡缁⽆娉曟弧⾜Web2.0镄勯渶姹伞备富瑕佽〃鐜颁负锛⽆娉曟弧⾜娴烽噺鏁版嵁镄勭＄悊闇姹伞⽆娉曟弧⾜鏁版嵁⾼骞跺彂镄勯渶姹伞⾼鍙镓╁𪾢镐у拰⾼鍙⽤镐х殑锷熻兘澶浣庛侼oSQL鏁版嵁搴撶殑浼桦娍锛氩彲浠⽀鎸佽秴⼤瑙勬ā鏁版嵁瀛桦偍锛岀伒娲荤殑鏁版嵁妯″瀷鍙浠ュ緢濂藉湴⽀鎸乄eb2.0搴⽤锛屽叿链夊己⼤镄勬í钖戞墿灞曡兘⼒绛夛纴鍏稿瀷镄凬oSQL鏁版嵁搴揿寘钖浠ヤ笅⼏绉嶏细

3浜戞暟鎹搴掳细浜戞暟鎹搴撴槸锘轰簬浜戣＄畻鎶链鍙戝𪾢镄⼀绉嶅叡浜锘虹鏋舵瀯镄⽅娉曪纴鏄閮ㄧ讲鍜岃櫄𨰾熷寲鍦ㄤ簯璁＄畻鐜澧冧腑镄勬暟鎹搴撱

⑤ 澶ф暟鎹瀛桦偍镄勪笁绉嶆柟寮

澶ф暟鎹瀛桦偍镄勪笁绉嶆柟寮忓寘𨰾锛氩垎甯冨纺鏂囦欢绯荤粺銆丯oSQL鏁版嵁搴撱佹暟鎹浠揿簱銆

棣栧厛锛屽垎甯冨纺鏂囦欢绯荤粺鏄澶ф暟鎹瀛桦偍镄勫叧阌鏂瑰纺涔嬩竴銆傝繖绉岖郴缁熷皢鏁版嵁鍒嗘暎瀛桦偍鍦ㄥ氢釜鐗╃悊鑺傜偣涓婏纴浠庤屾彁楂树简鏁版嵁镄勫彲闱犳у拰鍙镓╁𪾢镐с侣adoop Distributed File System鏄鍒嗗竷寮忔枃浠剁郴缁熺殑浠ｈ〃锛屽畠鏄疉pache Hadoop椤圭洰镄勪竴閮ㄥ垎銆侣DFS鑳藉熷瓨鍌ㄥぇ瑙勬ā鏁版嵁闆嗭纴骞舵彁渚涢珮钖炲悙閲忕殑鏁版嵁璁块梾銆备緥濡傦纴鍦ㄥ勭悊镞ュ织鏂囦欢銆佺ぞ浜ゅ獟浣撴暟鎹娴佹垨澶ц勬ā绉戝﹀疄楠屾暟鎹镞讹纴HDFS鑳藉熼氲繃鍏跺垎甯冨纺鏋舵瀯链夋晥鍦扮＄悊杩欎簺鏁版嵁锛屼娇寰楁暟鎹澶勭悊鍜屽垎鏋愭洿锷犻珮鏁堛

鍏舵★纴NoSQL鏁版嵁搴撴槸鍙︿竴绉嶉吨瑕佺殑澶ф暟鎹瀛桦偍鏂瑰纺銆备笌浼犵粺镄勫叧绯诲瀷鏁版嵁搴扑笉钖岋纴NoSQL鏁版嵁搴扑笉闇瑕佸浐瀹氱殑鏁版嵁琛ㄧ粨鏋勶纴锲犳ゆ洿锷犵伒娲伙纴鑳藉熻交𨱒惧簲瀵规暟鎹妯″纺镄勫彉鍖栥侻ongoDB銆丆assandra鍜孯edis绛夋槸娴佽岀殑NoSQL鏁版嵁搴撱傝繖浜涙暟鎹搴挞傜敤浜庡瓨鍌ㄩ潪缁撴瀯鍖栨垨鍗婄粨鏋勫寲鏁版嵁锛屽侸SON鏂囨。銆佸浘鐗囥佽嗛戠瓑銆备緥濡傦纴鍦ㄧ数鍟嗗钩鍙颁笂锛岀敤鎴风殑璐鐗╄板綍銆佹祻瑙堣屼负鍜屽晢鍝佷俊鎭绛夋暟鎹鍙浠ラ氲繃NoSQL鏁版嵁搴撹繘琛岄珮鏁埚瓨鍌ㄥ拰镆ヨ銆

链钖庯纴鏁版嵁浠揿簱鏄鐢ㄤ簬澶ф暟鎹瀛桦偍镄勭涓夌嶆柟寮忋傛暟鎹浠揿簱鏄涓涓闆嗘垚浜嗗氢釜鏁版嵁婧愮殑鏁版嵁瀛桦偍绯荤粺锛岄氩父鐢ㄤ簬鎶ヨ〃鍜屾暟鎹鍒嗘瀽銆傚畠鍏佽哥敤鎴峰瑰ぇ閲忔暟鎹杩涜屽嶆潅镄勬煡璇㈠拰鍒嗘瀽镎崭綔銆备笌浼犵粺镄勬暟鎹搴扑笉钖岋纴鏁版嵁浠揿簱鏄涓扑负鍒嗘瀽钥岃捐＄殑锛屽洜姝よ兘澶熸洿蹇鍦板勭悊澶ч噺鏁版嵁銆备緥濡傦纴鍦ㄩ噾铻嶉嗗烟锛屾暟鎹浠揿簱鍙浠ラ泦鎴愭潵镊涓嶅悓浜ゆ槗绯荤粺鍜屾暟鎹搴撶殑閲戣瀺鏁版嵁锛屼负椋庨橹鍒嗘瀽銆佸竞鍦鸿秼锷块勬祴绛夋彁渚涘己澶х殑鏁版嵁鏀鎸併

缁间笂镓杩帮纴澶ф暟鎹瀛桦偍镄勪笁绉嶆柟寮忓悇链夌壒镣癸纴鍒嗗埆阃傜敤浜庝笉钖岀殑搴旂敤鍦烘櫙銆傚垎甯冨纺鏂囦欢绯荤粺濡侣DFS阃傚悎澶勭悊瓒呭ぇ瑙勬ā鏂囦欢鍜屾祦寮忔暟鎹锛汵oSQL鏁版嵁搴揿垯浠ュ叾𨱔垫椿镐ц宪绉帮纴阃傚悎澶勭悊闱炵粨鏋勫寲鍜屽崐缁撴瀯鍖栨暟鎹锛涜屾暟鎹浠揿簱鍒欎笓涓哄嶆潅镄勬暟鎹鍒嗘瀽钥岃捐°傚湪瀹为檯搴旂敤涓锛屾牴鎹鏁版嵁镄勭被鍨嬨佽勬ā鍜屼笟锷￠渶姹傛潵阃夋嫨钖堥傜殑瀛桦偍鏂瑰纺鏄镊冲叧閲嶈佺殑銆