大量数据存储方案

㈠ 在大数量级的数据存储上，比较靠谱的分布式文件存储有哪些

一、 Ceph

Ceph最早起源于Sage就读博士期间的工作、成果于2004年发表，并随后贡献给开源社区。经过多年的发展之后，已得到众多云计算和存储厂商的支持，成为应用最广泛的开源分布式存储平台。
二、 GFS

GFS是google的分布式文件存储系统，是专为存储海量搜索数据而设计的，2003年提出，是闭源的分布式文件系统。适用于大量的顺序读取和顺序追加，如大文件的读写。注重大文件的持续稳定带宽，而不是单次读写的延迟。
三、 HDFS

HDFS(Hadoop Distributed File System)，是一个适合运行在通用硬件(commodity hardware)上的分布式文件系统，是Hadoop的核心子项目，是基于流数据模式访问和处理超大文件的需求而开发的。该系统仿效了谷歌文件系统(GFS)，是GFS的一个简化和开源版本。

㈡ 海量数据存储有哪些方式与方法

杉岩海量对象存储MOS，针对海量非结构化数据存储的最优化解决方案，采用去中心化、分布式技术架构，支持百亿级文件及EB级容量存储，

具备高效的数据检索、智能化标签和分析能力，轻松应对大数据和云时代的存储挑战，为企业发展提供智能决策。

1、容量可线性扩展，单名字空间达EB级

SandStone MOS可在单一名字空间下实现海量数据存储，支持业务无感知的存储服务器横向扩容，为爆炸式增长的视频、音频、图片、文档等不同类型的非结构化数据提供完美的存储方案，规避传统NAS存储的单一目录或文件系统存储空间无法弹性扩展难题

2、海量小文件存储，百亿级文件高效访问

SandStone MOS基于完全分布式的数据和元数据存储架构，为海量小文件存储而生，将企业级NAS存储的千万文件量级提升至互联网规模的百亿级别，帮助企业从容应对几何级增长的海量小文件挑战。

3、中心灵活部署，容灾汇聚分发更便捷

SandStone MOS支持多数据中心灵活部署，为企业数据容灾、容灾自动切换、多分支机构、数据就近访问等场景提供可自定义的灵活解决方案，帮助企业实现跨地域多活容灾、数据流转、就近读写等，助力业务高速发展。

4、支持大数据和AI，统一数据存储和分析

SandStone MOS内置文件智能化处理引擎，实现包括语音识别、图片OCR识别、文件格式转换等批量处理功能，结合标签检索能力还可实现语音、证件照片检索，从而帮助企业更好地管理非结构化数据。同时，SandStone MOS还支持与Hadoop、Spark等大数据分析平台对接，一套存储即可满足企业数据存储、管理和挖掘的需求。

㈢ 想要长期保存备份大量重要数据，是选择U盘好还是移动硬盘好

LZ可以考虑光盘，按容量来计算的话，DVD光盘是最经济实惠的储存器，一个好点的光刻2-300大米，最常用的DVD-R，一张4.7G，桶装的50张卖50-80大米不等，按50的那种，相当于1元 4.7GB啊！就算频繁读写也能保存2-3年，就是不能重写。 U盘属于闪存，理论上可以保存数据30年不变，但这只是理论数据，因为U盘才诞生不到15年。个人认为短时间的数据储存用U盘比较合适。但个人认为U盘算不上是很可靠的储存器。 移动硬盘（机械盘）适合长时间储存，在很多方面都有优势，就是怕震怕摔，其是读写数据的时候，在家里用用还可以，外带的确不方便。固态移动硬盘虽然不怕真不怕摔，但寿命相对较短，本质上就是个放大版的U盘。 个人建议LZ把上述的设备都买了。外出就带U盘，而且要多带几个，保存的时候多存几份。 回到家把数据移到电脑上，在移动到移动硬盘上，如果不是常用的东东，就不要存在电脑里面，免得影响速度。特别重要的数据直接刻盘。 老实说，我就是用上述的方法保存数据的，U盘 储存卡 光刻 移动硬盘我都有，不要单独依赖某种储存器，应该多种储存器搭配使用，毕竟有些数据是无价的。

㈣ 大量小文件存储，如何选择存储方案

1、Raid0
2、固态硬盘
3、Fat32：拷贝大量小文件(如拷贝照片、文档转移等)速度很快，但不支持存储单个大于4GB的文件。
NTFS：支持大文件存储，管理性能比Fat32强很多，但是拷贝大量小文件时速度较慢。

㈤ 存储大容量资料的最佳方式

有以下几种方法可供选择

一，买一块移动硬盘，按照你的需要最好是200G以上的，比如迈拓200G移动硬盘是850元左右，希捷200G移动硬盘是890元左右，质量好的价钱大约需要1000元，你可以借助软件将它分割，这样既方便有简单

二，可以申请VIP网络硬盘
全球最大，25G免费网络硬盘，（美国服务器）使用1年自动升级为50G.
申请地址 http://www.streamload.com

缺点是网站经常繁忙，建议不要使用

申请步骤
1：打开IE浏览器，在地址栏中输入http://www.streamload.com便可进入该网站，若是第一次使用该网络硬盘，则必须单击网页顶端的“SIGN UP”按钮去注册一个账号。在注册页面的“USERNAME”一栏中输入申请的用户名，在“PASSWORD”和“CONFIRM PASSWORD”栏目中分别为输入同样的账户密码，出于安全考虑，密码不可过于简单。“EMAIL”一栏中则必须填写自己正确的EMAIL地址，在 “COPY THIS TEXT”栏目中则需要输入所显示的验证码。
2：接下来要选择打算申请的服务标准，目前该网络硬盘的服务共分为五种标准：第一种是可拥有存储25GB的空间，每月最高只能下载100MB的文件，该标准目前不收费任何费用；第二种后面的都要收费，可以使用。

三,自己储存在自己公司的服务器上，这样最方便，但是有成本而且公司服务器若被攻击将损失严重..

以我的看法，最好的就是买一块高质量的移动硬盘，安全而且不麻烦..

你可以根据自己的情况选择

谢谢

㈥ 大数据量存储的方案

hadoop

什么是大数据存储？

首先，我们需要清楚大数据与其他类型数据的区别以及与之相关的技术(主要是分析应用程序)。大数据本
身意味着非常多需要使用标准存储技术来处理的数据。大数据可能由TB级(或者甚至PB级)信息组成，既包括结构化数据(数据库、日志、SQL等)以及非结
构化数据(社交媒体帖子、传感器、多媒体数据)。此外，大部分这些数据缺乏索引或者其他组织结构，可能由很多不同文件类型组成。
由于这些数据缺乏一致性，使标准处理和存储技术无计可施，而且运营开销以及庞大的数据量使我们难以使用传统的服务器和SAN方法来有效地进行处理。换句话说，大数据需要不同的处理方法：自己的平台，这也是Hadoop可以派上用场的地方。
Hadoop
是一个开源分布式计算平台，它提供了一种建立平台的方法，这个平台由标准化硬件(服务器和内部服务器存储)组成，并形成集群能够并行处理大数据请求。在存
储方面来看，这个开源项目的关键组成部分是Hadoop分布式文件系统(HDFS)，该系统具有跨集群中多个成员存储非常大文件的能力。HDFS通过创建
多个数据块副本，然后将其分布在整个集群内的计算机节点，这提供了方便可靠极其快速的计算能力。
从目前来看，为大数据建立足够大的存储平台最简单的方法就是购买一套服务器，并为每台服务器配备数TB级的驱动器，然后让Hadoop来完成余下的工作。对于一些规模较小的企业而言，可能只要这么简单。然而，一旦考虑处理性能、算法复杂性和数据挖掘，这种方法可能不一定能够保证成功。