开源分布式存储

1. 什么是vCluster分布式存储分布式云存储有什么优势

vCluster分布式存储是国内性能最佳、功能最全的分布式存储产品，比当前流行的某开源分布式软件功能多出100余项，功能优化30余项。vCluster分布式存储系列采用先进的分布式架构，将一个任务分给多个存储节点并行处理，大大提高了存储效率。其堆栈性和模块化设计提高了存储的健硕型和扩展性，完全符合企业存储从现在到未来的IT架构发展趋势。还有什么不明白的可以接着问

2. 可以灵活扩容的分布式文件存储软件有吗

XSKY 星辰天合的XEDP平台扩展弹性就很高的，在我们使用中发现，它可以实现从单资源池数台到数百台的不停机水平扩展。

3. 分布式存储都有哪些，基本实现原理是什么

vCluster分布式存储是国内性能最佳、功能最全的分布式存储产品，比当前流行的某开源分布式软件功能多出100余项，功能优化30余项。vCluster分布式存储系列采用先进的分布式架构，将一个任务分给多个存储节点并行处理，大大提高了存储效率。其堆栈性和模块化设计提高了存储的健硕型和扩展性，完全符合企业存储从现在到未来的IT架构发展趋势。

4. 有没有用Java写的轻量级开源的分布式存储系统

以下内容源于分布式内存文件系统：Tachyon 14年9月的文章
Tachyon是一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在tachyon里的文件。把Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件。主要职责是将那些不需要落地到DFS里的文件，落地到分布式内存文件系统中，来达到共享内存，从而提高效率。同时可以减少内存冗余，GC时间等。
<img src="https://pic3.mg.com/_b.png" data-rawwidth="810" data-rawheight="311" class="origin_image zh-lightbox-thumb" width="810" data-original="https://pic3.mg.com/_r.png">
Tachyon架构
Tachyon的架构是传统的Master—slave架构，这里和Hadoop类似，TachyonMaster里WorkflowManager是 Master进程，因为是为了防止单点问题，通过Zookeeper做了HA，可以部署多台Standby Master。Slave是由Worker Daemon和Ramdisk构成。这里个人理解只有Worker Daemon是基于JVM的，Ramdisk是一个off heap memory。Master和Worker直接的通讯协议是Thrift。
下图来自Tachyon的作者Haoyuan Li：
<img src="https://pic4.mg.com/_b.png" data-rawwidth="854" data-rawheight="571" class="origin_image zh-lightbox-thumb" width="854" data-original="https://pic4.mg.com/_r.png">
三、Fault Tolerant
Tachyon是一个分布式文件存储系统，但是如果Tachyon里的容错机制是怎么样的呢？
Tachyon使用血统这个我们在Spark里的RDD里已经很熟悉了，这里也有血统这一概念。会使用血统，通过异步的向Tachyon的底层文件系统做Checkpoint。
当我们向Tachyon里面写入文件的时候，Tachyon会在后台异步的把这个文件给checkpoint到它的底层存储，比如HDFS，S3.. etc...
这里用到了一个Edge的算法，来决定checkpoint的顺序。
比较好的策略是每次当前一个checkpoint完成之后，就会checkpoint一个最新生成的文件。当然想Hadoop，Hive这样的中间文件，需要删除的，是不需要checkpoint的。
下图来自Tachyon的作者Haoyuan Li：
<img src="https://pic1.mg.com/_b.png" data-rawwidth="822" data-rawheight="609" class="origin_image zh-lightbox-thumb" width="822" data-original="https://pic1.mg.com/_r.png">

关于重新计算时，资源的分配策略：
目前Tachyon支持2种资源分配策略：
1、优先级的资源分配策略
2、公平调度的分配策略
<img src="https://pic2.mg.com/_b.png" data-rawwidth="940" data-rawheight="621" class="origin_image zh-lightbox-thumb" width="940" data-original="https://pic2.mg.com/_r.png">

四、总结
Tachyon是一个基于内存的分布式文件系统，通常位于分布式存储系统和计算框架直接，可以在不同框架内共享内存，同时可以减少内存冗余和基于Jvm内存计算框架的GC时间。
Tachyon也有类似RDD的血统概念，input文件和output文件都是会有血统关系，这样来达到容错。并且Tachyon也利用血统关系，异步的做checkpoint，文件丢失情况下，也能利用两种资源分配策略来优先计算丢失掉的资源。

5. 分布式存储排名前十名有哪些

一、 Ceph

Ceph最早起源于Sage就读博士期间的工作、成果于2004年发表，并随后贡献给开源社区。经过多年的发展之后，已得到众多云计算和存储厂商的支持，成为应用最广泛的开源分布式存储平台。
二、 GFS

GFS是google的分布式文件存储系统，是专为存储海量搜索数据而设计的，2003年提出，是闭源的分布式文件系统。适用于大量的顺序读取和顺序追加，如大文件的读写。注重大文件的持续稳定带宽，而不是单次读写的延迟。
三、 HDFS

HDFS(Hadoop Distributed File System)，是一个适合运行在通用硬件(commodity hardware)上的分布式文件系统，是Hadoop的核心子项目，是基于流数据模式访问和处理超大文件的需求而开发的。该系统仿效了谷歌文件系统(GFS)，是GFS的一个简化和开源版本。

6. 哪个开源分布式存储适合搭建nas

OpenStack是一个旨在为公共及私有云的建设与管理提供软件的开源项目。它的社区拥有超过130家企业及1350位开发者，这些机构与个人都将OpenStack作为基础设施即服务（简称IaaS）资源的通用前端。OpenStack项目的首要任务是简化云的部署过程

7. 的云存储系统，问下现在有什么比较常用的开源分布式

书生云于宣布将基于SAS架构的新一代开源分布式存储技术——SurFS开源。SurFS是书生云公司自主研发的分布式存储系统，是云平台的核心部件，在性能和成本两方面具有一定实力。书生云将具有自身知识产权的商业软件开源，对软件行业将带来哪些影响? 书生云董事长王东临 众所周知，开源软件技术领域较为知名的除了Android(安卓)、linux、MySQL、OpenOffice、OpenStack等开源社区外，企业级领域软件开源的并不算多，但也能看到其中一些卓越领导者，比如知名开源软件企业 RedHat， RedHat的年收入甚至超过了20亿美元。 因此，书生云董事长王东临认为：“虽然在视核心技术商业机密的传统思维里，软件企业将自身拥有知识产权的软件的开源显得另类，但随着开源系统在全球的广泛普及，未来开源与商业也会得到完美结合，形成了“先奉献后收益”、“贡献越大收益越大”的格局。” 存储系统是云平台的核心部件，对云平台的整体性能和成本都有极大的影响。SurFS通过对存储网络的颠覆式创新，第一个采用SAS做存储网络构建分布式存储系统，将带宽提升了几十倍延时降低了几十倍，而且从架构体系上完全打破了传统存储体系的桎梏，将存储控制节点与存储介质分离，存储控制节点与计算节点聚合，从而将数据I/O路径压缩到了极致，将扩容成本也压缩到了极致，大幅提升了整个云平台的性能，同时还显着降低了成本，同时实现高性能、低成本、高可靠、高可用和可扩展性。对于正在向私有云迁移的广大企业级用户来说，SurFS的确有着很大的优越性。 笔者小结 书生云基于SAS存储网络构建的新一代开源分布式存储SurFS 开源后将成为OpenStack等主流云平台的存储后端之一，对于广大IT工程师和终端用户来说，更无异是一针强心剂，开源社区在得到完善管理的前提下，对于未来的存储技术及应用会有更加加速的发展。SurFS 开源将为全球企业级用户搭建高性价比的云平台，并为广大IT企业提供一个切磋、改善行业价值链的机遇的开源，基于SurFS技术的云平台有望成为全球云产业的主流部署模式之一。 当然，书生云的SurFS 开源仍然只是国内软件业的起步!无论是业务模式的探索还是开源后社区的维护，还需要时间及智慧来推进。

8. 在大数量级的数据存储上，比较靠谱的分布式文件存储有哪些

一、 Ceph

Ceph最早起源于Sage就读博士期间的工作、成果于2004年发表，并随后贡献给开源社区。经过多年的发展之后，已得到众多云计算和存储厂商的支持，成为应用最广泛的开源分布式存储平台。
二、 GFS

GFS是google的分布式文件存储系统，是专为存储海量搜索数据而设计的，2003年提出，是闭源的分布式文件系统。适用于大量的顺序读取和顺序追加，如大文件的读写。注重大文件的持续稳定带宽，而不是单次读写的延迟。
三、 HDFS

HDFS(Hadoop Distributed File System)，是一个适合运行在通用硬件(commodity hardware)上的分布式文件系统，是Hadoop的核心子项目，是基于流数据模式访问和处理超大文件的需求而开发的。该系统仿效了谷歌文件系统(GFS)，是GFS的一个简化和开源版本。

9. 基于linux的开源分布式存储有哪些

开源这两个字很好解释，开放源代码。 这个开放有很多不同的方法，针对不同的开源社区、习惯、法律责任等等。 比如微软有自己的开源协议，好像叫微软互惠许可（Microsoft Reciprocal License）和微软公共许可（Microsoft Public License）