达州分布式文件存储器
A. 当前主流分布式文件系统有哪些
目前几个主流的分布式文件系统除GPFS外，还有PVFS、Lustre、PanFS、GoogleFS等。
1.PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足：
1）单一管理节点:只有一个管理节点来管理元数据，当集群系统达到一定的规模之后，管理节点将可能出现过度繁忙的情况，这时管理节点将成为系统瓶颈;
2）对数据的存储缺乏容错机制:当某一I/O节点无法工作时，数据将出现不可用的情况;
3）静态配置:对PVFS的配置只能在启动前进行，一旦系统运行则不可再更改原先的配置。
2.Lustre文件系统是一个基于对象存储的分布式文件系统，此项目于1999年在Carnegie Mellon University启动，Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后，管理节点会成为Lustre系统中的瓶颈。
3.PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。
4.GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。
5.相对其它的文件系统，GPFS的主要优点有以下三点：
1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁，第一个获得锁的客户将负责维护相应共享对象的一致性管理，这减少了元数据服务器的负担;
2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈;
3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突.
B. 分布式文件存储系统通过什么方式提高可用性和安全性
分布式存储的六大优点
1. 高性能
一个具有高性能的分布式存户通常能够高效地管理读缓存和写缓存，并且支持自动的分级存储。分布式存储通过将热点区域内数据映射到高速存储中，来提高系统响应速度;一旦这些区域不再是热点，那么存储系统会将它们移出高速存储。而写缓存技术则可使配合高速存储来明显改变整体存储的性能，按照一定的策略，先将数据写入高速存储，再在适当的时间进行同步落盘。
2. 支持分级存储
由于通过网络进行松耦合链接，分布式存储允许高速存储和低速存储分开部署，或者任意比例混布。在不可预测的业务环境或者敏捷应用情况下，分层存储的优势可以发挥到最佳。解决了目前缓存分层存储最大的问题是当性能池读不命中后，从冷池提取数据的粒度太大，导致延迟高，从而给造成整体的性能的抖动的问题。
3. 多副本的一致性
与传统的存储架构使用RAID模式来保证数据的可靠性不同，分布式存储采用了多副本备份机制。在存储数据之前，分布式存储对数据进行了分片，分片后的数据按照一定的规则保存在集群节点上。为了保证多个数据副本之间的一致性，分布式存储通常采用的是一个副本写入，多个副本读取的强一致性技术，使用镜像、条带、分布式校验等方式满足租户对于可靠性不同的需求。在读取数据失败的时候，系统可以通过从其他副本读取数据，重新写入该副本进行恢复，从而保证副本的总数固定;当数据长时间处于不一致状态时，系统会自动数据重建恢复，同时租户可设定数据恢复的带宽规则，最小化对业务的影响。
4. 容灾与备份
在分布式存储的容灾中，一个重要的手段就是多时间点快照技术，使得用户生产系统能够实现一定时间间隔下的各版本数据的保存。特别值得一提的是，多时间点快照技术支持同时提取多个时间点样本同时恢复，这对于很多逻辑错误的灾难定位十分有用，如果用户有多台服务器或虚拟机可以用作系统恢复，通过比照和分析，可以快速找到哪个时间点才是需要回复的时间点，降低了故障定位的难度，缩短了定位时间。这个功能还非常有利于进行故障重现，从而进行分析和研究，避免灾难在未来再次发生。多副本技术，数据条带化放置，多时间点快照和周期增量复制等技术为分布式存储的高可靠性提供了保障。
5. 弹性扩展
得益于合理的分布式架构，分布式存储可预估并且弹性扩展计算、存储容量和性能。分布式存储的水平扩展有以下几个特性：
1) 节点扩展后，旧数据会自动迁移到新节点，实现负载均衡，避免单点过热的情况出现;
2) 水平扩展只需要将新节点和原有集群连接到同一网络，整个过程不会对业务造成影响;
3) 当节点被添加到集群，集群系统的整体容量和性能也随之线性扩展，此后新节点的资源就会被管理平台接管，被用于分配或者回收。
6. 存储系统标准化
随着分布式存储的发展，存储行业的标准化进程也不断推进，分布式存储优先采用行业标准接口(SMI-S或OpenStack Cinder)进行存储接入。在平台层面，通过将异构存储资源进行抽象化，将传统的存储设备级的操作封装成面向存储资源的操作，从而简化异构存储基础架构的操作，以实现存储资源的集中管理，并能够自动执行创建、变更、回收等整个存储生命周期流程。基于异构存储整合的功能，用户可以实现跨不同品牌、介质地实现容灾，如用中低端阵列为高端阵列容灾，用不同磁盘阵列为闪存阵列容灾等等，从侧面降低了存储采购和管理成本。
C. 什么是分布式存储系统
分布式存储系统
定义
分布式存储系统是大量普通PC服务器通过Internet互联，对外作为一个整体提供存储服务
特性
可扩展
低成本
高性能
易用
挑战
分布式存储系统的挑战主要在于数据、状态信息的持久化，要求在自动迁移、自动容错、并发读写的过程中保证数据的一致性。分布式存储涉及的技术主要来自两个领域：分布式系统以及数据库。
分类
非结构化数据，一般的文档
结构化数据， 存储在关系数据库中
半结构化数据，HTML文档
不同的分布式存储系统适合处理不同类型的数据：
分布式文件系统
非结构化数据，这类数据以对象的形式组织，不同对象之间没有关联，这样的数据一般称为Blob（二进制大对象）数据
典型的有Facebook Haystack 以及 Taobao File System
另外，分布式文件系统也常作为分布式表格系统以及分布式数据库的底层存储，如谷歌的GFS可以作为分布式表格系统Google Bigtable 的底层存储，Amazon的EBS（弹性存储块）系统可以作为分布式数据库（Amazon RDS）的底层存储
总体上看，分布式文件系统存储三种类型的数据：Blob对象、定长块以及大文件
分布式键值系统
较简单的半结构化数据，只提供主键的CRUD（创建、读取、更新、删除）
典型的有Amazon Dynamo 以及 Taobao Tair
分布式表格系统
较复杂的半结构化数据，不仅支持CRUD，而且支持扫描某个主键范围
以表格为单位组织数据，每个表格包括很多行，通过主键标识一行，支持根据主键的CRUD功能以及范围查找功能
典型的有Google Bigtable 以及 Megastore，Microsoft Azure Table Storage，Amazon DynamoDB等
分布式数据库
存储结构化数据，一般是由单机关系数据库扩展而来
典型的包括MySQL数据库分片集群、Amazon RDS以及Microsoft SQL Azure
D. 分布式存储是什么东西
关于分布式存储实际上并没有一个明确的定义，甚至名称上也没有一个统一的说法，大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。
其中维基网络中给 Distributed data store 的定义是：分布式存储是一种计算机网络，它通常以数据复制的方式将信息存储在多个节点中。
在网络中给出的定义是：分布式存储系统，是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
尽管各方对分布式存储的定义并不完全相同，但有一点是统一的，就是分布式存储将数据分散放置在多个节点中，节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。
E. 分布式存储与软件定义存储的区别
什么是分布式存储
关于分布式存储实际上并没有一个明确的定义，甚至名称上也没有一个统一的说法，大多数情况下称作 Distributed Data Store 或者 Distributed Storage System。
其中维基网络中给 Distributed data store 的定义是：分布式存储是一种计算机网络，它通常以数据复制的方式将信息存储在多个节点中。
在网络中给出的定义是：分布式存储系统，是将数据分散存储在多台独立的设备上。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
尽管各方对分布式存储的定义并不完全相同，但有一点是统一的，就是分布式存储将数据分散放置在多个节点中，节点通过网络互连提供存储服务。这一点与传统集中式存储将数据集中放置的方式有着明显的区分。
什么是软件定义存储
SDS 的全称是 Software Defined Storage ，字面意思直译就是软件定义存储。关于 SDS 的定义可以参考全球网络存储工业协会（Storage Networking Instry Association，SNIA），SNIA 在 2013 正式把 软件定义存储(SDS) 列入研究对象。
SNIA 对软件定义存储(SDS) 的定义是：一种具备服务管理接口的虚拟化存储。 SDS 包括存储池化的功能，并可通过服务管理接口定义存储池的数据服务特征。另外 SNIA 还提出 软件定义存储(SDS) 应该具备以下特性：
自动化程度高 – 通过简化管理，降低存储基础架构的运维开销
标准接口 – 支持 API 管理、发布和运维存储设备和服务
虚拟化数据路径 – 支持多种标准协议，允许应用通过块存储，文件存储或者对象存储接口写入数据
扩展性 – 存储架构具备无缝扩展规模的能力，扩展过程不影响可用性以及不会导致性能下降
透明度 – 存储应为用户提供管理和监控存储的可用资源与开销
分布式存储与软件定义存储的区别与联系
软件定义存储(SDS) 的着重点在于存储资源虚拟化和软件定义，首先在形态上，软件定义存储(SDS)区别于传统的“硬件定义”存储，它不依赖专属的硬件，可以让存储软件运行在通用服务器上，可避免硬件绑定以及有效降低硬件采购成本；拥有标准 API 接口和自动化工具，有效降低运维难度。存储资源虚拟化，支持多种存储协议，可整合企业存储资源，提升存储资源利用率。但从定义上来说，但 软件定义存储(SDS) 从部署形式上来看，并不一定是分布式或者是集中式的，也就是说 SDS 不一定是分布式存储（虽然常见的 软件定义存储(SDS) 更多的是分布式的），SDS 存储内部有可能是单机运行的，不通过网络分散存放数据的，这种形式的软件定义存储(SDS) 的扩展性就可能有比较大的局限。
分布式存储，它的最大特点是多节点部署， 数据通过网络分散放置。分布式存储的特点是扩展性强，通过多节点平衡负载，提高存储系统的可靠性与可用性。与 软件定义存储(SDS)相反，分布式存储不一定是软件定义的，有可能是绑定硬件的，例如 IBM XIV 存储，它本质上是一个分布式存储，但实际是通过专用硬件进行交付的。那么就依然存在硬件绑定，拥有成本较高的问题。
F. 分布式存储有哪几种类型
中央存储技术现已发展非常成熟。但是同时，新的问题也出现了，中心化的网络很容易拥挤，数据很容易被滥用。传统的数据传输方式是由客户端向云服务器传输，由服务器向客户端下载。而分布式存储系统QKFile是从客户端传送到 N个节点，然后从这些节点就近下载到客户端内部，因此传输速度非常快。对比中心协议的特点是上传、下载速度快，能够有效地聚集空闲存储资源，并能大大降低存储成本。
在节点数量不断增加的情况下，QKFile市场趋势开始突出，未来用户数量将呈指数增长。分布式存储在未来会有很多应用场景，如数据存储，文件传输，网络视频，社会媒体和去中心化交易等。因特网的控制权越来越集中在少数几个大型技术公司的手中，它的网络被去中心化，就像分布式存储一样，总是以社区为中心，面向用户，而分布式存储就是实现信息技术和未来因特网功能的远景。有了分布式存储，我们可以创造出更加自由、创新和民主的网络体验。是时候把因特网推向新阶段了。
作为今年非常受欢迎的明星项目，关于QKFile的未来发展会推动互联网的进步，给整个市场带来巨大好处。分布式存储是基于因特网的基础结构产生的，区块链分布式存储与人工智能、大数据等有叠加作用。对今天的中心存储是一个巨大的补充，分布式时代的到来并不是要取代现在的中心互联网，而是要使未来的数据存储发展得更好，给整个市场生态带来不可想象的活力。先看共识，后看应用，QKFile创建了一个基础设施平台，就像阿里云，阿里云上面是做游戏的做电商的视频网站，这就叫应用层，现阶段，在性能上，坦白说，与传统的云存储相比，没有什么竞争力。不过另一方面来说，一个新型的去中心化存储的信任环境式非常重要的，在此环境下，自然可以衍生出许多相关应用，市场潜力非常大。
虽然QKFile离真正的商用还有很大的距离，首先QKFile的经济模型还没有定论，其次QKFile需要集中精力发展分布式存储、商业逻辑和 web3.0，只有打通分布式存储赛道，才有实力引领整个行业发展，人们认识到了中心化存储的弊端，还有许多企业开始接受分布式存储模式，即分布式存储 DAPP应用触达用户。所以QKFile将来肯定会有更多的商业应用。创建超本地高效存储方式的能力。当用户希望将数据存储在QKFile网络上时，他们就可以摆脱巨大的集中存储和地理位置的限制，用户可以看到在线存储的矿工及其市场价格，矿工之间相互竞争以赢得存储合约。使用者挑选有竞争力的矿工，交易完成，用户发送数据，然后矿工存储数据，矿工必须证明数据的正确存储才能得到QKFile奖励。在网络中，通过密码证明来验证数据的存储安全性。采矿者通过新区块链向网络提交其储存证明。通过网络发布的新区块链验证，只有正确的区块链才能被接受，经过一段时间，矿工们就可以获得交易存储费用，并有机会得到区块链奖励。数据就在更需要它的地方传播了，旋转数据就在地球范围内流动了，数据的获取就不断优化了，从小的矿机到大的数据中心，所有人都可以通过共同努力，为人类信息社会的建设奠定新的基础，并从中获益。
G. 什么是DFS（分布式文件系统）以及DFS的优点
通过 DFS（分布式文件系统），一台服务器上的某个共享点能够作为驻留在其他服务器上的共享资源的宿主。DFS 以透明方式链接文件服务器和共享文件夹，然后将其映射到单个层次结构，以便可以从一个位置对其进行访问，而实际上数据却分布在不同的位置。用户不必再转至网络上的多个位置以查找所需的信息，而只需连接到：
\\DfsServer\Dfsroot
用户在访问此共享中的文件夹时将被重定向到包含共享资源的网络位置。这样，用户只需知道 DFS 根目录共享即可访问整个企业的共享资源。
DFS 拓扑从 DFS 树的根目录开始。位于逻辑层次结构顶部的 DFS 根目录映射到一个物理共享。DFS 链接将域名系统 (DNS) 名称映射到目标共享文件夹或目标 DFS 根目录的 UNC 名称。当 DFS 客户端访问 DFS 共享文件夹时，DFS 服务器将 DNS 名称映射到 UNC 名称并将引用返回给该客户端，以使它能够找到共享文件夹。将 DNS 名称映射到 UNC 名称使数据的物理位置对用户是透明的，这样用户便无须记住存储文件夹的服务器。当 DFS 客户端请求 DFS 共享的引用时，DFS 服务器将使用分区情况表 (PKT) 将 DFS 客户端定向到物理共享。对于基于域的 DFS，PKT 存储在 Active Directory 中；对于独立的 DFS，PKT 存储在注册表中。在网络环境中，PKT 维护有关 DFS 拓扑的所有信息，包括其到基础物理共享的映射。DFS 服务器将 DFS 客户端定向到与请求的 DFS 链接相对应的副本共享列表后，DFS 客户端使用 Active Directory 站点拓扑连接到同一站点中的一个副本，如果该站点中没有提供副本，则连接到该站点以外的一个副本。
分布式软件系统(Distributed Software Systems)是支持分布式处理的软件系统,是在由通信网络互联的多处理机体系结构上执行任务的系统。它包括分布式操作系统、分布式程序设计语言及其编译(解释)系统、分布式文件系统和分布式数据库系统等。
分布式操作系统负责管理分布式处理系统资源和控
分布式系统的类型，大致可以归为三类：
1、分布式数据，但只有一个总? 据库，没有局部数据库。
2、分层式处理，每一层都有自己的数据库。
3、充分分散的分布式网络，没有中央控制部分，各节点之间的联接方式又可以有多种，如松散的联接，紧密的联接，动态的联接，广播通知式联接等。
H. 分布式文件系统是什么啊
分布式文件系统(Distributed File System，DFS)
如果局域网中有多台服务器，并且共享文件夹也分布在不同的服务器上，这就不利于管理员的管理和用户的访问。而使用分布式文件系统,系统管理员就可以把不同服务器上的共享文件夹组织在一起，构建成一个目录树。这在用户看来，所有共享文件仅存储在一个地点，只需访问一个共享的DFS根目录，就能够访问分布在网络上的文件或文件夹，而不必知道这些文件的实际物理位置。
I. 分布式文件系统的系统分类
(DFS) 是AFS的一个版本，作为开放软件基金会(OSF)的分布式计算环境(DCE)中的文件系统部分。
如果文件的访问仅限于一个用户，那么分布式文件系统就很容易实现。可惜的是，在许多网络环境中这种限制是不现实的，必须采取并发控制来实现文件的多用户访问，表现为如下几个形式：
只读共享 任何客户机只能访问文件，而不能修改它，这实现起来很简单。
受控写操作 采用这种方法，可有多个用户打开一个文件，但只有一个用户进行写修改。而该用户所作的修改并不一定出现在其它已打开此文件的用户的屏幕上。
并发写操作 这种方法允许多个用户同时读写一个文件。但这需要操作系统作大量的监控工作以防止文件重写，并保证用户能够看到最新信息。这种方法即使实现得很好，许多环境中的处理要求和网络通信量也可能使它变得不可接受。
NFS和AFS的区别
NFS和AFS的区别在于对并发写操作的处理方法上。当一个客户机向服务器请求一个文件(或数据库记录)，文件被放在客户工作站的高速缓存中，若另一个用户也请求同一文件，则它也会被放入那个客户工作站的高速缓存中。当两个客户都对文件进行修改时，从技术上而言就存在着该文件的三个版本(每个客户机一个，再加上服务器上的一个)。有两种方法可以在这些版本之间保持同步：
无状态系统 在这个系统中，服务器并不保存其客户机正在缓存的文件的信息。因此，客户机必须协同服务器定期检查是否有其他客户改变了自己正在缓存的文件。这种方法在大的环境中会产生额外的LAN通信开销，但对小型LAN来说，这是一种令人满意的方法。NFS就是个无状态系统。
回呼(Callback)系统 在这种方法中，服务器记录它的那些客户机的所作所为，并保留它们正在缓存的文件信息。服务器在一个客户机改变了一个文件时使用一种叫回叫应答(callbackpromise)的技术通知其它客户机。这种方法减少了大量网络通信。AFS(及OSFDCE的DFS)就是回叫系统。客户机改变文件时，持有这些文件拷贝的其它客户机就被回叫并通知这些改变。
无状态操作在运行性能上有其长处，但AFS通过保证不会被回叫应答充斥也达到了这一点。方法是在一定时间后取消回叫。客户机检查回叫应答中的时间期限以保证回叫应答是当前有效的。回叫应答的另一个有趣的特征是向用户保证了文件的当前有效性。换句话说，若一个被缓存的文件有一个回叫应答，则客户机就认为文件是当前有效的，除非服务器呼叫指出服务器上的该文件已改变了。 Yonghong Z-Data Mart
Yonghong Data Mart是一款数据存储、数据处理的软件。
Yonghong Data Mart采用基于ZDFS的分布式列存储系统，就是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。
Yonghong Data Mart的分布式文件存储系统 (ZDFS)是在Hadoop HDFS基础上进行的改造和扩展，将服务器集群内所有节点上存储的文件统一管理和存储。这些节点包括唯一的一个NamingNode，在 ZDFS 内部提供元数据服务；许多MapNode，提供存储块。存储在 ZDFS 中的文件被分成块，然后将这些块复制到多个计算机中（Map Node）。这与传统的 RAID 架构大不相同。块的大小和复制的块数量在创建文件时由客户机决定。Naming Node监控存在服务器集群内所有节点上的文件操作，例如文件创建、删除、移动、重命名等等。
Network File System
