开源文件存储服务
❶ 如何建立单位内部云存储服务器
看云存储的需求,是做云盘,做大文件存储,小文件存储,或者块读写等等。
开源系统就不少,自己建的话,省钱就用开源。
OpenStack里面有Swift,是一个对象存储,适合于存放比较小的,以对象为单位的文件。
SeaFile开源云存储系统平台是由国人开发的新一代的开源云存储系统软件,SeaFile提供丰富的文件同步和管理功能,搭个网盘是比较方便的。
还有GlusterFS,是一个集群的文件系统,支持 PB 级的数据量。
Ceph,分布式文件系统,支持作为块设备进行读写访问。
按照教程来,搭建起来不难。当然,要深入使用,解决生产运行中的各种坑,还是需要一定时间的积累的。
我们就是选择的Swift,然后在此基础上开发的文档管理系统。
❷ 在大数量级的数据存储上,比较靠谱的分布式文件存储有哪些
一、 Ceph
Ceph最早起源于Sage就读博士期间的工作、成果于2004年发表,并随后贡献给开源社区。经过多年的发展之后,已得到众多云计算和存储厂商的支持,成为应用最广泛的开源分布式存储平台。
二、 GFS
GFS是google的分布式文件存储系统,是专为存储海量搜索数据而设计的,2003年提出,是闭源的分布式文件系统。适用于大量的顺序读取和顺序追加,如大文件的读写。注重大文件的持续稳定带宽,而不是单次读写的延迟。
三、 HDFS
HDFS(Hadoop Distributed File System),是一个适合运行在通用硬件(commodity hardware)上的分布式文件系统,是Hadoop的核心子项目,是基于流数据模式访问和处理超大文件的需求而开发的。该系统仿效了谷歌文件系统(GFS),是GFS的一个简化和开源版本。
❸ Google的GFS和开源的HDFS是()中的代表性方案
Hadoop项目。
1、HDFS(HadoopDistributedFileSystem),作为GoogleFileSystem(GFS)的实现,是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(LargeDataSet)的应用处理带来了很多便利。
2、GoogleGFS,BigTable,MapRece称为Google的三驾马车,是许多基础服务的基石GFS于2003年提出,是一个分布式的文件系统,与此前的很多分布式系统的前提假设存在很大的不同,适用于以下场景)认为组件失效是一种常态,提供了容错机制,自动负载均衡,使得分布式文件系统可以在廉价机器上运行)面向大文件存储,系统主要的工作负载是大规模的流式读取,写操作主要是追加方式写,很少有随机写)一次写入,多次读取。
3、开源HDFS。分布式文件存储系统,源自于Google的GFS论文,HDFS是GFS的克隆版HDFS是Hadoop中数据存储和管理的基础,是一个高容错的系统,能够自动解决硬件故障。
❹ 小型企业搭建内部网络文件存储服务器有哪几种方法
贵公司可以尝试一下几个方案,当然各有各的优势,具体的还要根据贵公司的具体情况来定
1、使用电脑主机或者服务器搭建FTP/SAMBA/NFS服务
2、使用NAS网络存储服务器
3、使用启耘Box作为网络文件存储服务器
祝贵公司发展越来越好,望贵公司采纳。
❺ 文件Fastcompre是什么
首先简单了解一下基础概念,FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务。FastDFS的系统结构图如下:
如上图,FastDFS的两个核心概念分别是:
Tracker(跟踪器)
Storage(存储节点)
Tracker主要做调度工作,相当于mvc中的controller的角色,在访问上起负载均衡的作用。跟踪器和存储节点都可以由一台或多台服务器构成,跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务,其中跟踪器中的所有服务器都是对等的,可以根据服务器的压力情况随时增加或减少。Tracker负责管理所有的Storage和group,每个storage在启动后会连接Tracker,告知自己所属的group等信息,并保持周期性的心跳,tracker根据storage的心跳信息,建立group==>[storage server list]的映射表,Tracker需要管理的元信息很少,会全部存储在内存中;另外tracker上的元信息都是由storage汇报的信息生成的,本身不需要持久化任何数据,这样使得tracker非常容易扩展,直接增加tracker机器即可扩展为tracker cluster来服务,cluster里每个tracker之间是完全对等的,所有的tracker都接受stroage的心跳信息,生成元数据信息来提供读写服务。
Storage采用了分卷[Volume](或分组[group])的组织方式,存储系统由一个或多个组组成,组与组之间的文件是相互独立的,所有组的文件容量累加就是整个存储系统中的文件容量。一个卷[Volume](组[group])可以由一台或多台存储服务器组成,一个组中的存储服务器中的文件都是相同的,组中的多台存储服务器起到了冗余备份和负载均衡的作用,数据互为备份,存储空间以group内容量最小的storage为准,所以建议group内的多个storage尽量配置相同,以免造成存储空间的浪费。更多原理性的内容可以参考这篇blog,介绍的很详细:分布式文件系统FastDFS设计原理
接下来就具体看一下FastDFS的整个下载安装过程~
❻ 有了cdn为什么还要用fastdfs
因为cdn的速度与fastdfs相差并不是很大,但是价格却十分昂贵,所以相同情况下,企业都会选择使用fastdfs分布式文件系统。
❼ 求开源文件备份软件,功能强大,支持同步的,最好是有公司在用的额
微软的sky drive
Windows SkyDrive是由微软公司推出的一项云存储服务,用户可以通过自己的Windows Live账户进行登录,上传自己的图片、文档等到 SkyDrive中进行存储,微软公司于2012年4月23日正式推出了SkyDrive客户端用于下载,同时推出了SkyDrive的付费云存储服务。
在 Windows Live 服务器上免费存储、管理和下载文件、
SkyDrive 最近logo[1]
照片和收藏夹 (表示收藏的网站,其网址保存在计算机或联机服务器上,以便您方便快捷地进行访问。) 。在 Windows Live 网络 (用户在 Windows Live 中与之交流和共享信息的一群人。用户的网络包括添加到个人资料中的联系人、添加到 Messenger 中的联系人或同时添加到这两者中的联系人。用户网络中的联系人可以在最近更新列表中看到有关该用户最近活动的信息,也可以看到其他信息,这取决于权限设置。) 上与朋友共享您创建的照片和文件、合作完成文档,或向所有人显示您创建的照片和文件。使用 Windows Live ID (您用于登录 Windows Live 程序和服务(如 Windows Live Hotmail 和 Windows Live Messenger)、Microsoft 服务(如 Xbox LIVE、MSN 和 Office Live)以及任何其他显示 Windows Live ID 徽标的站点的电子邮件地址和密码。) 登录 Windows Live SkyDrive 网站后,您可以执行以下操作:
存储空间
在2012年4月22日之前完成微软Live通行证注册的用户,如果选择使用SkyDrive服务,将免费获得25GB储存空间;而在22日之后注册的新用户,将只能获得7GB免费储存空间。除了免费储存空间外,微软还额外提供10美元/年20GB储存空间、25美元/年50GB储存空间,以及50美元/年100GB储存空间等付费选择。
❽ SFS是什么文件系统
SFS是一个安装在SAN中的文件系统,也是一个软硬件结合的产品。它为各种不同的操作系统平台提供了一个统一的文件存储环境,将多个独立的文件系统抽象为一个共享文件系统,从而解决了传统SAN架构中的文件和数据管理问题,实现文件级的数据共享、存储分配和Serverless的数据备份,而且与SVC一样,它也具备了按照策略动态地调整存储设备配置,透明的迁移数据等虚拟存储SAN控制器的功能,而所有功能目的是围绕着文件级的存储服务展开的。
不仅如此,SFS又将分布式文件系统的设计理念和系统架构向前推进了一步。它们除了具有一般的分布式文件系统的特性之外,还采用SAN作为整个文件系统的数据存储和传输路径。它们采用带外(out-of-band)结构,将文件系统原数据在高速以太网上传输,由专门的原数据服务器来处理和存储。SAN File System采用了基于策略的文件数据位置选择方法,能有效地利用系统的资源,提高性能,降低成本。
详细的再参考资料里
❾ fastdfs对特大文件支持得如何
回复 2# happy_fish100 我这里的虚拟机镜像不是块设备,也是以普通文件的方式存在于文件系统上。 只不过文件都比较大,几十G到几百G不等,因为fastdfs是不分片的,不知道Fastdfs对特大的文件支持得如何?
❿ fastdfs能存储什么东西
FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。