‘壹’ 云存储的底层关键技术有哪些
一切以客户的需求为出发点。传统存储以文件系统为典型代表,但是随着数据爆炸性增长,传统文件系统已经无法满足对存储系统的容量、性能等需求,因此,云存储应运而生。云存储最大的特点是数据被集中存储在数据中心,公有云存储将客户数据存放在公有云服务商数据中心,而私有云存储则是将公有云存储能力私有化部署在客户自身的数据中心。既然提到了数据中心,可想而知云存储最大的特点应该是海量:解决数以PB至EB的数据存储需求。所有云存储技术面对的通用问题有如下几个:
扩展性:即容量可以通过横向增加服务器、磁盘等线性扩展,软件不应该成为限制扩展性的瓶颈;
可靠性:如何保证数据不丢失,或者丢失概率极低;
可用性:如何保证数据always online;
性能:不同的客户的不同使用场景对云存储性能提出不同需求。
‘贰’ swift存储提供的服务有哪些
OpenStack Object Storage(Swift)是OpenStack开源云计算项目的子项目之一,被称为对象存储,提供了强大的扩展性、冗余和持久性。对象存储,用于永久类型的静态数据的长期存储。
Swift 最初是由 Rackspace 公司开发的高可用分布式对象存储服务,并于 2010 年贡献给 OpenStack 开源社区作为其最初的核心子项目之一,为其 Nova 子项目提供虚机镜像存储服务。Swift 构筑在比较便宜的标准硬件存储基础设施之上,无需采用 RAID(磁盘冗余阵列),通过在软件层面引入一致性散列技术和数据冗余性,牺牲一定程度的数据一致性来达到高可用性和可伸缩性,支持多租户模式、容器和对象读写操作,适合解决互联网的应用场景下非结构化数据存储问题
‘叁’ swift和cinder的区别
你好
关于cinder和swift的区别:
cinder与swift各自的用途是什么?
cinder是块存储,用来给虚拟机挂扩展硬盘,就是将cinder创建出来的卷,挂到虚拟机里。cinder是OpenStack到F版,将之前在Nova中的部分持久性块存储功能(Nova-Volume)分离了出来,独立为新的组件Cinder
swift是一个系统,可以上传和下载,里面一般存储的是不经常修改的内容,比如用于存储 VM 镜像、备份和归档以及较小的文件,例如照片和电子邮件消息。更倾向于系统的管理
块存储具有安全可靠、高并发大吞吐量、低时延、规格丰富、简单易用的特点,适用于文件系统、数据库或者其他需要原始块设备的系统软件或应用。
上面其实很多感觉不是太直观,个人认为cinder可以理解为个人电脑的移动硬盘,它可以随意格式化,随时存取。
对于swift可以作为网盘,相信对于云技术的同学来说,网盘应该是不陌生的,如果把一些经常用的内容,放到网盘中是非常不方便的。
Swift 还是 Cinder?何时使用以及使用哪一种?
那么,应该使用哪一种对象存储:Swift 还是 Cinder?答案取决于您的应用程序。如果需要运行商用或遗留应用程序,那么很少需要进行这种选择。这些应用程序不可能被编码来利用 Swift API,但您可以轻松挂载一个 Cinder 磁盘,它表现得就像是直接将存储附加到大多数应用程序。
当然,您还可以对新应用程序使用 Cinder,但是不会从 Swift 自动附带的弹性和冗余中获益。如果编程人员面对这样的挑战,那么 Swift 的分布式可扩展架构是一个值得考虑的特性。
单点故障
Swift 架构是分布式的,可防止所有单点故障和进行水平扩展。
cinder存在单点故障还未解决
更多内容,以下来自ibm资料库:
块存储 (Cinder)
Cinder 是 OpenStack Block Storage 的项目名称;它为来宾虚拟机 (VM) 提供了持久块存储。对于可扩展的文件系统、最大性能、与企业存储服务的集成以及需要访问原生块级存储的应用程序而言,块存储通常是必需的。
系统可以暴露并连接设备,随后管理服务器的创建、附加到服务器和从服务器分离。应用程序编程接口 (API) 也有助于加强快照管理,这种管理可以备份大量块存储。
对象存储 (Swift)
Swift 是两种产品中较为成熟的一个:自 OpenStack 成立以来一直是一个核心项目。Swift 的功能类似于一个分布式、可访问 API 的存储平台,可直接将它集成到应用程序中,或者用于存储 VM 镜像、备份和归档以及较小的文件,例如照片和电子邮件消息。
Object Store 有两个主要的概念:对象和容器。
对象就是主要存储实体。对象中包括与 OpenStack Object Storage 系统中存储的文件相关的内容和所有可选元数据。数据保存为未压缩、未加密的格式,包含对象名称、对象的容器以及键值对形式的所有元数据。对象分布在整个数据中心的多个磁盘中,Swift 可以借此确保数据的复制和完整性。分布式操作可以利用低成本的商用硬件,同时增强可扩展性、冗余性和持久性。
容器类似于 Windows® 文件夹,容器是用于存储一组文件的一个存储室。容器无法被嵌套,但一个租户可以供创建无限数量的容器。对象必须存储在容器中,所以您必须至少拥有一个容器来使用对象存储。
与传统的文件服务器不同,Swift 是横跨多个系统进行分布的。它会自动存储每个对象的冗余副本,从而最大程度地提高可用性和可扩展性。对象版本控制提供了防止数据意外丢失或覆盖的额外保护
希望对你有帮助
‘肆’ 如何建立单位内部云存储服务器
看云存储的需求,是做云盘,做大文件存储,小文件存储,或者块读写等等。
开源系统就不少,自己建的话,省钱就用开源。
OpenStack里面有Swift,是一个对象存储,适合于存放比较小的,以对象为单位的文件。
SeaFile开源云存储系统平台是由国人开发的新一代的开源云存储系统软件,SeaFile提供丰富的文件同步和管理功能,搭个网盘是比较方便的。
还有GlusterFS,是一个集群的文件系统,支持 PB 级的数据量。
Ceph,分布式文件系统,支持作为块设备进行读写访问。
按照教程来,搭建起来不难。当然,要深入使用,解决生产运行中的各种坑,还是需要一定时间的积累的。
我们就是选择的Swift,然后在此基础上开发的文档管理系统。
‘伍’ swift 对象存储服务器运维成本大不大
云计算成本应该不大
‘陆’ openstack中swift和cinder中的区别
swift是object storage(对象存储),将object(可以理解为文件)存储到bucket(可以理解为文件夹)里,你可以用swift创建container,然后上传文件,例如视频,照片,这些文件会被replication到不同服务器上以保证可靠性,swift可以不依靠虚拟机工作。所谓的云存储,OpenStack就是用swift实现的,类似于Amazon AWS S3(Simple Storage Service).
cinder是block storage(块存储),你可以把cinder当做优盘管理程序来理解。你可以用cinder创建volume,然后将它接到(attach)虚拟机上去,这个volume就像虚拟机的一个存储分区一样工作。如果你把这个虚拟机terminate了,这个volume和里边的数据依然还在,你还可以把它接到其他虚拟机上继续使用里边的数据。cinder创建的volume必须被接到虚拟机上才能工作。类似于Amazon AWS EBS(Elastic Block Storage).
‘柒’ swift服务提供的存储可以供glance服务使用,对吗
其中这个档案是里面的话是一个不能连用。嗯,这个里面确实还挺不错的一项服务。
‘捌’ 云存储是用hadoop还是swift
hadoop是做云存储和云计算很流行的分布式框架。
Swift 是一种新的编程语言,用于编写 iOS 和 OS X 应用,不是一种框架,是一种语言。
‘玖’ ceph这款云存储技术怎么样
Ceph是一套高性能,易扩展的,无单点的分布式文件存储系统,基于Sage A. Weil的论文开发,主要提供以下三个存储服务:
对象存储(Object Storage),既可以通过使用Ceph的库,利用C, C++, Java, Python, PHP代码,也可以通过Restful网关以对象的形式访问或存储数据,兼容亚马逊的S3和OpenStack的Swift。
块存储(Block Storage),作为块设备像硬盘一样直接挂载。
文件系统(File System) ,如同网络文件系统一样挂载,兼容POSIX接口。
Ceph的结构,对象存储由LIBRADOS和RADOSGW提供,块存储由RBD提供,文件系统由CEPH FS提供,而RADOSGW, RBD, CEPH FS均需要调用LIBRADOS的接口,而最终都是以对象的形式存储于RADOS里。
Ceph集群的节点有三种角色:
Monitor,监控集群的健康状况,向客户端发送最新的CRUSH map(含有当前网络的拓扑结构)
OSD,维护节点上的对象,响应客户端请求,与其他OSD节点同步
MDS,提供文件的Metadata,如果不使用CephFS可以不安装
?