s3存储
㈠ IBMS3咋样
与传统存储模型相比,S3 的随需付费模型有很多明显的优势。例如,在自己的硬盘上存储音乐收藏,我必须预先花 130 美元购买一个 500GB 的存储单元。我没有 500GB 的数据可以存储,因此我为自己不需要的空间花费了 25 美分 /GB(虽然很便宜)。我还需要维护设备并支付电费。如果我使用 Amazon,我不需要预先为不重要的资产支付 130 美元。我只需要支付 10 美分 /GB,无需为管理和维护存储硬件付费。现在想想在整个企业范围内实现这些服务的好处。以 Twitter 为例,在 S3 上为 100 万个用户帐户存储图片。通过按照使用付费的方式,Twitter 不需要花费大量资金购买硬件基础设施来存储和提供图片服务,也不需要支出人力和部件成本来配置和维护图片。
云的好处还不止这些。您还可以实现低延迟和高可用性。假设存储在 Amazon 云中的资产遍布全世界,那么为各个位置提供内容的速度将会更快。更重要的是,由于您的资产分布在各种机器上,您的数据在一些机器(或部分网络)瘫痪时也能保持高可用性。
一言以蔽之,Amazon S3 的好处很简单:低成本、高可用性、安全。除非您是一个 SAN 专家,喜欢维护硬件资产来存储数据内容,但是 Amazon 可能比您做的更好。
在Ubuntu或者Debian上安装s3cm
$ sudo apt-get install s3cmd
在Fedora上安装s3cmd
$ sudo yum install s3cmd
在CentOS或者RHEL上安装s3cm
$ s3cmd put –acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done
先从官方站点上下载rpm包,然后手工安装。64位CentOS或RHEL 6,用以下命令:
$ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm
配置s3cmd
第一次运行s3cmd需要运行下面的命令做配置:
$ s3cmd –configure
它将会问你一系列问题:
AWS S3的访问密钥和安全密钥
对AWS S3双向传输的加密密码和加密数据
为加密数据设定GPG程序的路径(例如,/usr/bin/gpg)
是否使用https协议
如果使用http代理,设定名字和端口
配置将以保存普通文本格式保存在 ~/.s3cfg.
㈢ 如何将MySQL数据直接上传到S3变成文件
拆分文件后,可将它们上传到存储桶。在加载文件之前,您可以选择压缩或加密文件。
创建一个用于存储数据文件的 Amazon S3 存储桶,然后将数据文件上传到该存储桶。有关创建存储桶和上传文件的信息,请参阅 Amazon Simple Storage Service 开发人员指南 中的使用 Amazon S3 存储桶。
Amazon S3 为某些操作提供最终一致性,因此新数据在上传后可能不会立即可用。有关更多信息,请参阅管理数据一致性
重要
存储数据文件的 Amazon S3 存储桶必须在与集群相同的区域中创建,除非您使用 REGION 选项指定 Amazon S3 存储桶所在的区域。
您可以通过以下方式在某个特定区域中创建 Amazon S3 存储桶:在使用 Amazon S3 控制台创建存储桶时选择该区域,或在使用 Amazon S3 API
或 CLI 创建存储桶时指定终端节点。
数据加载后,确认 Amazon S3 上出现了正确的文件。
㈣ 如何在AWS S3存储段中设置CloudFront分布
AWS CloudFront是一个用户用于加速静态或动态内容发布的内容发布服务,这里所谓的静态或动态内容主要包括媒体(图像或视频)文件、HTML、Java脚本程序、CSS文件以及其它。
作者:文:Ofir Nachmani 译:滕晓龙来源:TechTarget中国|2015-03-09 10:12
收藏
分享
AWS CloudFront可配合一些其他的服务一起使用,其中就包括了EC2和S3。遵循以下步骤可从一个S3存储段中设置一个CloudFront分布。
AWS CloudFront是一个用户用于加速静态或动态内容发布的内容发布服务,这里所谓的静态或动态内容主要包括媒体(图像或视频)文件、HTML、Java脚本程序、CSS文件以及其它。它的简洁用户界面可以帮助管理员设置CloudFront发布。但是,这一过程并不只是指向和点击那么简单。下面,就让我们来看看CloudFront的工作原理以及应当如何来部署它。
在CloudFront中,每一片的内容都被组织成为具有独特URL并可从网络被访问的发布。该服务可从边缘加速节点数据中心发布这一内容;目前,AWS在全球部署着52个边缘加速节点数据中心以供内容缓存使用。
AWS CloudFront支持两种形式的发布:流形式与下载方式。当一名用户使用CloudFront URL来请求静态内容时,该服务就会根据发出请求的IP以及缓存这一内容的数据中心的位置来找到距离这个IP最近的边缘加速节点数据中心。这样一来,所有来自于相同位置的请求就会减少延迟时间。
CloudFront可配合多个AWS服务使用,其中包括了简单存储服务(S3)、弹性计算云(EC2)、弹性负载平衡(ELB)以及Route 53。CloudFront的主要功能包括:
支持动态内容(减少未来请求的延迟时间)
支持自定义域名
设备检测(移动设备和网络设备)
支持Post/PUT以及其它的HTTP协议
自定义错误响应
支持cookies、查询字符串以及其它
链接一个CloudFront发布至S3
为了从一个S3建立一个CloudFront网络发布,你将需要一个S3存储和一个可公开访问的对象(如图1)。
图1 S3存储段以及一个可公开访问的对象
然后,可遵循以下步骤:
1. 转至CloudFront并创建一个网络发布
图2 选择初始域名存储段
2. 在初始域名栏位,选择存储段名称,并在限制存储段访问中选择“No”。这样做可以限制只能从CloudFront访问对象,所以就没有人可以从S3访问这个存储段了(如图2)。
3. 使用以下参数配置缓存设置:
路径模式:默认。针对特定对象应用缓存处理。如果选择了默认值(*),它就会把所有请求发送到选中的存储段中。
浏览器协议策略:HTTP 和 HTTPS。如果用户想要求CloudFront允许浏览器使用HTTP或HTTPS协议来访问用户的网络内容。
允许的HTTP方法:GET,HEAD。选择用户希望这一缓存操作所允许的HTTP方法列表。
转发头文件:None。如果用户希望根据请求中发送的头文件来缓存内容,那么就可以使用它。理想情况下,保持“None”项是可以提高性能的。
对象缓存:使用初始缓存头文件。当你的初始服务器将增加一个缓存控制头文件以便于控制对象被保存在CloudFront缓存中多长时间时,可选择这一选项。
转发cookies:无。如果用户希望CloudFront在它发送给初始服务器的请求中囊括所有的用户cookies,那么就可以指定“None”。否则,可指定你希望包含在内的cookies。选择“None”,就可配置CloudFront不要发送cookies。
转发请求字符串:不。为了根据URL中的请求字符串获得不同版本的对象;设置“Yes”选项以便于在发送给初始服务器的请求URL中包含请求字符串。
限制浏览器访问:No。在理想情况下,选择“yes”以提高安全性。选择“no”可让每个人都能够查看内容。限制浏览器访问意味着要求使用者为安全访问而创建一个签名的URL(如图3)。
图3 限制浏览器访问
4. 接下来,是设定发布设置
价格类别:使用所有的边缘加速节点数据中心。这一操作可以让用户自行选择愿意为CloudFront服务支付的最高价格。
CNAMEs:空白。这一操作可以允许用户为对象使用URL而不是CloudFront分配的域名。因此,用户可以指定一个自定义URL,而不是CloudFront发布。
SSL证书:默认CloudFront。这一项可以让管理员上传他们自己的证书。用户还可以保留其它的选项作为默认值,并创建发布(如图4)。
图4默认的CloudFront设置。
一旦创建了发布,那么你将有一个CloudFront URL,例如:"http://d3ptzllcr53x1i.CloudFront.net"。然后,就可以使用这个URL来访问对象了。
㈤ amazon s3是分布式存储吗
amazon s3 是亚马逊提供的一种存储服务,即你可以将自己的本地数据在远端云中存储,后台必然使用到了分布式存储,将数据分开存放到不同的服务节点甚至不同的数据中心:1 是为了容量上的扩展,保证能够存储的数据量足够大; 2 是为了容错,利用副本或者纠删码的方法保证一个服务器或者甚至一个数据中心中的数据丢失,你的数据仍然可以恢复
㈥ 如何使用Linux命令行访问Amazon S3云存储
在Ubuntu或者Debian上安装s3cm
$ sudo apt-get install s3cmd
在Fedora上安装s3cmd
$ sudo yum install s3cmd
在CentOS或者RHEL上安装s3cm
$ s3cmd put –acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done
先从官方站点上下载rpm包,然后手工安装。64位CentOS或RHEL 6,用以下命令:
$ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm
配置s3cmd
第一次运行s3cmd需要运行下面的命令做配置:
$ s3cmd –configure
它将会问你一系列问题:
AWS S3的访问密钥和安全密钥
对AWS S3双向传输的加密密码和加密数据
为加密数据设定GPG程序的路径(例如,/usr/bin/gpg)
是否使用https协议
如果使用http代理,设定名字和端口
配置将以保存普通文本格式保存在 ~/.s3cfg.
s3cmd的基本用法
在你的账户中列出所有现有的bucket:
$ s3cmd ls 2011-05-28 22:30 s3://mybucket1 2011-05-29 00:14 s3://mybucket2
建立新的bucket:
$ s3cmd mb s3://dev99 Bucket ’s3://dev99/’ created
上传文件到现有的bucket:
$ s3cmd put 1.png 2.png 3.png s3://dev99 1.png -> s3://dev99/1.png [1 of 3] 26261 of 26261 100% in 5s 4.33 kB/s done 2.png -> s3://dev99/2.png [2 of 3] 201430 of 201430 100% in 2s 98.05 kB/s done 3.png -> s3://dev99/3.png [3 of 3] 46630 of 46630 100% in 0s 56.62 kB/s done
上传文件的默认访问权限是私有的(private),就是只有你自己可以访问,使用正确的访问和安全密码即可。
上传公开访问权限的文件到现有bucket:
$ s3cmd put --acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done Public URL of the object is
如果上传的文件授予公开访问权限,任何人在浏览器中都可以通过
查看一个现有bucket的内容:
$ s3cmd ls s3://dev99 2013-06-02 02:52 26261 s3://dev99/1.png 2013-06-02 02:52 201430 s3://dev99/2.png 2013-06-02 02:52 46630 s3://dev99/3.png 2013-06-02 02:56 30778 s3://dev99/4.png
下载现有bucket包含的文件(例如所有的.png文件):
$ s3cmd get s3://dev99/*.png s3://dev99/1.png -> ./1.png [1 of 4] 26261 of 26261 100% in 0s 39.39 kB/s done s3://dev99/2.png -> ./2.png [2 of 4] 201430 of 201430 100% in 7s 24.64 kB/s done s3://dev99/3.png -> ./3.png [3 of 4] 46630 of 46630 100% in 1s 39.34 kB/s done s3://dev99/4.png -> ./4.png [4 of 4] 30778 of 30778 100% in 0s 97.01 kB/s done
删除现有bucket中的文件:
$ s3cmd del s3://dev99/*.png File s3://dev99/1.png deleted File s3://dev99/2.png deleted File s3://dev99/3.png deleted File s3://dev99/4.png deleted
获取现有bucket的信息,包括存储位置和访问控制列表(ACL):
$ s3cmd info s3://dev99 s3://dev99/ (bucket): Location: us-east-1 ACL: dan.nanni: READ ACL: dan.nanni: WRITE ACL: dan.nanni: READ_ACP ACL: dan.nanni: WRITE_ACP
在上传到现有的bucket之前,加密文件:
$ s3cmd -e put encrypt.png s3://dev99 /tmp/tmpfile-pzT1zV3kLZlxDwqA0kwy -> s3://dev99/encrypt.png [1 of 1] 196890 of 196890 100% in 1s 99.51 kB/s done
当用s3cmd下载一个加密过的文件时,它会自动检测加密并在下载过程解密,因此下载和访问加密文件时,就像通常所做的一样:
$ s3cmd get s3://dev99/encrypt.png s3://dev99/encrypt.png -> ./encrypt.png [1 of 1] 196890 of 196890 100% in 1s 131.29 kB/s done
删除现有的bucket:
$ s3cmd rb s3://dev99 Bucket ’s3://dev99/’ removed
注意,你不能删除一个非空的bucket。
㈦ 怎样用linux命令行访问AmazonS3云存储
在Ubuntu或者Debian上安装s3cm $ sudo apt-get install s3cmd 在Fedora上安装s3cmd $ sudo yum install s3cmd 在CentOS或者RHEL上安装s3cm $ s3cmd put –acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done 先从官方站点上下载rpm包,然后手工安装。64位CentOS或RHEL 6,用以下命令: $ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm 配置s3cmd 第一次运行s3cmd需要运行下面的命令做配置: $ s3cmd –configure 它将会问你一系列问题: AWS S3的访问密钥和安全密钥 对AWS S3双向传输的加密密码和加密数据 为加密数据设定GPG程序的路径(例如,/usr/bin/gpg)
㈧ 国内兼容AWS S3接口的云储存有哪些
华为oceanstor9000 s3对象存储
㈨ 简单存储服务s3与传统的文件系统有哪些区别
企业用户的话,推荐南京云创存储科技有限公司的cStor云存储服务! 和传统存储相比,cStor云存储系统具有如下优势: 优异性能 支持高并发、带宽饱和利用。cStor云存储系统将控制流和数据流分离,数据访问时多个存储服务器同时对外提供服务,实现高并发访问。自动均衡负载,将不同客户端的访问负载均衡到不同的存储服务器上。系统性能随节点规模的增加呈线性增长。系统的规模越大,云存储系统的优势越明显, 没有性能瓶颈。 高度可靠 针对小文件采用多个数据块副本的方式实现冗余可靠,数据在不同的存储节点上具有多个块副本,任意节点发生故障,系统将自动复制数据块副本到新的存储节点上,数据不丢失,实现数据完整可靠; 针对大文件采用超安存(S3)编解码算法的方式实现高度可靠,任意同时损坏多个存储节点,数据可通过超安存算法解码自动恢复。该特性可适用于对数据安全级别极高的场合,同时相对于副本冗余的可靠性实现方式大大提高了磁盘空间利用率,不到40%的磁盘冗余即可实现任意同时损坏三个存储节点而不丢失数据。 元数据管理节点采用双机镜像热备份的高可用方式容错,其中一台服务器故障,可无缝自动切换到另一台服务器,服务不间断。整个系统无单点故障,硬件故障自动屏蔽。 在线伸缩 可以在不停止服务的情况下,动态加入新的存储节点,无需任何操作,即可实现系统容量从TB级向PB级平滑扩展;也可以摘下任意节点,系统自动缩小规模而不丢失数据,并自动将再下的节点上的数据备份到其他节点上,保证整个系统数据的冗余数。 超大规模 支持超大规模集群,理论容量为1024×1024×1024PB。 简单通用 支持POSIX接口规范,支持Windows/Linux/Mac OS X,用户当成海量磁盘使用,无需修改应用。同时系统也对外提供专用的API访问接口。 智能管理 一键式安装,智能化自适应管理,简单方便的监控界面,无需学习即可使用。 cStor云存储系统所有管理工作由云存储系统管理监控中心完成,使用人员无需任何专业知识便可以轻松地管理整个系统。通过专业的分布式集群监控子系统对cStor所有节点实行无间断监控,用户通过界面可以清楚地了解到每一个节点的运行情况。
㈩ 如何将手机(三星S3)储存里的照片移到SD卡上
一、若要将手机上的多媒体文件(音乐、视频、照片等)存到到外置SD卡里,请按照以下步骤进行操作:1.在待机界面下,点击【应用程序】图标。2.点击【文件管理】图标。3.点击【全部】文件夹。4.点击【Device storage】,选择需要移动的文件移动到SD卡的文件夹(这里以“DCIM”文件夹中图片为例)。5.点击【菜单】键,然后选择【选择项目】6.勾选好需要移动的文件,点击【菜单】键,选择【移动】。7.点击外置SD卡【SD memory card】文件夹。8.选择一个要移动的位置,然后点击【移动到此处】即可。二、若要将安装的应用程序文件移至到外置SD卡上(具体某个软件能否移动取决于软件本身),具体步骤:设定-应用程序管理器-已下载-(选择打开需要移动到外置SD卡上的程序)-SD卡数据-移动到SD卡, 即可!