aws文件存储

1. AWS云在Amazon ec2 部署一个网站,能把上传到网站的文件自动存储到Amazon s3中吗

可以实现。

给EC2设置Role或程序中设置对S3有读写权限的密钥。

至于网站的自动上传则建议参照官方的AWS开发者工具文档。

网页链接

2. 怎样将本地的文件上传到aws s3中

非也，s3是s3,hdfs是hdfs。你可以使用工具将s3上的数据cp到hdfs上面 HDFS。它的优势是快；劣势是它是暂时性存储，会在集群终止时收回。它最适合用于缓存由中间作业流步骤产生的结果。 Amazon S3 本机是一种持久性和容错性文件系统。集群终止后，...

3. 亚马逊云计算平台AWS的Glacier和S3有什么区别

Glacier最大的两个特点是
1.便宜, 是S3的1/12
2.访问延时非常高, 访问一个S3的数据可能耗时100毫秒, 访问一个Glacier的数据可能耗时3-5小时.

另外,在Glacier中,用户需要自己维护的文件目录.

这
是与Glacier的定位相符合的. Glacier是一种cold storage, 可以看做是高级磁带(但实际上是用定制的磁盘),
AWS的官方文档介绍的几种应用场景是: 公司历史数据保存, 出版物(书, 电影, 音乐, 电视, 新闻)制作过程的素材和中间产物的保存,
科研过程中原始数据的保存.

这几种应用场景有如下特征:
数据总量大, 不是以G计算, 而是以T, 甚至P计算.
访问频率极低, 大多数文件再也不会访问了.
对可靠性要求较高, 要求有异地备份, 防止机房故障.

可以看出, Glacier和S3虽然都是存储服务, 但定位不同, cold storage对访问速度不敏感, 对价格很敏感, 因此Glacier的价格就很低廉, 而访问速度则非常慢.

4. 阿里云的oss在aws上叫什么

如果你刚开始建设论坛，只需要买ECS就行。ECS就是云服务器，可以简单理解为咱普通用的服务器。SLB是负载均衡，购买两台阿里云服务器就可以免费开启，是用来应对大流量。OSS是静态存储， 专门用来存放静态文件。OCS是开放式缓存

5. aws的分类

计算类：
EC2（Elastic Compute Cloud）是一种弹性云计算服务，可为用户提供弹性可变的计算容量，通常用户可以创建和管理多个虚拟机，在虚拟机上部署自己的业务，虚拟机的计算能力（CPU、内存等）可以根据业务需求随时调整。
Elastic IP Addresses（弹性IP地址） – 弹性IP地址是为动态云计算设计的静态IP地址。一个弹性IP地址是和你的账户相关，而不是和你的一个特定实例相关。不像传统的静态IP地址，弹性IP地址可以通过重新匹配你的共有IP地址到你账户任意的实例，从而让你可以忽略实例或者可用区域的错误。连接本质上是通过NAT1:1的匹配每个Elastic IP和Private IP。
Elastic MapRece：EMR采用运行在亚马逊EC2和S3的托管Hadoop框架上。以立即获得满足需要的计算能力，例如网页索引、数据挖掘等数据密集型任务，轻松、经济地处理海量数据，不用担心对Hadoop集群耗时的设置、管理或调优。
AS（Auto Scaling）自动伸缩服务：允许用户根据需要控制亚马逊EC2自动扩大或减小计算能力。用户利用AS可以无缝地增加EC2的实例数量，以保证使用高峰期的性能，也可以在需求停滞时自动减少以降低成本。AS特别适合那些需求按小时、天或周规律变化的应用程序。AS由亚马逊CloudWatch控制，并且用户不必支付CloudWatch以外的其他服务费用。
ELB (Elastic Load Balancing)弹性负载平衡：自动将入口流量分配到多个亚马逊EC2实例上。弹性负载平衡在实例池中不断检测不正常的实例，并自动引导路由流量到正常的实例上，直到不正常的实例恢复正常。客户可以在单一的数据中心进行负载平衡，更可以在跨中心的应用上获得相同的功能。兼容IPv6，数据来自于CloudWatch
部署&管理类：
ACW (Amazon CloudWatch)云监控服务：监控亚马逊自身提供的云资源以及在云上运行的应用程序。提供可视化监测，并且可以利用API调用进一步处理监控的数据。
Amazon WorkSpaces：是一种虚拟桌面服务，托管在Amazon的云中。用户可以选择任何终端设备（如笔记本电脑、iPad、Kindle Fire或Android平板电脑）访问 Amazon WorkSpaces，获得与传统办公桌面一样的使用体验，更能享受节约设备成本、保证个人数据安全、随时随地办公等便利。
网络类：
R53（Amazon Route 53）亚马逊53号路由：Domain Name System web service(网络域名服务)。提供从基础设施（EC2实例，ELB，或者S3）到IP地址的映射。
VPC (Virtual Private Cloud)虚拟私有云：在亚马逊公有云之上创建一个私有的，隔离的云。可以像在自己的数据中心一样定义VPC的拓扑结构。可以和公司现有的数据中心互通。可以利用NAT使得子网不暴漏内网IP，公用一个IP地址与外界通讯。通过NAT设置访问控制，保护数据安全性。
存储类：
S3 (Simple Storage Service) ：亚马逊简单存储服务（S3）是一种网络存储服务，可为用户提供持久性、高可用性的存储。用户可以将本地存储迁移到Amazon S3，利用 Amazon S3 的扩展性和按使用付费的优势，应对业务规模扩大而增加的存储需求，使可伸缩的网络计算更易于开发。
EBS (Elastic Block Store)弹性数据块存储：EBS卷是独立于实例的存储，可作为一个设备动态连接到运行着的亚马逊EC2实例上。EBS特别适合于单独需要一个数据库、文件系统、或访问原始块存储的应用程序。
应用服务类：
SQS (Simple Queue Service)简单消息队列服务：提供消息存储队列，使消息可以在计算机之间传递，在执行不同任务的分布式应用组件之间轻松的转移数据，既不会丢失信息，也不要求每个组件都保持可用。SQS可以与亚马逊EC2和其他AWS的基础设施网络服务紧密结合在一起，方便地建立自动化的工作流程。SQS以网络服务的形式运行，对外发布一个web消息框架。Internet中任何计算机都可以添加或阅读消息，而不必安装任何软件或配置特殊的防火墙。使用SQS的应用组件可以独立运行，不需要在同一网络中使用相同的技术开发，也不必在同一时间运行。
SNS (Simple Notification Service)简单通知服务：在云中安装、处理或发送通知。它为开发人员提供了一种从应用程序发布消息，并立即传送给订阅者或其他应用程序的能力，用于创建通知某应用程序（或客户）某方面的主题。客户订阅这些主题，并使用客户选定的通信协议（例如，HTTP，电子邮件等）发布消息。亚马逊SNS的潜在用途包括监控，工作流系统，时间敏感的信息更新，移动应用等等。
数据库类：
SDB (Amazon SimpleDB)简单数据库：非关系型数据存储服务
RDS (Relational Database Service)：是一种基于云的关系型数据库服务，用户可以在云中配置、操作和扩展关系数据库。Amazon RDS 支持 MySQL、Oracle、Microsoft SQL Server 或 PostgreSQL 等关系型数据库。用户无需本地维护数据库，由Amazon RDS为用户管理。
支付类：
FPS (Flexible Payments Service)灵活支付服务
ADP (Amazon DevPay)亚马逊支付设计
内容交付类：
CloudFront 云前：整合亚马逊其他云服务产品，完成高效快速的分布式内容交互。
人工服务类：
AMT (Amazon Mechanical Turk)机械的土耳其人：“机械的土耳其人”一词来源：这个名字源自于臭名远扬的能下象棋的“自动装置”，它是匈牙利男爵沃尔夫冈·冯·肯佩伦（Wolfgang Von Kempelen）1770年建造的。这个木制机器外形像一个坐在大机箱前的土耳其魔法师，它能自动而快速地下象棋，用复杂的齿轮和杠杆系统来移动棋子。在维也纳皇宫的首次表演中，它就迅速击败了对手Cobenzl伯爵，让在场的皇室成员看得十分高兴。从此关于这个惊人聪明的机器人迅速闻名于世，于是肯佩伦带着它在欧洲各地表演，击败了一系列着名的挑战者，包括拿破仑和本杰明·富兰克林。直到几年之后，这个骗局才被揭穿。原来机箱里藏了一名象棋大师，他用一个磁铁系统来跟踪对手的举动并移动自己的棋子，这个人实际是在模拟一种人工智能。
虽然计算技术不断发展，但仍有很多事情人类做的比计算机更有效，比如确定照片或视频中的对象，执行重复数据的删除，抄录音频资料或研究数据的细节。一般来说，完成这样的任务通常需要雇用大量临时工人（这是耗时、昂贵和难以企及的），或者干脆没法完成。
亚马逊机械的土耳其人（AMT）完成的是一种类似模拟人工智能的业务，它把人“藏”在一个软件程序中，用他们执行电脑不太善于完成的任务。例如假设程序员在写一个应用软件程序，其中有一个步骤是识别数字照片中的建筑物——这个任务会让电脑为难，但由人去做却很容易。这位程序员在用AMT服务时，可以编写几行简单的源代码，从而获取必要的情报。在该程序运行到某个指定时刻，在亚马逊公司的Turk网站上会自动贴出一个关于“由人执行任务”的要求，而人们会争着完成这项任务，以换取程序员设定的报酬。依据亚马逊公司在其网站上的解释，AMT表明人与电脑之间不寻常的颠倒关系：“当我们想到人与电脑的接口时，我们通常认为人是提出要完成的任务的一方，而电脑是完成运算任务并提供结果的一方。假使这个过程倒过来，由电脑程序要求人完成这个任务并返回结果，那又会如何呢？Mechanical Turk就是这么做的，它把人的行为和判断变成了软件程序中的功能。不是电脑为我们工作，而是我们为电脑工作。
基于以上的弹性计算、存储、数据库、应用程序服务组合，AWS可以为企业提供完整的IT业务解决方案。最关键的是，AWS是按需使用、即用即付的模式，能够灵活应对企业快速多变的IT需求。

6. 怎样用linux命令行访问AmazonS3云存储

在Linux上安装s3cmd
在Ubuntu或者Debian上安装s3cm
$ sudo apt-get install s3cmd

在Fedora上安装s3cmd
$ sudo yum install s3cmd

在CentOS或者RHEL上安装s3cm
$ s3cmd put –acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done

先从官方站点上下载rpm包，然后手工安装。64位CentOS或RHEL 6，用以下命令：
$ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm

配置s3cmd
第一次运行s3cmd需要运行下面的命令做配置：
$ s3cmd –configure

它将会问你一系列问题：
AWS S3的访问密钥和安全密钥
对AWS S3双向传输的加密密码和加密数据
为加密数据设定GPG程序的路径（例如，/usr/bin/gpg）
是否使用https协议
如果使用http代理，设定名字和端口
配置将以保存普通文本格式保存在 ~/.s3cfg.
s3cmd的基本用法
在你的账户中列出所有现有的bucket：
$ s3cmd ls 2011-05-28 22:30 s3://mybucket1 2011-05-29 00:14 s3://mybucket2

建立新的bucket：
$ s3cmd mb s3://dev99 Bucket ’s3://dev99/’ created

上传文件到现有的bucket：
$ s3cmd put 1.png 2.png 3.png s3://dev99 1.png -> s3://dev99/1.png [1 of 3] 26261 of 26261 100% in 5s 4.33 kB/s done 2.png -> s3://dev99/2.png [2 of 3] 201430 of 201430 100% in 2s 98.05 kB/s done 3.png -> s3://dev99/3.png [3 of 3] 46630 of 46630 100% in 0s 56.62 kB/s done

上传文件的默认访问权限是私有的(private)，就是只有你自己可以访问，使用正确的访问和安全密码即可。
上传公开访问权限的文件到现有bucket：
$ s3cmd put --acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done Public URL of the object is: http://dev99.s3.amazonaws.com/4.png

如果上传的文件授予公开访问权限，任何人在浏览器中都可以通过http://dev99.s3.amazonaws.com/4.png 访问。
查看一个现有bucket的内容：
$ s3cmd ls s3://dev99 2013-06-02 02:52 26261 s3://dev99/1.png 2013-06-02 02:52 201430 s3://dev99/2.png 2013-06-02 02:52 46630 s3://dev99/3.png 2013-06-02 02:56 30778 s3://dev99/4.png

下载现有bucket包含的文件（例如所有的.png文件）：
$ s3cmd get s3://dev99/*.png s3://dev99/1.png -> ./1.png [1 of 4] 26261 of 26261 100% in 0s 39.39 kB/s done s3://dev99/2.png -> ./2.png [2 of 4] 201430 of 201430 100% in 7s 24.64 kB/s done s3://dev99/3.png -> ./3.png [3 of 4] 46630 of 46630 100% in 1s 39.34 kB/s done s3://dev99/4.png -> ./4.png [4 of 4] 30778 of 30778 100% in 0s 97.01 kB/s done

删除现有bucket中的文件：
$ s3cmd del s3://dev99/*.png File s3://dev99/1.png deleted File s3://dev99/2.png deleted File s3://dev99/3.png deleted File s3://dev99/4.png deleted

获取现有bucket的信息，包括存储位置和访问控制列表(ACL)：
$ s3cmd info s3://dev99 s3://dev99/ (bucket): Location: us-east-1 ACL: dan.nanni: READ ACL: dan.nanni: WRITE ACL: dan.nanni: READ_ACP ACL: dan.nanni: WRITE_ACP

在上传到现有的bucket之前，加密文件：
$ s3cmd -e put encrypt.png s3://dev99 /tmp/tmpfile-pzT1zV3kLZlxDwqA0kwy -> s3://dev99/encrypt.png [1 of 1] 196890 of 196890 100% in 1s 99.51 kB/s done

当用s3cmd下载一个加密过的文件时，它会自动检测加密并在下载过程解密，因此下载和访问加密文件时，就像通常所做的一样：
$ s3cmd get s3://dev99/encrypt.png s3://dev99/encrypt.png -> ./encrypt.png [1 of 1] 196890 of 196890 100% in 1s 131.29 kB/s done

删除现有的bucket：
$ s3cmd rb s3://dev99 Bucket ’s3://dev99/’ removed

注意，你不能删除一个非空的bucket。

7. 如何在AWS S3存储段中设置CloudFront分布

AWS CloudFront是一个用户用于加速静态或动态内容发布的内容发布服务，这里所谓的静态或动态内容主要包括媒体（图像或视频）文件、HTML、Java脚本程序、CSS文件以及其它。
作者：文:Ofir Nachmani 译:滕晓龙来源：TechTarget中国|2015-03-09 10:12
收藏
分享

AWS CloudFront可配合一些其他的服务一起使用，其中就包括了EC2和S3。遵循以下步骤可从一个S3存储段中设置一个CloudFront分布。
AWS CloudFront是一个用户用于加速静态或动态内容发布的内容发布服务，这里所谓的静态或动态内容主要包括媒体（图像或视频）文件、HTML、Java脚本程序、CSS文件以及其它。它的简洁用户界面可以帮助管理员设置CloudFront发布。但是，这一过程并不只是指向和点击那么简单。下面，就让我们来看看CloudFront的工作原理以及应当如何来部署它。
在CloudFront中，每一片的内容都被组织成为具有独特URL并可从网络被访问的发布。该服务可从边缘加速节点数据中心发布这一内容；目前，AWS在全球部署着52个边缘加速节点数据中心以供内容缓存使用。
AWS CloudFront支持两种形式的发布：流形式与下载方式。当一名用户使用CloudFront URL来请求静态内容时，该服务就会根据发出请求的IP以及缓存这一内容的数据中心的位置来找到距离这个IP最近的边缘加速节点数据中心。这样一来，所有来自于相同位置的请求就会减少延迟时间。
CloudFront可配合多个AWS服务使用，其中包括了简单存储服务（S3）、弹性计算云（EC2）、弹性负载平衡（ELB）以及Route 53。CloudFront的主要功能包括：
支持动态内容（减少未来请求的延迟时间）
支持自定义域名
设备检测（移动设备和网络设备）
支持Post/PUT以及其它的HTTP协议
自定义错误响应
支持cookies、查询字符串以及其它
链接一个CloudFront发布至S3
为了从一个S3建立一个CloudFront网络发布，你将需要一个S3存储和一个可公开访问的对象（如图1）。

图1 S3存储段以及一个可公开访问的对象
然后，可遵循以下步骤：
1. 转至CloudFront并创建一个网络发布

图2 选择初始域名存储段
2. 在初始域名栏位，选择存储段名称，并在限制存储段访问中选择“No”。这样做可以限制只能从CloudFront访问对象，所以就没有人可以从S3访问这个存储段了（如图2）。
3. 使用以下参数配置缓存设置：
路径模式：默认。针对特定对象应用缓存处理。如果选择了默认值（*），它就会把所有请求发送到选中的存储段中。
浏览器协议策略：HTTP 和 HTTPS。如果用户想要求CloudFront允许浏览器使用HTTP或HTTPS协议来访问用户的网络内容。
允许的HTTP方法：GET，HEAD。选择用户希望这一缓存操作所允许的HTTP方法列表。
转发头文件：None。如果用户希望根据请求中发送的头文件来缓存内容，那么就可以使用它。理想情况下，保持“None”项是可以提高性能的。
对象缓存：使用初始缓存头文件。当你的初始服务器将增加一个缓存控制头文件以便于控制对象被保存在CloudFront缓存中多长时间时，可选择这一选项。
转发cookies：无。如果用户希望CloudFront在它发送给初始服务器的请求中囊括所有的用户cookies，那么就可以指定“None”。否则，可指定你希望包含在内的cookies。选择“None”，就可配置CloudFront不要发送cookies。
转发请求字符串：不。为了根据URL中的请求字符串获得不同版本的对象；设置“Yes”选项以便于在发送给初始服务器的请求URL中包含请求字符串。
限制浏览器访问：No。在理想情况下，选择“yes”以提高安全性。选择“no”可让每个人都能够查看内容。限制浏览器访问意味着要求使用者为安全访问而创建一个签名的URL（如图3）。

图3 限制浏览器访问
4. 接下来，是设定发布设置
价格类别：使用所有的边缘加速节点数据中心。这一操作可以让用户自行选择愿意为CloudFront服务支付的最高价格。
CNAMEs：空白。这一操作可以允许用户为对象使用URL而不是CloudFront分配的域名。因此，用户可以指定一个自定义URL，而不是CloudFront发布。
SSL证书：默认CloudFront。这一项可以让管理员上传他们自己的证书。用户还可以保留其它的选项作为默认值，并创建发布（如图4）。

图4默认的CloudFront设置。
一旦创建了发布，那么你将有一个CloudFront URL，例如："http://d3ptzllcr53x1i.CloudFront.net＂。然后，就可以使用这个URL来访问对象了。

8. AWS亚马逊和Aliyun阿里云、七牛云的云主机的区别和优势是什么

摘要 AWS的优点：