aws云存储
① aws(亚马逊WEB服务)详细资料大全
AWS即Amazon Web Services,是亚马逊(Amazon)公司的云计算IaaS和PaaS平台服务。AWS面向用户提供包括弹性计算、存储、资料库、应用程式在大橘内的一整套云计算服务,能够帮助企业降低IT投入成本和维护成本。
AWS提供了一整套基础设施和应用程式服务,使几乎能够在云中运行一切应用程式:从企业应用程式和大数据项目,到社交游戏和移动应用程式。
基本介绍 中文名 :aws 外文名 :Amazon Web Services 程式类别 :应用程式 项目基础 :大数据项目 官网 ::aws.amazon// 服务介绍,分类,竞争对手,存储辞汇表, 服务介绍 很多公司选择AWS作为其IT解决方案,AWS有很多云服务,以下介绍AWS中几类比较重要的服务。 分类 计算类: EC2(Elastic Compute Cloud) 是一种弹性云计算服务,可为用户提供誉数弹性可变的计算容量,通常用户可以创建和管理多个虚拟机,在虚拟机上部署自己的业务,虚拟机的计算能力(CPU、记忆体等)可以根据业务需求随时调整。 Elastic IP Addresses(弹性IP位址) – 弹性IP位址是为动态云计算设计的静态IP位址。一个弹性IP位址是和你的账户相关,而不是和你的一个特定实例相关。不像传滚虚团统的静态IP位址,弹性IP位址可以通过重新匹配你的共有IP位址到你账户任意的实例,从而让你可以忽略实例或者可用区域的错误。 连线本质上是通过NAT1:1的匹配每个Elastic IP和Private IP。 Elastic MapRece :EMR采用运行在亚马逊EC2和S3的托管Hadoop框架上。以立即获得满足需要的计算能力,例如网页索引、数据挖掘等数据密集型任务,轻松、经济地处理海量数据,不用担心对Hadoop集群耗时的设定、管理或调优。 AS(Auto Scaling)自动伸缩服务 :允许用户根据需要控制亚马逊EC2自动扩大或减小计算能力。用户利用AS可以无缝地增加EC2的实例数量,以保证使用高峰期的性能,也可以在需求停滞时自动减少以降低成本。AS特别适合那些需求按小时、天或周规律变化的应用程式。 AS由亚马逊CloudWatch控制,并且用户不必支付CloudWatch以外的其他服务费用。 ELB (Elastic Load Balancing)弹性负载平衡 :自动将入口流量分配到多个亚马逊EC2实例上。弹性负载平衡在实例池中不断检测不正常的实例,并自动引导路由流量到正常的实例上,直到不正常的实例恢复正常。客户可以在单一的数据中心进行负载平衡,更可以在跨中心的套用上获得相同的功能。 兼容IPv6,数据来自于CloudWatch 部署&管理类:ACW (Amazon CloudWatch)云监控服务: 监控亚马逊自身提供的云资源以及在云上运行的应用程式。提供可视化监测,并且可以利用API调用进一步处理监控的数据。 Amazon WorkSpaces: 是一种虚拟桌面服务,托管在Amazon的云中。用户可以选择任何终端设备(如笔记本电脑、iPad、Kindle Fire或Android平板电脑)访问 Amazon WorkSpaces,获得与传统办公桌面一样的使用体验,更能享受节约设备成本、保证个人数据安全、随时随地办公等便利。 网路类:
R53(Amazon Route 53)亚马逊53号路由: Domain Name System web service(网路域名服务)。提供从基础设施(EC2实例,ELB,或者S3)到IP位址的映射。 VPC (Virtual Private Cloud)虚拟私有云: 在亚马逊公有云之上创建一个私有的,隔离的云。可以像在自己的数据中心一样定义VPC的拓扑结构。可以和公司现有的数据中心互通。可以利用NAT使得子网不暴漏区域网路IP,公用一个IP位址与外界通讯。通过NAT设定访问控制,保护数据安全性。 存储类: S3 (Simple Storage Service) : 亚马逊简单存储服务(S3)是一种网路存储服务,可为用户提供持久性、高可用性的存储。用户可以将本地存储迁移到Amazon S3,利用 Amazon S3 的扩展性和按使用付费的优势,应对业务规模扩大而增加的存储需求,使可伸缩的网路计算更易于开发。 EBS (Elastic Block Store)弹性数据块存储: EBS卷是独立于实例的存储,可作为一个设备动态连线到运行着的亚马逊EC2实例上。EBS特别适合于单独需要一个资料库、档案系统、或访问原始块存储的应用程式。 套用服务类: SQS (Simple Queue Service)简单讯息伫列服务: 提供讯息存储伫列,使讯息可以在计算机之间传递,在执行不同任务的分散式套用组件之间轻松的转移数据,既不会丢失信息,也不要求每个组件都保持可用。SQS可以与亚马逊EC2和其他AWS的基础设施网路服务紧密结合在一起,方便地建立自动化的工作流程。SQS以网路服务的形式运行,对外发布一个web讯息框架。Inter中任何计算机都可以添加或阅读讯息,而不必安装任何软体或配置特殊的防火墙。使用SQS的套用组件可以独立运行,不需要在同一网路中使用相同的技术开发,也不必在同一时间运行。 SNS (Simple Notification Service)简单通知服务: 在云中安装、处理或传送通知。它为开发人员提供了一种从应用程式发布讯息,并立即传送给订阅者或其他应用程式的能力,用于创建通知某应用程式(或客户)某方面的主题。客户订阅这些主题,并使用客户选定的通信协定(例如,HTTP,电子邮件等)发布讯息。亚马逊SNS的潜在用途包括监控,工作流系统,时间敏感的信息更新,移动套用等等。 资料库类: SDB (Amazon SimpleDB)简单资料库: 非关系型数据存储服务 RDS (Relational Database Service): 是一种基于云的关系型资料库服务,用户可以在云中配置、操作和扩展关系资料库。Amazon RDS 支持 MySQL、Oracle、Microsoft SQL Server 或 PostgreSQL 等关系型资料库。用户无需本地维护资料库,由Amazon RDS为用户管理。 支付类: FPS (Flexible Payments Service)灵活支付服务
ADP (Amazon DevPay)亚马逊支付设计 内容交付类: CloudFront 云前 :整合亚马逊其他云服务产品,完成高效快速的分散式内容互动。 人工服务类: AMT (Amazon Mechanical Turk)机械的土耳其人: “机械的土耳其人”一词来源:这个名字源自于臭名远扬的能下象棋的“自动装置”,它是匈牙利男爵沃尔夫冈·冯·肯佩伦(Wolfgang Von Kempelen)1770年建造的。这个木制机器外形像一个坐在大机箱前的土耳其魔法师,它能自动而快速地下象棋,用复杂的齿轮和杠杆系统来移动棋子。在维也纳皇宫的首次表演中,它就迅速击败了对手Cobenzl伯爵,让在场的皇室成员看得十分高兴。从此关于这个惊人聪明的机器人迅速闻名于世,于是肯佩伦带着它在欧洲各地表演,击败了一系列着名的挑战者,包括拿破仑和班杰明·富兰克林。直到几年之后,这个骗局才被揭穿。原来机箱里藏了一名象棋大师,他用一个磁铁系统来跟踪对手的举动并移动自己的棋子,这个人实际是在 模拟一种人工智能 。 虽然计算技术不断发展,但仍有很多事情人类做的比计算机更有效,比如确定照片或视频中的对象,执行重复数据的删除,抄录音频资料或研究数据的细节。一般来说,完成这样的任务通常需要雇用大量临时工人(这是耗时、昂贵和难以企及的),或者干脆没法完成。 亚马逊机械的土耳其人(AMT)完成的是一种类似模拟人工智能的业务,它把人“藏”在一个软体程式中,用他们执行电脑不太善于完成的任务。例如假设程式设计师在写一个套用软体程式,其中有一个步骤是识别数字照片中的建筑物——这个任务会让电脑为难,但由人去做却很容易。这位程式设计师在用AMT服务时,可以编写几行简单的原始码,从而获取必要的情报。在该程式运行到某个指定时刻,在亚马逊公司的Turk网站上会自动贴出一个关于“由人执行任务”的要求,而人们会争着完成这项任务,以换取程式设计师设定的报酬。依据亚马逊公司在其网站上的解释,AMT表明人与电脑之间不寻常的颠倒关系:“当我们想到人与电脑的接口时,我们通常认为人是提出要完成的任务的一方,而电脑是完成运算任务并提供结果的一方。假使这个过程倒过来,由电脑程式要求人完成这个任务并返回结果,那又会如何呢?Mechanical Turk就是这么做的,它把人的行为和判断变成了软体程式中的功能。不是电脑为我们工作,而是我们为电脑工作。" 基于以上的弹性计算、存储、资料库、应用程式服务组合,AWS可以为企业提供完整的IT业务解决方案。最关键的是,AWS是按需使用、即用即付的模式,能够灵活应对企业快速多变的IT需求。 竞争对手 AWS目录服务 vs. Azure AD
亚马逊的最新目录服务和Azure AD(微软的云目录)展开竞争。Azure AD能够很好地与其他Windows产品协同工作。单点登录功能意味着用户登录一次就可获得支持AD的套用的许可。 相比亚马逊的服务,微软的服务产品还更好地集成了第三方工具,例如Salesforce和Box。因为微软的目录服务是很早就出现的功能,能够与更多的管理工具集成。 亚马逊一直在努力向企业领域发展。新目录填补了明显的空白,帮助企业更有效地连线AWS和微软。虽然亚马逊的云目录达不到微软目录的当前水平,但随着云市场的继续发展预计将获得更多的功能。 存储辞汇表 AWS数据存储服务辞汇表 Aurora: 亚马逊Aurora是一个与MySQL兼容的关系型资料库,而MySQL是一个从结构化查询语言(SQL)衍生出来的流行开源资料库管理系统。用户可以通过亚马逊关系型资料库服务来管理Aurora的配置、打补丁、备份和恢复等。Aurora可自动扩展,可对传输过程中的数据进行加密。 资料库迁移服务:AWS资料库迁移服务可让企业用户在不同云之间或内部资源之间进行资料库迁移。资料库迁移服务不仅可作为AWS云的一个网关,它还允许非AWS资料库之间的同质迁移,并支持大部分的常用资料库。在迁移过程中,源资料库可保持正常运行,从而减少了停机时间。 DynamoDB: 亚马逊DynamoDB是一个专为满足低延迟和高可扩展性需求而设计的托管NoSQL资料库服务。DynamoDB支持文档和key-value存储模式。其高性能和灵活性特点令其特别适合于移动、网路、游戏以及物联网等套用。 ElastiCache:亚马逊ElastiCache是一个AWS托管的快取服务,它遵循开源Memcached系统,可减轻资料库运行负载和加快套用运行。 弹性块存储(EBS):亚马逊弹性块存储可用于弹性计算云(EC2)实例的高可用性块级存储系统。它最适用于存储永久型数据,而不是动态数据。AWS用户可以先选择一个EBS存储卷类型和容量,然后将其连线到一个EC2实例。存储卷的副本可以保存为快照。 Glacier:亚马逊Glacier是一个“冷”存储服务,它可存储不常被访问的数据,从而作为其他AWS数据存储选项的一个更廉价的替代存储选项。 Import/Export Snowball:亚马逊Import/Export Snowball是一种物理传输设备。AWS可使用它来存储内部的海量数据。然后,AWS在用户返回该设备后可导入数据。反之,该设备也可用于AWS向用户导出数据。Snowball存储设备最多可传输50TB数据。 Redshift:亚马逊Redshift是一个完全托管的AWS数据仓库。Redshift可连线基于SQL的客户端和商业智慧型工具。Redshift提供快速的查询与I/O性能,这使得它特别适用于大数据分析套用。 关系型资料库服务(RDS):亚马逊RDS提供了多种资料库引擎选项以帮助用户对关系型资料库进行迁移、备份和恢复等操作。使用中的代码和应用程式以及现有资料库都转移至RDS。RDS可自动完成打补丁和资料库软体备份以便数据恢复。 简单存储服务(S3):亚马逊S3是一个可扩展的对象存储服务。AWS用户可以通过网路接口在网路的任意位置存储和检索数据,且只需为所使用的存储资源支付费用。S3提供了多个存储类,并可与各种亚马逊云服务协同运行。 存储网关:AWS存储网关连线了本地设备和基于AWS的存储资源,这使用户能够充分利用云的可扩展性和价格优势,同时还能继续运行本地工作负载。
② 如何使用Linux命令行访问Amazon S3云存储
在Ubuntu或者Debian上安装s3cm
$ sudo apt-get install s3cmd
在Fedora上安装s3cmd
$ sudo yum install s3cmd
在CentOS或者RHEL上安装s3cm
$ s3cmd put –acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done
先从官方站点上下载rpm包,然后手工安装。64位CentOS或RHEL 6,用以下命令:
$ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm
配置s3cmd
第一次运行s3cmd需要运行下面的命令做配置:
$ s3cmd –configure
它将会问你一系列问题:
AWS S3的访问密钥和安全密钥
对AWS S3双向传输的加密密码和加密数据
为加密数据设定GPG程序的路径(例如,/usr/bin/gpg)
是否使用https协议
如果使用http代理,设定名字和端口
配置将以保存普通文本格式保存在 ~/.s3cfg.
③ 亚马逊官宣将停止支持云存储服务
亚马逊官宣将停止支持云存储服务
亚马逊官宣将停止支持云存储服务,Amazon Drive 云存储服务在 2011 年 3 月推出上线,距今超过 11 年,亚马逊官宣将停止支持云存储服务。
亚马逊官宣将停止支持云存储服务1
日前亚马逊方面宣布,自 2023 年 12 月 31 日起将不再支持亚马逊云存储服务(Amazon Drive),届时访问将被完全切断,其上传服务将在明年 1 月 31 日起不再提供,适用于 Android 和 iOS 的 APP 也将于 2022 年 10 月 31 日下架。
同时,亚马逊方面表示," 我们将继续为客户提供使用亚马逊相册(Amazon Photos)安全备份、共享和整理照片及视频的能力 "。但是对于所有非图片或视频的文件,用户则必须自行下载。
公开资料中显示,亚马逊云存储服务早在 2011 年 3 月就已推出,并作为 " 亚马逊用户备份文件的安全云存储服务 ",提供 5GB 的免费存储空间以及适用于 Android、iOS 和 Web 的应用。至于亚马逊为何在 11 年后决定停用该服务,官方所给出的'解释是," 我们正借此机会更全面地专注于亚马逊相册,为客户提供专门的照片和视频存储解决方案。"
亚马逊方面建议用户可将相应文件迁移到亚马逊相册里,这一服务可提供 100GB、1TB 和 2TB 存储,价格分别为 1.99 美元 / 月、6.99 美元 / 月和 11.99 美元 / 月。如用户想取消自己的云存储服务订阅,任何时间都可进入到 " 管理存储计划 " 的页面,并取消相关订阅。
亚马逊官宣将停止支持云存储服务2
7 月 30 日,亚马逊陆续给 Amazon Drive 用户发出通知邮件,宣布服务将在 2023 年 12 月 31 日结束,届时官方将删掉用户留在 Amazon Drive 里的所有文件。
Amazon Drive 云存储服务在 2011 年 3 月推出上线,距今超过 11 年,它提供了 5GB 的免费存储空间,也支持 iOS、Android 等多个系统。尤其有 AWS 背书,亚马逊家的云存储在安全性和稳定性等各方面都让用户有很高的预期。
但即便这样,这个免费午餐也要结束了。Amazon Drive 在 iOS 和 Android 这边的 app 今年 10 月 31 日就会下架,明年 1 月 31 日开始 Amazon Drive 将不再支持新的上传。
亚马逊明确地期待用户转移去 Amazon Photos(" 我们借此机会更全面地专注于 Amazon Photos"),这项服务只支持存储图片和视频。目前 Amazon Drive 里的图片和视频也已经自动存到了 Amazon Photos。
Amazon Photos 的免费的部分还是 5GB 空间,付费的话,100GB、1TB 和 2TB 分别是每月 1.99、6.99 和 11.99 美元。如果是 Prime 会员的话就都包括在里面了——会有免费无限量、全分辨率的照片存储和 5GB 视频存储空间。
当然 Prime 会员并不便宜,今年亚马逊还上调了价格,美国 Prime 会员年费是 139 美元,按月的话每月是 14.99 美元(中国的 Prime 会员比较特殊,年费和季度费用分别是 288 元和 79 元,不过权益也少非常多)。
不过对于国内用户来说,这个影响应该是不大的,Amazon Drive 国内用户并不多,且亚马逊面向国内 C 端用户的服务都已基本停止(Kindle 中国业务将在明年 6 月 30 日结束运营,之后面向 C 端用户的服务将只留下海外购)。
近几年国内外云存储服务都大量关停,这也是个明确的趋势,从国内服务来说,安全性、版权问题以及监管等是主要因素,而整体来看,这也是个费力不讨好的业务。
亚马逊官宣将停止支持云存储服务3
亚马逊宣布将结束 Amazon Drive 服务,同时也为 Amazon Drive 用户提供足够时间来转向替代方案。
Amazon Drive 云存储服务于 2011 年 3 月推出,作为 " 亚马逊客户备份文件的安全云存储服务 ",提供 5GB 免费存储空间以及适用于 Android、iOS 和 Web 的应用程序。
亚马逊在谈到 Amazon Drive 停止支持决定时表示:
" 我们正借此机会更全面地专注于 Amazon Photos ,为客户提供专门的照片和视频存储解决方案。"
亚马逊发送给客户的电子邮件中提到:
" 我们将继续为客户提供使用 Amazon Photos 安全备份、共享和组织照片和视频的能力。"
但是,对于照片和视频以外的文件,用户必须从网站手动下载它们。如果需要检索更大的文件,亚马逊还推荐了适用于 Windows 和 macOS 的 Amazon Photos 桌面应用程序。
Amazon Drive 服务将在 2023 年 12 月 31 日停止支持,但 2023 年 1 月 31 日不再支持新的上传,并且适用于 Android 和 iOS 的 Amazon Drive 应用程序将于 2022 年 10 月 31 日被删除下架。如果不想丢失数据,建议用户迁移到 Amazon Photos,该服务提供 100GB、1TB 和 2TB 存储,价格分别为每月 1.99 美元、每月 6.99 美元和每月 11.99 美元。