aws文件存儲

1. AWS雲在Amazon ec2 部署一個網站,能把上傳到網站的文件自動存儲到Amazon s3中嗎

可以實現。

給EC2設置Role或程序中設置對S3有讀寫許可權的密鑰。

至於網站的自動上傳則建議參照官方的AWS開發者工具文檔。

網頁鏈接

2. 怎樣將本地的文件上傳到aws s3中

非也，s3是s3,hdfs是hdfs。你可以使用工具將s3上的數據cp到hdfs上面 HDFS。它的優勢是快；劣勢是它是暫時性存儲，會在集群終止時收回。它最適合用於緩存由中間作業流步驟產生的結果。 Amazon S3 本機是一種持久性和容錯性文件系統。集群終止後，...

3. 亞馬遜雲計算平台AWS的Glacier和S3有什麼區別

Glacier最大的兩個特點是
1.便宜, 是S3的1/12
2.訪問延時非常高, 訪問一個S3的數據可能耗時100毫秒, 訪問一個Glacier的數據可能耗時3-5小時.

另外,在Glacier中,用戶需要自己維護的文件目錄.

這
是與Glacier的定位相符合的. Glacier是一種cold storage, 可以看做是高級磁帶(但實際上是用定製的磁碟),
AWS的官方文檔介紹的幾種應用場景是: 公司歷史數據保存, 出版物(書, 電影, 音樂, 電視, 新聞)製作過程的素材和中間產物的保存,
科研過程中原始數據的保存.

這幾種應用場景有如下特徵:
數據總量大, 不是以G計算, 而是以T, 甚至P計算.
訪問頻率極低, 大多數文件再也不會訪問了.
對可靠性要求較高, 要求有異地備份, 防止機房故障.

可以看出, Glacier和S3雖然都是存儲服務, 但定位不同, cold storage對訪問速度不敏感, 對價格很敏感, 因此Glacier的價格就很低廉, 而訪問速度則非常慢.

4. 阿里雲的oss在aws上叫什麼

如果你剛開始建設論壇，只需要買ECS就行。ECS就是雲伺服器，可以簡單理解為咱普通用的伺服器。SLB是負載均衡，購買兩台阿里雲伺服器就可以免費開啟，是用來應對大流量。OSS是靜態存儲， 專門用來存放靜態文件。OCS是開放式緩存

5. aws的分類

計算類：
EC2（Elastic Compute Cloud）是一種彈性雲計算服務，可為用戶提供彈性可變的計算容量，通常用戶可以創建和管理多個虛擬機，在虛擬機上部署自己的業務，虛擬機的計算能力（CPU、內存等）可以根據業務需求隨時調整。
Elastic IP Addresses（彈性IP地址） – 彈性IP地址是為動態雲計算設計的靜態IP地址。一個彈性IP地址是和你的賬戶相關，而不是和你的一個特定實例相關。不像傳統的靜態IP地址，彈性IP地址可以通過重新匹配你的共有IP地址到你賬戶任意的實例，從而讓你可以忽略實例或者可用區域的錯誤。連接本質上是通過NAT1:1的匹配每個Elastic IP和Private IP。
Elastic MapRece：EMR採用運行在亞馬遜EC2和S3的託管Hadoop框架上。以立即獲得滿足需要的計算能力，例如網頁索引、數據挖掘等數據密集型任務，輕松、經濟地處理海量數據，不用擔心對Hadoop集群耗時的設置、管理或調優。
AS（Auto Scaling）自動伸縮服務：允許用戶根據需要控制亞馬遜EC2自動擴大或減小計算能力。用戶利用AS可以無縫地增加EC2的實例數量，以保證使用高峰期的性能，也可以在需求停滯時自動減少以降低成本。AS特別適合那些需求按小時、天或周規律變化的應用程序。AS由亞馬遜CloudWatch控制，並且用戶不必支付CloudWatch以外的其他服務費用。
ELB (Elastic Load Balancing)彈性負載平衡：自動將入口流量分配到多個亞馬遜EC2實例上。彈性負載平衡在實例池中不斷檢測不正常的實例，並自動引導路由流量到正常的實例上，直到不正常的實例恢復正常。客戶可以在單一的數據中心進行負載平衡，更可以在跨中心的應用上獲得相同的功能。兼容IPv6，數據來自於CloudWatch
部署&管理類：
ACW (Amazon CloudWatch)雲監控服務：監控亞馬遜自身提供的雲資源以及在雲上運行的應用程序。提供可視化監測，並且可以利用API調用進一步處理監控的數據。
Amazon WorkSpaces：是一種虛擬桌面服務，託管在Amazon的雲中。用戶可以選擇任何終端設備（如筆記本電腦、iPad、Kindle Fire或Android平板電腦）訪問 Amazon WorkSpaces，獲得與傳統辦公桌面一樣的使用體驗，更能享受節約設備成本、保證個人數據安全、隨時隨地辦公等便利。
網路類：
R53（Amazon Route 53）亞馬遜53號路由：Domain Name System web service(網路域名服務)。提供從基礎設施（EC2實例，ELB，或者S3）到IP地址的映射。
VPC (Virtual Private Cloud)虛擬私有雲：在亞馬遜公有雲之上創建一個私有的，隔離的雲。可以像在自己的數據中心一樣定義VPC的拓撲結構。可以和公司現有的數據中心互通。可以利用NAT使得子網不暴漏內網IP，公用一個IP地址與外界通訊。通過NAT設置訪問控制，保護數據安全性。
存儲類：
S3 (Simple Storage Service) ：亞馬遜簡單存儲服務（S3）是一種網路存儲服務，可為用戶提供持久性、高可用性的存儲。用戶可以將本地存儲遷移到Amazon S3，利用 Amazon S3 的擴展性和按使用付費的優勢，應對業務規模擴大而增加的存儲需求，使可伸縮的網路計算更易於開發。
EBS (Elastic Block Store)彈性數據塊存儲：EBS卷是獨立於實例的存儲，可作為一個設備動態連接到運行著的亞馬遜EC2實例上。EBS特別適合於單獨需要一個資料庫、文件系統、或訪問原始塊存儲的應用程序。
應用服務類：
SQS (Simple Queue Service)簡單消息隊列服務：提供消息存儲隊列，使消息可以在計算機之間傳遞，在執行不同任務的分布式應用組件之間輕松的轉移數據，既不會丟失信息，也不要求每個組件都保持可用。SQS可以與亞馬遜EC2和其他AWS的基礎設施網路服務緊密結合在一起，方便地建立自動化的工作流程。SQS以網路服務的形式運行，對外發布一個web消息框架。Internet中任何計算機都可以添加或閱讀消息，而不必安裝任何軟體或配置特殊的防火牆。使用SQS的應用組件可以獨立運行，不需要在同一網路中使用相同的技術開發，也不必在同一時間運行。
SNS (Simple Notification Service)簡單通知服務：在雲中安裝、處理或發送通知。它為開發人員提供了一種從應用程序發布消息，並立即傳送給訂閱者或其他應用程序的能力，用於創建通知某應用程序（或客戶）某方面的主題。客戶訂閱這些主題，並使用客戶選定的通信協議（例如，HTTP，電子郵件等）發布消息。亞馬遜SNS的潛在用途包括監控，工作流系統，時間敏感的信息更新，移動應用等等。
資料庫類：
SDB (Amazon SimpleDB)簡單資料庫：非關系型數據存儲服務
RDS (Relational Database Service)：是一種基於雲的關系型資料庫服務，用戶可以在雲中配置、操作和擴展關系資料庫。Amazon RDS 支持 MySQL、Oracle、Microsoft SQL Server 或 PostgreSQL 等關系型資料庫。用戶無需本地維護資料庫，由Amazon RDS為用戶管理。
支付類：
FPS (Flexible Payments Service)靈活支付服務
ADP (Amazon DevPay)亞馬遜支付設計
內容交付類：
CloudFront 雲前：整合亞馬遜其他雲服務產品，完成高效快速的分布式內容交互。
人工服務類：
AMT (Amazon Mechanical Turk)機械的土耳其人：「機械的土耳其人」一詞來源：這個名字源自於臭名遠揚的能下象棋的「自動裝置」，它是匈牙利男爵沃爾夫岡·馮·肯佩倫（Wolfgang Von Kempelen）1770年建造的。這個木製機器外形像一個坐在大機箱前的土耳其魔法師，它能自動而快速地下象棋，用復雜的齒輪和杠桿系統來移動棋子。在維也納皇宮的首次表演中，它就迅速擊敗了對手Cobenzl伯爵，讓在場的皇室成員看得十分高興。從此關於這個驚人聰明的機器人迅速聞名於世，於是肯佩倫帶著它在歐洲各地表演，擊敗了一系列著名的挑戰者，包括拿破崙和本傑明·富蘭克林。直到幾年之後，這個騙局才被揭穿。原來機箱里藏了一名象棋大師，他用一個磁鐵系統來跟蹤對手的舉動並移動自己的棋子，這個人實際是在模擬一種人工智慧。
雖然計算技術不斷發展，但仍有很多事情人類做的比計算機更有效，比如確定照片或視頻中的對象，執行重復數據的刪除，抄錄音頻資料或研究數據的細節。一般來說，完成這樣的任務通常需要僱用大量臨時工人（這是耗時、昂貴和難以企及的），或者乾脆沒法完成。
亞馬遜機械的土耳其人（AMT）完成的是一種類似模擬人工智慧的業務，它把人「藏」在一個軟體程序中，用他們執行電腦不太善於完成的任務。例如假設程序員在寫一個應用軟體程序，其中有一個步驟是識別數字照片中的建築物——這個任務會讓電腦為難，但由人去做卻很容易。這位程序員在用AMT服務時，可以編寫幾行簡單的源代碼，從而獲取必要的情報。在該程序運行到某個指定時刻，在亞馬遜公司的Turk網站上會自動貼出一個關於「由人執行任務」的要求，而人們會爭著完成這項任務，以換取程序員設定的報酬。依據亞馬遜公司在其網站上的解釋，AMT表明人與電腦之間不尋常的顛倒關系：「當我們想到人與電腦的介面時，我們通常認為人是提出要完成的任務的一方，而電腦是完成運算任務並提供結果的一方。假使這個過程倒過來，由電腦程序要求人完成這個任務並返回結果，那又會如何呢？Mechanical Turk就是這么做的，它把人的行為和判斷變成了軟體程序中的功能。不是電腦為我們工作，而是我們為電腦工作。
基於以上的彈性計算、存儲、資料庫、應用程序服務組合，AWS可以為企業提供完整的IT業務解決方案。最關鍵的是，AWS是按需使用、即用即付的模式，能夠靈活應對企業快速多變的IT需求。

6. 怎樣用linux命令行訪問AmazonS3雲存儲

在Linux上安裝s3cmd
在Ubuntu或者Debian上安裝s3cm
$ sudo apt-get install s3cmd

在Fedora上安裝s3cmd
$ sudo yum install s3cmd

在CentOS或者RHEL上安裝s3cm
$ s3cmd put –acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done

先從官方站點上下載rpm包，然後手工安裝。64位CentOS或RHEL 6，用以下命令：
$ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm

配置s3cmd
第一次運行s3cmd需要運行下面的命令做配置：
$ s3cmd –configure

它將會問你一系列問題：
AWS S3的訪問密鑰和安全密鑰
對AWS S3雙向傳輸的加密密碼和加密數據
為加密數據設定GPG程序的路徑（例如，/usr/bin/gpg）
是否使用https協議
如果使用http代理，設定名字和埠
配置將以保存普通文本格式保存在 ~/.s3cfg.
s3cmd的基本用法
在你的賬戶中列出所有現有的bucket：
$ s3cmd ls 2011-05-28 22:30 s3://mybucket1 2011-05-29 00:14 s3://mybucket2

建立新的bucket：
$ s3cmd mb s3://dev99 Bucket 』s3://dev99/』 created

上傳文件到現有的bucket：
$ s3cmd put 1.png 2.png 3.png s3://dev99 1.png -> s3://dev99/1.png [1 of 3] 26261 of 26261 100% in 5s 4.33 kB/s done 2.png -> s3://dev99/2.png [2 of 3] 201430 of 201430 100% in 2s 98.05 kB/s done 3.png -> s3://dev99/3.png [3 of 3] 46630 of 46630 100% in 0s 56.62 kB/s done

上傳文件的默認訪問許可權是私有的(private)，就是只有你自己可以訪問，使用正確的訪問和安全密碼即可。
上傳公開訪問許可權的文件到現有bucket：
$ s3cmd put --acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done Public URL of the object is: http://dev99.s3.amazonaws.com/4.png

如果上傳的文件授予公開訪問許可權，任何人在瀏覽器中都可以通過http://dev99.s3.amazonaws.com/4.png 訪問。
查看一個現有bucket的內容：
$ s3cmd ls s3://dev99 2013-06-02 02:52 26261 s3://dev99/1.png 2013-06-02 02:52 201430 s3://dev99/2.png 2013-06-02 02:52 46630 s3://dev99/3.png 2013-06-02 02:56 30778 s3://dev99/4.png

下載現有bucket包含的文件（例如所有的.png文件）：
$ s3cmd get s3://dev99/*.png s3://dev99/1.png -> ./1.png [1 of 4] 26261 of 26261 100% in 0s 39.39 kB/s done s3://dev99/2.png -> ./2.png [2 of 4] 201430 of 201430 100% in 7s 24.64 kB/s done s3://dev99/3.png -> ./3.png [3 of 4] 46630 of 46630 100% in 1s 39.34 kB/s done s3://dev99/4.png -> ./4.png [4 of 4] 30778 of 30778 100% in 0s 97.01 kB/s done

刪除現有bucket中的文件：
$ s3cmd del s3://dev99/*.png File s3://dev99/1.png deleted File s3://dev99/2.png deleted File s3://dev99/3.png deleted File s3://dev99/4.png deleted

獲取現有bucket的信息，包括存儲位置和訪問控制列表(ACL)：
$ s3cmd info s3://dev99 s3://dev99/ (bucket): Location: us-east-1 ACL: dan.nanni: READ ACL: dan.nanni: WRITE ACL: dan.nanni: READ_ACP ACL: dan.nanni: WRITE_ACP

在上傳到現有的bucket之前，加密文件：
$ s3cmd -e put encrypt.png s3://dev99 /tmp/tmpfile-pzT1zV3kLZlxDwqA0kwy -> s3://dev99/encrypt.png [1 of 1] 196890 of 196890 100% in 1s 99.51 kB/s done

當用s3cmd下載一個加密過的文件時，它會自動檢測加密並在下載過程解密，因此下載和訪問加密文件時，就像通常所做的一樣：
$ s3cmd get s3://dev99/encrypt.png s3://dev99/encrypt.png -> ./encrypt.png [1 of 1] 196890 of 196890 100% in 1s 131.29 kB/s done

刪除現有的bucket：
$ s3cmd rb s3://dev99 Bucket 』s3://dev99/』 removed

注意，你不能刪除一個非空的bucket。

7. 如何在AWS S3存儲段中設置CloudFront分布

AWS CloudFront是一個用戶用於加速靜態或動態內容發布的內容發布服務，這里所謂的靜態或動態內容主要包括媒體（圖像或視頻）文件、HTML、Java腳本程序、CSS文件以及其它。
作者：文:Ofir Nachmani 譯:滕曉龍來源：TechTarget中國|2015-03-09 10:12
收藏
分享

AWS CloudFront可配合一些其他的服務一起使用，其中就包括了EC2和S3。遵循以下步驟可從一個S3存儲段中設置一個CloudFront分布。
AWS CloudFront是一個用戶用於加速靜態或動態內容發布的內容發布服務，這里所謂的靜態或動態內容主要包括媒體（圖像或視頻）文件、HTML、Java腳本程序、CSS文件以及其它。它的簡潔用戶界面可以幫助管理員設置CloudFront發布。但是，這一過程並不只是指向和點擊那麼簡單。下面，就讓我們來看看CloudFront的工作原理以及應當如何來部署它。
在CloudFront中，每一片的內容都被組織成為具有獨特URL並可從網路被訪問的發布。該服務可從邊緣加速節點數據中心發布這一內容；目前，AWS在全球部署著52個邊緣加速節點數據中心以供內容緩存使用。
AWS CloudFront支持兩種形式的發布：流形式與下載方式。當一名用戶使用CloudFront URL來請求靜態內容時，該服務就會根據發出請求的IP以及緩存這一內容的數據中心的位置來找到距離這個IP最近的邊緣加速節點數據中心。這樣一來，所有來自於相同位置的請求就會減少延遲時間。
CloudFront可配合多個AWS服務使用，其中包括了簡單存儲服務（S3）、彈性計算雲（EC2）、彈性負載平衡（ELB）以及Route 53。CloudFront的主要功能包括：
支持動態內容（減少未來請求的延遲時間）
支持自定義域名
設備檢測（移動設備和網路設備）
支持Post/PUT以及其它的HTTP協議
自定義錯誤響應
支持cookies、查詢字元串以及其它
鏈接一個CloudFront發布至S3
為了從一個S3建立一個CloudFront網路發布，你將需要一個S3存儲和一個可公開訪問的對象（如圖1）。

圖1 S3存儲段以及一個可公開訪問的對象
然後，可遵循以下步驟：
1. 轉至CloudFront並創建一個網路發布

圖2 選擇初始域名存儲段
2. 在初始域名欄位，選擇存儲段名稱，並在限制存儲段訪問中選擇「No」。這樣做可以限制只能從CloudFront訪問對象，所以就沒有人可以從S3訪問這個存儲段了（如圖2）。
3. 使用以下參數配置緩存設置：
路徑模式：默認。針對特定對象應用緩存處理。如果選擇了默認值（*），它就會把所有請求發送到選中的存儲段中。
瀏覽器協議策略：HTTP 和 HTTPS。如果用戶想要求CloudFront允許瀏覽器使用HTTP或HTTPS協議來訪問用戶的網路內容。
允許的HTTP方法：GET，HEAD。選擇用戶希望這一緩存操作所允許的HTTP方法列表。
轉發頭文件：None。如果用戶希望根據請求中發送的頭文件來緩存內容，那麼就可以使用它。理想情況下，保持「None」項是可以提高性能的。
對象緩存：使用初始緩存頭文件。當你的初始伺服器將增加一個緩存控制頭文件以便於控制對象被保存在CloudFront緩存中多長時間時，可選擇這一選項。
轉發cookies：無。如果用戶希望CloudFront在它發送給初始伺服器的請求中囊括所有的用戶cookies，那麼就可以指定「None」。否則，可指定你希望包含在內的cookies。選擇「None」，就可配置CloudFront不要發送cookies。
轉發請求字元串：不。為了根據URL中的請求字元串獲得不同版本的對象；設置「Yes」選項以便於在發送給初始伺服器的請求URL中包含請求字元串。
限制瀏覽器訪問：No。在理想情況下，選擇「yes」以提高安全性。選擇「no」可讓每個人都能夠查看內容。限制瀏覽器訪問意味著要求使用者為安全訪問而創建一個簽名的URL（如圖3）。

圖3 限制瀏覽器訪問
4. 接下來，是設定發布設置
價格類別：使用所有的邊緣加速節點數據中心。這一操作可以讓用戶自行選擇願意為CloudFront服務支付的最高價格。
CNAMEs：空白。這一操作可以允許用戶為對象使用URL而不是CloudFront分配的域名。因此，用戶可以指定一個自定義URL，而不是CloudFront發布。
SSL證書：默認CloudFront。這一項可以讓管理員上傳他們自己的證書。用戶還可以保留其它的選項作為默認值，並創建發布（如圖4）。

圖4默認的CloudFront設置。
一旦創建了發布，那麼你將有一個CloudFront URL，例如："http://d3ptzllcr53x1i.CloudFront.net＂。然後，就可以使用這個URL來訪問對象了。

8. AWS亞馬遜和Aliyun阿里雲、七牛雲的雲主機的區別和優勢是什麼

摘要 AWS的優點：