awss3存儲

Ⅰ 如何快速下s3 amazon aws 中的數據

基本受限於帶寬，可以考慮s3fs，操作方便

Ⅱ 亞馬遜雲計算平台AWS的Glacier和S3有什麼區別

Glacier最大的兩個特點是
1.便宜, 是S3的1/12
2.訪問延時非常高, 訪問一個S3的數據可能耗時100毫秒, 訪問一個Glacier的數據可能耗時3-5小時.

另外,在Glacier中,用戶需要自己維護的文件目錄.

這
是與Glacier的定位相符合的. Glacier是一種cold storage, 可以看做是高級磁帶(但實際上是用定製的磁碟),
AWS的官方文檔介紹的幾種應用場景是: 公司歷史數據保存, 出版物(書, 電影, 音樂, 電視, 新聞)製作過程的素材和中間產物的保存,
科研過程中原始數據的保存.

這幾種應用場景有如下特徵:
數據總量大, 不是以G計算, 而是以T, 甚至P計算.
訪問頻率極低, 大多數文件再也不會訪問了.
對可靠性要求較高, 要求有異地備份, 防止機房故障.

可以看出, Glacier和S3雖然都是存儲服務, 但定位不同, cold storage對訪問速度不敏感, 對價格很敏感, 因此Glacier的價格就很低廉, 而訪問速度則非常慢.

Ⅲ 如何在AWS S3存儲段中設置CloudFront分布

AWS CloudFront是一個用戶用於加速靜態或動態內容發布的內容發布服務，這里所謂的靜態或動態內容主要包括媒體（圖像或視頻）文件、HTML、Java腳本程序、CSS文件以及其它。
作者：文:Ofir Nachmani 譯:滕曉龍來源：TechTarget中國|2015-03-09 10:12
收藏
分享

AWS CloudFront可配合一些其他的服務一起使用，其中就包括了EC2和S3。遵循以下步驟可從一個S3存儲段中設置一個CloudFront分布。
AWS CloudFront是一個用戶用於加速靜態或動態內容發布的內容發布服務，這里所謂的靜態或動態內容主要包括媒體（圖像或視頻）文件、HTML、Java腳本程序、CSS文件以及其它。它的簡潔用戶界面可以幫助管理員設置CloudFront發布。但是，這一過程並不只是指向和點擊那麼簡單。下面，就讓我們來看看CloudFront的工作原理以及應當如何來部署它。
在CloudFront中，每一片的內容都被組織成為具有獨特URL並可從網路被訪問的發布。該服務可從邊緣加速節點數據中心發布這一內容；目前，AWS在全球部署著52個邊緣加速節點數據中心以供內容緩存使用。
AWS CloudFront支持兩種形式的發布：流形式與下載方式。當一名用戶使用CloudFront URL來請求靜態內容時，該服務就會根據發出請求的IP以及緩存這一內容的數據中心的位置來找到距離這個IP最近的邊緣加速節點數據中心。這樣一來，所有來自於相同位置的請求就會減少延遲時間。
CloudFront可配合多個AWS服務使用，其中包括了簡單存儲服務（S3）、彈性計算雲（EC2）、彈性負載平衡（ELB）以及Route 53。CloudFront的主要功能包括：
支持動態內容（減少未來請求的延遲時間）
支持自定義域名
設備檢測（移動設備和網路設備）
支持Post/PUT以及其它的HTTP協議
自定義錯誤響應
支持cookies、查詢字元串以及其它
鏈接一個CloudFront發布至S3
為了從一個S3建立一個CloudFront網路發布，你將需要一個S3存儲和一個可公開訪問的對象（如圖1）。

圖1 S3存儲段以及一個可公開訪問的對象
然後，可遵循以下步驟：
1. 轉至CloudFront並創建一個網路發布

圖2 選擇初始域名存儲段
2. 在初始域名欄位，選擇存儲段名稱，並在限制存儲段訪問中選擇「No」。這樣做可以限制只能從CloudFront訪問對象，所以就沒有人可以從S3訪問這個存儲段了（如圖2）。
3. 使用以下參數配置緩存設置：
路徑模式：默認。針對特定對象應用緩存處理。如果選擇了默認值（*），它就會把所有請求發送到選中的存儲段中。
瀏覽器協議策略：HTTP 和 HTTPS。如果用戶想要求CloudFront允許瀏覽器使用HTTP或HTTPS協議來訪問用戶的網路內容。
允許的HTTP方法：GET，HEAD。選擇用戶希望這一緩存操作所允許的HTTP方法列表。
轉發頭文件：None。如果用戶希望根據請求中發送的頭文件來緩存內容，那麼就可以使用它。理想情況下，保持「None」項是可以提高性能的。
對象緩存：使用初始緩存頭文件。當你的初始伺服器將增加一個緩存控制頭文件以便於控制對象被保存在CloudFront緩存中多長時間時，可選擇這一選項。
轉發cookies：無。如果用戶希望CloudFront在它發送給初始伺服器的請求中囊括所有的用戶cookies，那麼就可以指定「None」。否則，可指定你希望包含在內的cookies。選擇「None」，就可配置CloudFront不要發送cookies。
轉發請求字元串：不。為了根據URL中的請求字元串獲得不同版本的對象；設置「Yes」選項以便於在發送給初始伺服器的請求URL中包含請求字元串。
限制瀏覽器訪問：No。在理想情況下，選擇「yes」以提高安全性。選擇「no」可讓每個人都能夠查看內容。限制瀏覽器訪問意味著要求使用者為安全訪問而創建一個簽名的URL（如圖3）。

圖3 限制瀏覽器訪問
4. 接下來，是設定發布設置
價格類別：使用所有的邊緣加速節點數據中心。這一操作可以讓用戶自行選擇願意為CloudFront服務支付的最高價格。
CNAMEs：空白。這一操作可以允許用戶為對象使用URL而不是CloudFront分配的域名。因此，用戶可以指定一個自定義URL，而不是CloudFront發布。
SSL證書：默認CloudFront。這一項可以讓管理員上傳他們自己的證書。用戶還可以保留其它的選項作為默認值，並創建發布（如圖4）。

Ⅳ 有沒有推薦的類似Amazon S3 的文件存儲方案

amazon (S3) 是一個公開的服務，Web 應用程序開發人員可以使用它存儲數字資產，包括圖片、視頻、音樂和文檔。 S3 提供一個 RESTful API 以編程方式實現與該服務的交互。

Ⅳ AWS S3 怎樣

還是挺不錯的，你可以免費試用一下哦，注冊後，新 AWS 客戶將會得 5 GB 的 Amazon S3 標准存儲、20000 個 Get 請求、2000 個 Put 請求以及一年內每月 15GB 的對外數據傳輸量。

Ⅵ amazon s3是分布式存儲嗎

amazon s3 是亞馬遜提供的一種存儲服務，即你可以將自己的本地數據在遠端雲中存儲，後台必然使用到了分布式存儲，將數據分開存放到不同的服務節點甚至不同的數據中心：1 是為了容量上的擴展，保證能夠存儲的數據量足夠大； 2 是為了容錯，利用副本或者糾刪碼的方法保證一個伺服器或者甚至一個數據中心中的數據丟失，你的數據仍然可以恢復

Ⅶ aws s3 最大支持多大容量

S3 對bucket里放入的Object的數量是沒有限制的。你可以無限制的放東西。
據我了解， 對於每個Object的大小限制是5TB。

Ⅷ 如何使用linux命令行訪問Amazon S3雲存儲

在linux上安裝s3cmd
在Ubuntu或者Debian上安裝s3cm

$ sudo apt-get install s3cmd

在Fedora上安裝s3cmd

$ sudo yum install s3cmd

在CentOS或者RHEL上安裝s3cm

$ s3cmd put –acl-public 4.png s3://dev99

4.png -> s3://dev99/4.png [1 of 1]
30778 of 30778 100% in 8s 3.34 kB/s done

先從官方站點上下載rpm包，然後手工安裝。64位CentOS或RHEL 6，用以下命令：

$ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm

配置s3cmd
第一次運行s3cmd需要運行下面的命令做配置：

$ s3cmd –configure

它將會問你一系列問題：
AWS S3的訪問密鑰和安全密鑰
對AWS S3雙向傳輸的加密密碼和加密數據
為加密數據設定GPG程序的路徑（例如，/usr/bin/gpg）
是否使用https協議
如果使用http代理，設定名字和埠
配置將以保存普通文本格式保存在 ~/.s3cfg.
s3cmd的基本用法
在你的賬戶中列出所有現有的bucket：

$ s3cmd ls

2011-05-28 22:30 s3://mybucket1
2011-05-29 00:14 s3://mybucket2

建立新的bucket:

$ s3cmd mb s3://dev99

Bucket 』s3://dev99/』 created

上傳文件到現有的bucket:

$ s3cmd put 1.png 2.png 3.png s3://dev99

1.png -> s3://dev99/1.png [1 of 3]
26261 of 26261 100% in 5s 4.33 kB/s done
2.png -> s3://dev99/2.png [2 of 3]
201430 of 201430 100% in 2s 98.05 kB/s done
3.png -> s3://dev99/3.png [3 of 3]
46630 of 46630 100% in 0s 56.62 kB/s done

上傳文件的默認訪問許可權是私有的(private)，就是只有你自己可以訪問，使用正確的訪問和安全密碼即可。
上傳公開訪問許可權的文件到現有bucket：

$ s3cmd put --acl-public 4.png s3://dev99

4.png -> s3://dev99/4.png [1 of 1]
30778 of 30778 100% in 8s 3.34 kB/s done
Public URL of the object is: http://dev99.s3.amazonaws.com/4.png

如果上傳的文件授予公開訪問許可權，任何人在瀏覽器中都可以通過http://dev99.s3.amazonaws.com/4.png 訪問。

查看一個現有bucket的內容：

$ s3cmd ls s3://dev99

2013-06-02 02:52 26261 s3://dev99/1.png
2013-06-02 02:52 201430 s3://dev99/2.png
2013-06-02 02:52 46630 s3://dev99/3.png
2013-06-02 02:56 30778 s3://dev99/4.png

下載現有bucket包含的文件（例如所有的.png文件）：

$ s3cmd get s3://dev99/*.png

s3://dev99/1.png -> ./1.png [1 of 4]
26261 of 26261 100% in 0s 39.39 kB/s done
s3://dev99/2.png -> ./2.png [2 of 4]
201430 of 201430 100% in 7s 24.64 kB/s done
s3://dev99/3.png -> ./3.png [3 of 4]
46630 of 46630 100% in 1s 39.34 kB/s done
s3://dev99/4.png -> ./4.png [4 of 4]
30778 of 30778 100% in 0s 97.01 kB/s done

刪除現有bucket中的文件：

$ s3cmd del s3://dev99/*.png

File s3://dev99/1.png deleted
File s3://dev99/2.png deleted
File s3://dev99/3.png deleted
File s3://dev99/4.png deleted

獲取現有bucket的信息，包括存儲位置和訪問控制列表(ACL):

$ s3cmd info s3://dev99

s3://dev99/ (bucket):
Location: us-east-1
ACL: dan.nanni: READ
ACL: dan.nanni: WRITE
ACL: dan.nanni: READ_ACP
ACL: dan.nanni: WRITE_ACP

在上傳到現有的bucket之前，加密文件：

$ s3cmd -e put encrypt.png s3://dev99

/tmp/tmpfile-pzT1zV3kLZlxDwqA0kwy -> s3://dev99/encrypt.png [1 of 1]
196890 of 196890 100% in 1s 99.51 kB/s done

當用s3cmd下載一個加密過的文件時，它會自動檢測加密並在下載過程解密，因此下載和訪問加密文件時，就像通常所做的一樣：

$ s3cmd get s3://dev99/encrypt.png

s3://dev99/encrypt.png -> ./encrypt.png [1 of 1]
196890 of 196890 100% in 1s 131.29 kB/s done

刪除現有的bucket:

$ s3cmd rb s3://dev99

Bucket 』s3://dev99/』 removed

注意，你不能刪除一個非空的bucket.

Ⅸ AMAZON S3 和 AMAZON cloud drive 有什麼區別

Amazon S3是針對企業的，使得企業可以按需付費，可以在上面開發自己的應用，不用自己買設備。
Amazon Cloud Drive是針對普通用戶的數據存儲產品。
可以認為Cloud Drive是在S3平台上的一個上層應用。

Ⅹ AWS雲在Amazon ec2 部署一個網站,能把上傳到網站的文件自動存儲到Amazon s3中嗎

可以實現。

給EC2設置Role或程序中設置對S3有讀寫許可權的密鑰。

至於網站的自動上傳則建議參照官方的AWS開發者工具文檔。

網頁鏈接