s3存儲
㈠ IBMS3咋樣
與傳統存儲模型相比,S3 的隨需付費模型有很多明顯的優勢。例如,在自己的硬碟上存儲音樂收藏,我必須預先花 130 美元購買一個 500GB 的存儲單元。我沒有 500GB 的數據可以存儲,因此我為自己不需要的空間花費了 25 美分 /GB(雖然很便宜)。我還需要維護設備並支付電費。如果我使用 Amazon,我不需要預先為不重要的資產支付 130 美元。我只需要支付 10 美分 /GB,無需為管理和維護存儲硬體付費。現在想想在整個企業范圍內實現這些服務的好處。以 Twitter 為例,在 S3 上為 100 萬個用戶帳戶存儲圖片。通過按照使用付費的方式,Twitter 不需要花費大量資金購買硬體基礎設施來存儲和提供圖片服務,也不需要支出人力和部件成本來配置和維護圖片。
雲的好處還不止這些。您還可以實現低延遲和高可用性。假設存儲在 Amazon 雲中的資產遍布全世界,那麼為各個位置提供內容的速度將會更快。更重要的是,由於您的資產分布在各種機器上,您的數據在一些機器(或部分網路)癱瘓時也能保持高可用性。
一言以蔽之,Amazon S3 的好處很簡單:低成本、高可用性、安全。除非您是一個 SAN 專家,喜歡維護硬體資產來存儲數據內容,但是 Amazon 可能比您做的更好。
在Ubuntu或者Debian上安裝s3cm
$ sudo apt-get install s3cmd
在Fedora上安裝s3cmd
$ sudo yum install s3cmd
在CentOS或者RHEL上安裝s3cm
$ s3cmd put –acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done
先從官方站點上下載rpm包,然後手工安裝。64位CentOS或RHEL 6,用以下命令:
$ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm
配置s3cmd
第一次運行s3cmd需要運行下面的命令做配置:
$ s3cmd –configure
它將會問你一系列問題:
AWS S3的訪問密鑰和安全密鑰
對AWS S3雙向傳輸的加密密碼和加密數據
為加密數據設定GPG程序的路徑(例如,/usr/bin/gpg)
是否使用https協議
如果使用http代理,設定名字和埠
配置將以保存普通文本格式保存在 ~/.s3cfg.
㈢ 如何將MySQL數據直接上傳到S3變成文件
拆分文件後,可將它們上傳到存儲桶。在載入文件之前,您可以選擇壓縮或加密文件。
創建一個用於存儲數據文件的 Amazon S3 存儲桶,然後將數據文件上傳到該存儲桶。有關創建存儲桶和上傳文件的信息,請參閱 Amazon Simple Storage Service 開發人員指南 中的使用 Amazon S3 存儲桶。
Amazon S3 為某些操作提供最終一致性,因此新數據在上傳後可能不會立即可用。有關更多信息,請參閱管理數據一致性
重要
存儲數據文件的 Amazon S3 存儲桶必須在與集群相同的區域中創建,除非您使用 REGION 選項指定 Amazon S3 存儲桶所在的區域。
您可以通過以下方式在某個特定區域中創建 Amazon S3 存儲桶:在使用 Amazon S3 控制台創建存儲桶時選擇該區域,或在使用 Amazon S3 API
或 CLI 創建存儲桶時指定終端節點。
數據載入後,確認 Amazon S3 上出現了正確的文件。
㈣ 如何在AWS S3存儲段中設置CloudFront分布
AWS CloudFront是一個用戶用於加速靜態或動態內容發布的內容發布服務,這里所謂的靜態或動態內容主要包括媒體(圖像或視頻)文件、HTML、Java腳本程序、CSS文件以及其它。
作者:文:Ofir Nachmani 譯:滕曉龍來源:TechTarget中國|2015-03-09 10:12
收藏
分享
AWS CloudFront可配合一些其他的服務一起使用,其中就包括了EC2和S3。遵循以下步驟可從一個S3存儲段中設置一個CloudFront分布。
AWS CloudFront是一個用戶用於加速靜態或動態內容發布的內容發布服務,這里所謂的靜態或動態內容主要包括媒體(圖像或視頻)文件、HTML、Java腳本程序、CSS文件以及其它。它的簡潔用戶界面可以幫助管理員設置CloudFront發布。但是,這一過程並不只是指向和點擊那麼簡單。下面,就讓我們來看看CloudFront的工作原理以及應當如何來部署它。
在CloudFront中,每一片的內容都被組織成為具有獨特URL並可從網路被訪問的發布。該服務可從邊緣加速節點數據中心發布這一內容;目前,AWS在全球部署著52個邊緣加速節點數據中心以供內容緩存使用。
AWS CloudFront支持兩種形式的發布:流形式與下載方式。當一名用戶使用CloudFront URL來請求靜態內容時,該服務就會根據發出請求的IP以及緩存這一內容的數據中心的位置來找到距離這個IP最近的邊緣加速節點數據中心。這樣一來,所有來自於相同位置的請求就會減少延遲時間。
CloudFront可配合多個AWS服務使用,其中包括了簡單存儲服務(S3)、彈性計算雲(EC2)、彈性負載平衡(ELB)以及Route 53。CloudFront的主要功能包括:
支持動態內容(減少未來請求的延遲時間)
支持自定義域名
設備檢測(移動設備和網路設備)
支持Post/PUT以及其它的HTTP協議
自定義錯誤響應
支持cookies、查詢字元串以及其它
鏈接一個CloudFront發布至S3
為了從一個S3建立一個CloudFront網路發布,你將需要一個S3存儲和一個可公開訪問的對象(如圖1)。
圖1 S3存儲段以及一個可公開訪問的對象
然後,可遵循以下步驟:
1. 轉至CloudFront並創建一個網路發布
圖2 選擇初始域名存儲段
2. 在初始域名欄位,選擇存儲段名稱,並在限制存儲段訪問中選擇「No」。這樣做可以限制只能從CloudFront訪問對象,所以就沒有人可以從S3訪問這個存儲段了(如圖2)。
3. 使用以下參數配置緩存設置:
路徑模式:默認。針對特定對象應用緩存處理。如果選擇了默認值(*),它就會把所有請求發送到選中的存儲段中。
瀏覽器協議策略:HTTP 和 HTTPS。如果用戶想要求CloudFront允許瀏覽器使用HTTP或HTTPS協議來訪問用戶的網路內容。
允許的HTTP方法:GET,HEAD。選擇用戶希望這一緩存操作所允許的HTTP方法列表。
轉發頭文件:None。如果用戶希望根據請求中發送的頭文件來緩存內容,那麼就可以使用它。理想情況下,保持「None」項是可以提高性能的。
對象緩存:使用初始緩存頭文件。當你的初始伺服器將增加一個緩存控制頭文件以便於控制對象被保存在CloudFront緩存中多長時間時,可選擇這一選項。
轉發cookies:無。如果用戶希望CloudFront在它發送給初始伺服器的請求中囊括所有的用戶cookies,那麼就可以指定「None」。否則,可指定你希望包含在內的cookies。選擇「None」,就可配置CloudFront不要發送cookies。
轉發請求字元串:不。為了根據URL中的請求字元串獲得不同版本的對象;設置「Yes」選項以便於在發送給初始伺服器的請求URL中包含請求字元串。
限制瀏覽器訪問:No。在理想情況下,選擇「yes」以提高安全性。選擇「no」可讓每個人都能夠查看內容。限制瀏覽器訪問意味著要求使用者為安全訪問而創建一個簽名的URL(如圖3)。
圖3 限制瀏覽器訪問
4. 接下來,是設定發布設置
價格類別:使用所有的邊緣加速節點數據中心。這一操作可以讓用戶自行選擇願意為CloudFront服務支付的最高價格。
CNAMEs:空白。這一操作可以允許用戶為對象使用URL而不是CloudFront分配的域名。因此,用戶可以指定一個自定義URL,而不是CloudFront發布。
SSL證書:默認CloudFront。這一項可以讓管理員上傳他們自己的證書。用戶還可以保留其它的選項作為默認值,並創建發布(如圖4)。
圖4默認的CloudFront設置。
一旦創建了發布,那麼你將有一個CloudFront URL,例如:"http://d3ptzllcr53x1i.CloudFront.net"。然後,就可以使用這個URL來訪問對象了。
㈤ amazon s3是分布式存儲嗎
amazon s3 是亞馬遜提供的一種存儲服務,即你可以將自己的本地數據在遠端雲中存儲,後台必然使用到了分布式存儲,將數據分開存放到不同的服務節點甚至不同的數據中心:1 是為了容量上的擴展,保證能夠存儲的數據量足夠大; 2 是為了容錯,利用副本或者糾刪碼的方法保證一個伺服器或者甚至一個數據中心中的數據丟失,你的數據仍然可以恢復
㈥ 如何使用Linux命令行訪問Amazon S3雲存儲
在Ubuntu或者Debian上安裝s3cm
$ sudo apt-get install s3cmd
在Fedora上安裝s3cmd
$ sudo yum install s3cmd
在CentOS或者RHEL上安裝s3cm
$ s3cmd put –acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done
先從官方站點上下載rpm包,然後手工安裝。64位CentOS或RHEL 6,用以下命令:
$ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm
配置s3cmd
第一次運行s3cmd需要運行下面的命令做配置:
$ s3cmd –configure
它將會問你一系列問題:
AWS S3的訪問密鑰和安全密鑰
對AWS S3雙向傳輸的加密密碼和加密數據
為加密數據設定GPG程序的路徑(例如,/usr/bin/gpg)
是否使用https協議
如果使用http代理,設定名字和埠
配置將以保存普通文本格式保存在 ~/.s3cfg.
s3cmd的基本用法
在你的賬戶中列出所有現有的bucket:
$ s3cmd ls 2011-05-28 22:30 s3://mybucket1 2011-05-29 00:14 s3://mybucket2
建立新的bucket:
$ s3cmd mb s3://dev99 Bucket 』s3://dev99/』 created
上傳文件到現有的bucket:
$ s3cmd put 1.png 2.png 3.png s3://dev99 1.png -> s3://dev99/1.png [1 of 3] 26261 of 26261 100% in 5s 4.33 kB/s done 2.png -> s3://dev99/2.png [2 of 3] 201430 of 201430 100% in 2s 98.05 kB/s done 3.png -> s3://dev99/3.png [3 of 3] 46630 of 46630 100% in 0s 56.62 kB/s done
上傳文件的默認訪問許可權是私有的(private),就是只有你自己可以訪問,使用正確的訪問和安全密碼即可。
上傳公開訪問許可權的文件到現有bucket:
$ s3cmd put --acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done Public URL of the object is
如果上傳的文件授予公開訪問許可權,任何人在瀏覽器中都可以通過
查看一個現有bucket的內容:
$ s3cmd ls s3://dev99 2013-06-02 02:52 26261 s3://dev99/1.png 2013-06-02 02:52 201430 s3://dev99/2.png 2013-06-02 02:52 46630 s3://dev99/3.png 2013-06-02 02:56 30778 s3://dev99/4.png
下載現有bucket包含的文件(例如所有的.png文件):
$ s3cmd get s3://dev99/*.png s3://dev99/1.png -> ./1.png [1 of 4] 26261 of 26261 100% in 0s 39.39 kB/s done s3://dev99/2.png -> ./2.png [2 of 4] 201430 of 201430 100% in 7s 24.64 kB/s done s3://dev99/3.png -> ./3.png [3 of 4] 46630 of 46630 100% in 1s 39.34 kB/s done s3://dev99/4.png -> ./4.png [4 of 4] 30778 of 30778 100% in 0s 97.01 kB/s done
刪除現有bucket中的文件:
$ s3cmd del s3://dev99/*.png File s3://dev99/1.png deleted File s3://dev99/2.png deleted File s3://dev99/3.png deleted File s3://dev99/4.png deleted
獲取現有bucket的信息,包括存儲位置和訪問控制列表(ACL):
$ s3cmd info s3://dev99 s3://dev99/ (bucket): Location: us-east-1 ACL: dan.nanni: READ ACL: dan.nanni: WRITE ACL: dan.nanni: READ_ACP ACL: dan.nanni: WRITE_ACP
在上傳到現有的bucket之前,加密文件:
$ s3cmd -e put encrypt.png s3://dev99 /tmp/tmpfile-pzT1zV3kLZlxDwqA0kwy -> s3://dev99/encrypt.png [1 of 1] 196890 of 196890 100% in 1s 99.51 kB/s done
當用s3cmd下載一個加密過的文件時,它會自動檢測加密並在下載過程解密,因此下載和訪問加密文件時,就像通常所做的一樣:
$ s3cmd get s3://dev99/encrypt.png s3://dev99/encrypt.png -> ./encrypt.png [1 of 1] 196890 of 196890 100% in 1s 131.29 kB/s done
刪除現有的bucket:
$ s3cmd rb s3://dev99 Bucket 』s3://dev99/』 removed
注意,你不能刪除一個非空的bucket。
㈦ 怎樣用linux命令行訪問AmazonS3雲存儲
在Ubuntu或者Debian上安裝s3cm $ sudo apt-get install s3cmd 在Fedora上安裝s3cmd $ sudo yum install s3cmd 在CentOS或者RHEL上安裝s3cm $ s3cmd put –acl-public 4.png s3://dev99 4.png -> s3://dev99/4.png [1 of 1] 30778 of 30778 100% in 8s 3.34 kB/s done 先從官方站點上下載rpm包,然後手工安裝。64位CentOS或RHEL 6,用以下命令: $ sudo rpm -ivh s3cmd-1.0.0-4.1.x86_64.rpm 配置s3cmd 第一次運行s3cmd需要運行下面的命令做配置: $ s3cmd –configure 它將會問你一系列問題: AWS S3的訪問密鑰和安全密鑰 對AWS S3雙向傳輸的加密密碼和加密數據 為加密數據設定GPG程序的路徑(例如,/usr/bin/gpg)
㈧ 國內兼容AWS S3介面的雲儲存有哪些
華為oceanstor9000 s3對象存儲
㈨ 簡單存儲服務s3與傳統的文件系統有哪些區別
企業用戶的話,推薦南京雲創存儲科技有限公司的cStor雲存儲服務! 和傳統存儲相比,cStor雲存儲系統具有如下優勢: 優異性能 支持高並發、帶寬飽和利用。cStor雲存儲系統將控制流和數據流分離,數據訪問時多個存儲伺服器同時對外提供服務,實現高並發訪問。自動均衡負載,將不同客戶端的訪問負載均衡到不同的存儲伺服器上。系統性能隨節點規模的增加呈線性增長。系統的規模越大,雲存儲系統的優勢越明顯, 沒有性能瓶頸。 高度可靠 針對小文件採用多個數據塊副本的方式實現冗餘可靠,數據在不同的存儲節點上具有多個塊副本,任意節點發生故障,系統將自動復制數據塊副本到新的存儲節點上,數據不丟失,實現數據完整可靠; 針對大文件採用超安存(S3)編解碼演算法的方式實現高度可靠,任意同時損壞多個存儲節點,數據可通過超安存演算法解碼自動恢復。該特性可適用於對數據安全級別極高的場合,同時相對於副本冗餘的可靠性實現方式大大提高了磁碟空間利用率,不到40%的磁碟冗餘即可實現任意同時損壞三個存儲節點而不丟失數據。 元數據管理節點採用雙機鏡像熱備份的高可用方式容錯,其中一台伺服器故障,可無縫自動切換到另一台伺服器,服務不間斷。整個系統無單點故障,硬體故障自動屏蔽。 在線伸縮 可以在不停止服務的情況下,動態加入新的存儲節點,無需任何操作,即可實現系統容量從TB級向PB級平滑擴展;也可以摘下任意節點,系統自動縮小規模而不丟失數據,並自動將再下的節點上的數據備份到其他節點上,保證整個系統數據的冗餘數。 超大規模 支持超大規模集群,理論容量為1024×1024×1024PB。 簡單通用 支持POSIX介面規范,支持Windows/Linux/Mac OS X,用戶當成海量磁碟使用,無需修改應用。同時系統也對外提供專用的API訪問介面。 智能管理 一鍵式安裝,智能化自適應管理,簡單方便的監控界面,無需學習即可使用。 cStor雲存儲系統所有管理工作由雲存儲系統管理監控中心完成,使用人員無需任何專業知識便可以輕松地管理整個系統。通過專業的分布式集群監控子系統對cStor所有節點實行無間斷監控,用戶通過界面可以清楚地了解到每一個節點的運行情況。
㈩ 如何將手機(三星S3)儲存里的照片移到SD卡上
一、若要將手機上的多媒體文件(音樂、視頻、照片等)存到到外置SD卡里,請按照以下步驟進行操作:1.在待機界面下,點擊【應用程序】圖標。2.點擊【文件管理】圖標。3.點擊【全部】文件夾。4.點擊【Device storage】,選擇需要移動的文件移動到SD卡的文件夾(這里以「DCIM」文件夾中圖片為例)。5.點擊【菜單】鍵,然後選擇【選擇項目】6.勾選好需要移動的文件,點擊【菜單】鍵,選擇【移動】。7.點擊外置SD卡【SD memory card】文件夾。8.選擇一個要移動的位置,然後點擊【移動到此處】即可。二、若要將安裝的應用程序文件移至到外置SD卡上(具體某個軟體能否移動取決於軟體本身),具體步驟:設定-應用程序管理器-已下載-(選擇打開需要移動到外置SD卡上的程序)-SD卡數據-移動到SD卡, 即可!