國外對象存儲

1. 阿里雲oss對象存儲怎麼收費

包括存儲包，下行流量包，回源流量包等等。

地域有全國通用包，國外各個地方的包。

包的大小從40G~500TB不等。

市場有半年和1年。

為了加深理解，請看阿里雲對象存儲OSS 簡單使用的內容是一步步如何選擇、使用的詳細步驟，供你參考。

還有問題請追問，看到就回答

2. 圖床或者第三方圖片外鏈對SEO的影響，有利還是不利，影響多大

圖床一般有國內和國外之分，國外的圖床由於有空間距離等因素決定訪問速度很慢影響圖片顯示速度。國內也分為單線空間、多線空間和cdn加速三種。
如果用上cdn加速訪問圖片及更快了，cdn加速的原則是「就近訪問」如您在北京您的帶寬是網通，cdn系統將會讓您訪問到北京網通的伺服器。目前我國河南以北地區以網通為主，以南地區以電信為主，學校以教育網為主，三個網路都擁有大量的顧客群體。

看你主攻哪個區域了。

CDN的全稱是Content Delivery Network，即內容分發網路。其目的是通過在現有的Internet中增加一層新的網路架構，將網站的內容發布到最接近用戶的網路「邊緣」，使用戶可以就近取得所需的內容，提高用戶訪問網站的響應速度。CDN有別於鏡像，因為它比鏡像更智能，或者可以做這樣一個比喻：CDN=更智能的鏡像+緩存+流量導流。因而，CDN可以明顯提高Internet網路中信息流動的效率。從技術上全面解決由於網路帶寬小、用戶訪問量大、網點分布不均等問題，提高用戶訪問網站的響應速度。
為更好地理解CDN，讓我們看一下CDN的工作流程。當用戶訪問已經加入CDN服務的網站時，首先通過DNS重定向技術確定最接近用戶的最佳CDN節點，同時將用戶的請求指向該節點。當用戶的請求到達指定節點時，CDN的伺服器（節點上的高速緩存）負責將用戶請求的內容提供給用戶。具體流程為: 用戶在自己的瀏覽器中輸入要訪問的網站的域名，瀏覽器向本地DNS請求對該域名的解析，本地DNS將請求發到網站的主DNS，主DNS根據一系列的策略確定當時最適當的CDN節點，並將解析的結果（IP地址）發給用戶，用戶向給定的CDN節點請求相——應網站的內容。

純摳 網路 哈哈

3. 常用的關系型資料庫有哪些

Nosql的全稱是Not Only Sql，這個概念很早就有人提出。Nosql指的是非關系型資料庫，而我們常用的都是關系型資料庫。就像我們常用的mysql，oralce、sqlserver等一樣，這些資料庫一般用來存儲重要信息，應對普通的業務是沒有問題的。但是，隨著互聯網的高速發展，傳統的關系型資料庫在應付超大規模，超大流量以及高並發的時候力不從心。而就在這個時候，Nosql應運而生。

上面說的是NOSQL 的定義.Nosql和關系型資料庫的區別,這里我說明一比較重要的區別。

存儲格式： 關系型資料庫是表格式的，存儲在表的行和列中。他們之間很容易關聯協作存儲，提取數據很方便。而Nosql資料庫則與其相反，他是組合在一起。通常存儲在數據集中，就像文檔、鍵值對或者圖結構。舉個例子，例如在游戲裡面玩家的背包數據，我們都知道一個游戲裡面的道具是很多，而且不確定玩家什麼時候獲取什麼道具，這個時候如果想在關系資料庫裡面存儲數據，這個表怎麼建立就是一個很大的問題，如果你把所有的道具ID 當做表頭 ，那麼後續每增加一個道具，就需要修改這張表。如果你的表結構是 ：

用戶ID|道具ID|道具數量|道具特殊屬性
那麼可以想像一下 這張表隨著用戶的增多會變的多麼的龐大。所以這個時候我們就需要一個能直接像操作玩家對象一樣的資料庫，這里比較代表性的就是mongo ，通過這個我們就可以看出nosql 資料庫更適合存儲結構不確定的數據。

存儲擴展：這可能是兩者之間最大的區別，關系型資料庫是縱向擴展，也就是說想要提高處理能力，要使用速度更快的計算機。因為數據存儲在關系表中，操作的性能瓶頸可能涉及到多個表，需要通過提升計算機性能來克服。雖然有很大的擴展空間，但是最終會達到縱向擴展的上限。而Nosql資料庫是橫向擴展的，它的存儲天然就是分布式的，可以通過給資源池添加更多的普通資料庫伺服器來分擔負載。

上面的的例子已經說明了這個問題。在現代互聯網時代大家都是希望能橫線擴展服務。這樣付出的代價是最小的。

對於上面關系型資料庫和NOSQL 資料庫的區別其實還有很多。我相信大家在用的都會感覺到。上面列出的只是我感覺區別最大的。

那麼NOSQL 這么好用，是不是都可以用了呢，顯示不是這樣，NOSQL 對於聚合查詢顯示不是他的強項。這個時候就需要關系型資料庫。我是這樣建議，對於結構統一，應該存儲於關系型資料庫，對於結構不統一的可以存儲到NOSQL資料庫例如mongo 。但是這個不是絕對的，在實際的項目的開發過程中，需要根據的自己的業務，仔細揣摩一下，做好最合適的劃分。

常見關系型資料庫通常有SQL Server，Mysql，Oracle等。主流的Nosql資料庫有Redis，Memcache，MongoDb。大多數的關系型資料庫都是付費的並且價格昂貴，成本較大，而Nosql資料庫通常都是開源的。在互聯網行業用大多也是免費的MYSQL（這里偷笑一下）。

在實際的項目中大家的項目都是如何選擇的呢？大家可以關注我,私信或者在評論區留言。

4. paas是什麼

PaaS是（Platform as a Service）的縮寫，是指平台即服務。把伺服器平台作為一種服務提供的商業模式，通過網路進行程序提供的服務稱之為SaaS（Software as a Service），是雲計算三種服務模式之一，而雲計算時代相應的伺服器平台或者開發環境作為服務進行提供就成為了PaaS（Platform as a Service）。

所謂PaaS實際上是指將軟體研發的平台作為一種服務，以SaaS的模式提交給用戶。因此，PaaS也是SaaS模式的一種應用。但是，PaaS的出現可以加快SaaS的發展，尤其是加快SaaS應用的開發速度。在2007年國內外SaaS廠商先後推出自己的PAAS平台。

作用

PaaS之所以能夠推進SaaS的發展，主要在於它能夠提供企業進行定製化研發的中間件平台，同時涵蓋資料庫和應用伺服器等。PaaS可以提高在Web平台上利用的資源數量。例如，可通過遠程Web服務使用數據即服務（Data-as-a-Service：數據即服務），還可以使用可視化的API，甚至像800app的PaaS平台還允許混合並匹配適合應用的其他平台。

用戶或者廠商基於PaaS平台可以快速開發自己所需要的應用和產品。同時，PaaS平台開發的應用能更好地搭建基於SOA架構的企業應用。

5. 請問現時最大容量的免費網路硬碟有那些 要永久保存和最限制少的, 謝謝.

什麼限制都沒有是不會的，那樣網盤服務商又無法盈利，又冒著資源大量消耗的風險，所以各種網盤產品多少都有些限制。

一般不會限定文件格式，尤其對象存儲與格式無關。上傳下載速度一般與網盤是否採用CDN加速有關系，當然更多時候跟網路環境、中國南北區域有很大關系。時間限制，只出現在增值網盤服務上，譬如迅雷、QQ旋風離線下載提供的臨時存儲空間。

大部分網盤產品體驗效果都差不多，所以提供幾個國內比較成熟的供你考慮：
華為網盤，即Dbank，上傳下載速度很快，尤其在南方/辦公網路，而且站內搜索資源沒什麼限制，但空間容量較小，而升級成收費產品又需花費大量銀子；
115網盤，老牌產品，上傳下載速度一般，但資源較多；
天翼雲存儲，15G初始空間，只要有手機就能注冊使用，租用了CDN，上傳下載在南北方的網路都有保障。

以上網盤產品都有上傳文件大小限制，一般是2G，想保存大數據有些困難。

現在還可以考慮網路網盤，容量雖小（5G），但支持4G大文件上傳，速度也不錯，資源不少。

不建議採用國外網盤，雖然用戶體驗不錯，但容易被牆，而且速度無保障。不過有些可以進行站外共享。

6. 國內有哪些軟體定義存儲廠商

華為雲、深圳元核雲等。

7. 知名的數據存儲設備，哪家最好

網路存儲（Network Storage）是數據存儲的一種方式，網路存儲結構大致分為三種：直連式存儲（DAS：Direct Attached Storage）、網路附加存儲（NAS：Network Attached Storage）和存儲區域網（SAN：Storage Area Network）。由於NAS對於普通消費者而言較為熟悉，所以一般網路存儲都指NAS

8. XSKY星辰天合存儲解決方案構建自動駕駛高效數據平台

隨著自動駕駛技術的持續進步，國內的試點運營區域已遍地開花，但距離自動駕駛的真正全面普及，還需要解決諸多問題。其中自動駕駛決策系統的成熟度是非常關鍵的問題之一。

自動駕駛決策系統的成熟，需要依賴從道路測試中持續採集足夠全面的數據，用於 AI 訓練系統中的模型訓練、演算法優化和模擬模擬，提升在復雜場景下的應對能力，加速實現 L4 級的運營能力。

而構建一個高效的自動駕駛AI訓練系統，除了先進的演算法和GPU算力之外，承載海量數據並與應用對接的數據平台，同樣重要。

這里從介紹自動駕駛 AI 訓練場景的工作流，以及其對數據平台的要求來闡述 XSKY 星辰天合存儲解決方案如何幫助和服務於自動駕駛企業用戶。

1、自動駕駛AI 學習場景工作流程

自動駕駛AI訓練，承擔著數據加工和轉化任務，工作流程包括數據的上傳，預處理，篩選，標注，清洗，訓練等多個環節。這些步驟中，會涉及到對海量數據的匯聚存儲，預處理（解密，抽幀，去畸變等），數據在不同存儲系統間的高速流轉，與第三方標注平台對接時的許可權控制，以及異地多中心間的數據傳輸。

平滑兼容主流業務架構

很多自動駕駛行業客戶的基礎架構，是從公有雲模式轉變為混合雲模式的。使用公有雲時其自動駕駛AI訓練的Workflow大多是圍繞「對象存儲+高性能文件存儲」的存儲組合來構建，實現業務應用的自動化編排；

轉變為混合雲模式後，XSKY 星辰天合承載的私有化數據平台，核心內容同樣為對象存儲+高性能文件存儲，避免對用戶Workfow的變更，從而降低開發側的重復投入。

滿足業務場景的存儲可用性

存儲的可用性體現在靈活擴容、數據規模無上限、易於運維、跨平台能力，以及滿足業務應用對存儲性能的要求上。

靈活擴容，XSKY 星辰天合存儲可支持按節點擴容和按集群擴容多模式；

易於運維，XSKY 星辰天合後台管理系統提供可視化界面，細粒度的告警模塊，以及節點和數據的全面監控能力；

跨平台能力，XSKY 星辰天合對象管理平台(XEOS)支持與國內外多家主流公有雲存儲的對接，滿足數據平滑流動的要求。XSKY 星辰天合數據理系統(X3DS）支持在異構平台中復制、遷移數據（如對用戶存量數據的可靠遷移）；

性能方面，尤其是數據訓練階段小文件「讀多寫少」的場景下，對存儲的吞吐和時延有高要求，XSKY 星辰天合可通過XGFS分布式文件存儲，或是XINFINI星飛全快閃記憶體儲一體機提供支持，不僅可滿足GPU對數據抽取的嚴苛性能要求，同時由於XGFS和XINFINI是國內首款可支持QLC的分布式存儲，能充分利用QLC的讀寫特徵和成本優勢，大幅降低用戶部署成本。

多項針對場景的優化，提升訓練效率

對象存儲List性能優化，通過過濾及排序動作下沉、提高並發度等手段，減少傳輸和匯總開銷，提升數據抽取的效率，以及高負載時集群的穩定性；

XGFS分布式文件存儲及全NVMe的XINFINI存儲一體機，可分別通過軟體交付或一體機交付的形式，為GPU訓練環節提供高性能文件存儲能力；

另外，還有即將到來的獨立元數據查詢服務、開放內容處理框架等大量新功能，可以提升數據預處理和數據篩選環節的業務效率。

海量數據存儲的成本優化

XSKY 星辰天合存儲具備數據全生命周期數據管理能力，其中存儲分級+數據壓縮功能可對數據進行多層存儲，根據數據的熱溫冷，可自定義在多個池中自由流轉。另外，高密節點，藍光磁存儲一體機，磁帶歸檔等多種存儲形態，可大幅優化用戶存儲成本。

4、面向場景XSKY星辰天合持續進化

在自動駕駛領域中，存儲平台對訓練效率的保證和海量存儲的成本優化，將是長期主題。XSKY 星辰天合將持續投入，不斷推出適用於該場景的新能力，幫助自動駕駛企業用戶更高效的釋放數據價值。

9. 國內外的Hadoop應用現狀

文 | 翟周偉
本文節選自《Hadoop核心技術》一書。
Hadoop是一個開源的高效雲計算基礎架構平台，其不僅僅在雲計算領域用途廣泛，還可以支撐搜索引擎服務，作為搜索引擎底層的基礎架構系統，同時在海量數據處理、數據挖掘、機器學習、科學計算等領域都越來越受到青睞。本文將講述國內外的hadoop應用現狀。
國外Hadoop的應用現狀
1.Yahoo
Yahoo是Hadoop的最大支持者，截至2012年，Yahoo的Hadoop機器總節點數目超過42?000個，有超過10萬的核心CPU在運行Hadoop。最大的一個單Master節點集群有4500個節點(每個節點雙路4核心CPUboxesw，4×1TB磁碟，16GBRAM)。總的集群存儲容量大於350PB，每月提交的作業數目超過1000萬個，在Pig中超過60%的Hadoop作業是使用Pig編寫提交的。
Yahoo的Hadoop應用主要包括以下幾個方面：
支持廣告系統
用戶行為分析
支持Web搜索
反垃圾郵件系統
會員反濫用
內容敏捷
個性化推薦
同時Pig研究並測試支持超大規模節點集群的Hadoop系統。
2.Facebook
Facebook使用Hadoop存儲內部日誌與多維數據，並以此作為報告、分析和機器學習的數據源。目前Hadoop集群的機器節點超過1400台，共計11?200個核心CPU，超過15PB原始存儲容量，每個商用機器節點配置了8核CPU，12TB數據存儲，主要使用StreamingAPI和JavaAPI編程介面。Facebook同時在Hadoop基礎上建立了一個名為Hive的高級數據倉庫框架，Hive已經正式成為基於Hadoop的Apache一級項目。此外，還開發了HDFS上的FUSE實現。
3.A9.com
A9.com為Amazon使用Hadoop構建了商品搜索索引，主要使用StreamingAPI以及C++、Perl和Python工具，同時使用Java和StreamingAPI分析處理每日數以百萬計的會話。A9.com為Amazon構建的索引服務運行在100節點左右的Hadoop集群上。
4.Adobe
Adobe主要使用Hadoop及HBase，同於支撐社會服務計算，以及結構化的數據存儲和處理。大約有超過30個節點的Hadoop-HBase生產集群。Adobe將數據直接持續地存儲在HBase中，並以HBase作為數據源運行MapRece作業處理，然後將其運行結果直接存到HBase或外部系統。Adobe在2008年10月就已經將Hadoop和HBase應用於生產集群。
5.CbIR
自2008年4月以來，日本的CbIR(Content-basedInformationRetrieval)公司在AmazonEC2上使用Hadoop來構建圖像處理環境，用於圖像產品推薦系統。使用Hadoop環境生成源資料庫，便於Web應用對其快速訪問，同時使用Hadoop分析用戶行為的相似性。
6.Datagraph
Datagraph主要使用Hadoop批量處理大量的RDF數據集，尤其是利用Hadoop對RDF數據建立索引。Datagraph也使用Hadoop為客戶執行長時間運行的離線SPARQL查詢。Datagraph是使用AmazonS3和Cassandra存儲RDF數據輸入和輸出文件的，並已經開發了一個基於MapRece處理RDF數據的Ruby框架——RDFgrid。
Datagraph主要使用Ruby、RDF.rb以及自己開發的RDFgrid框架來處理RDF數據，主要使用HadoopStreaming介面。
7.EBay
單集群超過532節點集群，單節點8核心CPU，容量超過5.3PB存儲。大量使用的MapRece的Java介面、Pig、Hive來處理大規模的數據，還使用HBase進行搜索優化和研究。
8.IBM
IBM藍雲也利用Hadoop來構建雲基礎設施。IBM藍雲使用的技術包括：Xen和PowerVM虛擬化的linux操作系統映像及Hadoop並行工作量調度，並發布了自己的Hadoop發行版及大數據解決方案。
9.Last.Fm
Last.Fm主要用於圖表計算、專利申報、日誌分析、A/B測試、數據集合並等，也使用Hadoop對超過百萬的曲目進行大規模的音頻特徵分析。
節點超過100台機器，集群節點配置雙四核[email protected]@2.13GHz，24GB內存，8TB(4×2TB)存儲。
10.LinkedIn
LinkedIn有多種硬體配置的Hadoop集群，主要集群配置如下：
800節點集群，基於Westmere的惠普SL170X與2×4的核心，24GB內存，6×2TBSATA。
1900節點集群，基於Westmere的超微-HX8DTT，與2×6的核心，24GB內存，6×2TBSATA。
1400節點集群，基於SandyBridge超微與2×6的核心，32GB內存，6×2TBSATA。
使用的軟體如下：
操作系統使用RHEL6.3。
JDK使用SUNJDK1.6.0_32。
Apache的Hadoop0.20.2的補丁和ApacheHadoop的1.0.4補丁。
Azkaban和Azkaban用於作業調度。
Hive、Avro、Kafka等。
11.MobileAnalytic.TV
主要使用Hadoop應用在並行化演算法領域，涉及的MapRece應用演算法如下。
信息檢索和分析。
機器生成的內容——文檔、文本、音頻、視頻。
自然語言處理。
項目組合包括：
移動社交網路。
網路爬蟲。
文本到語音轉化。
音頻和視頻自動生成。
12.Openstat
主要利用Hadoop定製一個網路日誌分析並生成報告，其生產環境下超過50個節點集群(雙路四核Xeon處理器，16GB的RAM，4～6硬碟驅動器)，還有兩個相對小的集群用於個性化分析，每天處理約500萬的事件，每月15億美元的交易數據，集群每天產生大約25GB的報告。
使用的技術主要包括：CDH、Cascading、Janino。
13.Quantcast
3000個CPU核心，3500TB存儲，每日處理1PB以上的數據，使用完全自定義的數據路徑和排序器的Hadoop調度器，對KFS文件系統有突出貢獻。
14.Rapleaf
超過80個節點的集群(每個節點有2個雙核CPU，2TB×8存儲，16GBRAM內存);主要使用Hadoop、Hive處理Web上關聯到個人的數據，並引入Cascading簡化數據流穿過各種處理階段。
15.WorldLingo
硬體上超過44台伺服器(每台有2個雙核CPU，2TB存儲，8GB內存)，每台伺服器均運行Xen，啟動一個虛擬機實例運行Hadoop/HBase，再啟動一個虛擬機實例運行Web或應用程序伺服器，即有88台可用的虛擬機;運行兩套獨立的Hadoop/HBase機群，它們各自擁有22個節點。Hadoop主要用於運行HBase和MapRece作業，掃描HBase的數據表，執行特定的任務。HBase作為一種可擴展的、快速的存儲後端，用於保存數以百萬的文檔。目前存儲了1200萬篇文檔，近期的目標是存儲4.5億篇文檔。
16.格拉斯哥大學的TerrierTeam
超過30個節點的實驗集群(每節點配置XeonQuadCore2.4GHz，4GB內存，1TB存儲)。使用Hadoop促進信息檢索研究和試驗，特別是用於TREC，用於TerrierIR平台。Terrier的開源發行版中包含了基於HadoopMapRece的大規模分布式索引。
17.內布拉斯加大學的HollandComputingCenter
運行一個中等規模的Hadoop機群(共計1.6PB存儲)用於存儲和提供物理數據，以支持緊湊型μ子螺旋型磁譜儀(CompactMuonSolenoid，CMS)實驗的計算。這需要一類能夠以幾Gbps的速度下載數據，並以更高的速度處理數據的文件系統的支持。
18.VisibleMeasures
將Hadoop作為可擴展數據流水線的一個組件，最終用於VisibleSuite等產品。使用Hadoop匯總、存儲和分析與網路視頻觀眾收看行為相關的數據流。目前的網格包括超過128個CPU核心，超過100TB的存儲，並計劃大幅擴容。
國內Hadoop的應用現狀
Hadoop在國內的應用主要以互聯網公司為主，下面主要介紹大規模使用Hadoop或研究Hadoop的公司。
1.網路
網路在2006年就開始關注Hadoop並開始調研和使用，在2012年其總的集群規模達到近十個，單集群超過2800台機器節點，Hadoop機器總數有上萬台機器，總的存儲容量超過100PB，已經使用的超過74PB，每天提交的作業數目有數千個之多，每天的輸入數據量已經超過7500TB，輸出超過1700TB。
網路的Hadoop集群為整個公司的數據團隊、大搜索團隊、社區產品團隊、廣告團隊，以及LBS團體提供統一的計算和存儲服務，主要應用包括：
數據挖掘與分析。
日誌分析平台。
數據倉庫系統。
推薦引擎系統。
用戶行為分析系統。
同時網路在Hadoop的基礎上還開發了自己的日誌分析平台、數據倉庫系統，以及統一的C++編程介面，並對Hadoop進行深度改造，開發了HadoopC++擴展HCE系統。
2.阿里巴巴
阿里巴巴的Hadoop集群截至2012年大約有3200台伺服器，大約30?000物理CPU核心，總內存100TB，總的存儲容量超過60PB，每天的作業數目超過150?000個，每天hivequery查詢大於6000個，每天掃描數據量約為7.5PB，每天掃描文件數約為4億，存儲利用率大約為80%，CPU利用率平均為65%，峰值可以達到80%。阿里巴巴的Hadoop集群擁有150個用戶組、4500個集群用戶，為淘寶、天貓、一淘、聚劃算、CBU、支付寶提供底層的基礎計算和存儲服務，主要應用包括：
數據平台系統。
搜索支撐。
廣告系統。
數據魔方。
量子統計。
淘數據。
推薦引擎系統。
搜索排行榜。
為了便於開發，其還開發了WebIDE繼承開發環境，使用的相關系統包括：Hive、Pig、Mahout、Hbase等。
3.騰訊
騰訊也是使用Hadoop最早的中國互聯網公司之一，截至2012年年底，騰訊的Hadoop集群機器總量超過5000台，最大單集群約為2000個節點，並利用Hadoop-Hive構建了自己的數據倉庫系統TDW，同時還開發了自己的TDW-IDE基礎開發環境。騰訊的Hadoop為騰訊各個產品線提供基礎雲計算和雲存儲服務，其支持以下產品：
騰訊社交廣告平台。
搜搜(SOSO)。
拍拍網。
騰訊微博。
騰訊羅盤。
QQ會員。
騰訊游戲支撐。
QQ空間。
朋友網。
騰訊開放平台。
財付通。
手機QQ。
QQ音樂。
4.奇虎360
奇虎360主要使用Hadoop-HBase作為其搜索引擎so.com的底層網頁存儲架構系統，360搜索的網頁可到千億記錄，數據量在PB級別。截至2012年年底，其HBase集群規模超過300節點，region個數大於10萬個，使用的平台版本如下。
HBase版本：facebook0.89-fb。
HDFS版本：facebookHadoop-20。
奇虎360在Hadoop-HBase方面的工作主要為了優化減少HBase集群的啟停時間，並優化減少RS異常退出後的恢復時間。
5.華為
華為公司也是Hadoop主要做出貢獻的公司之一，排在Google和Cisco的前面，華為對Hadoop的HA方案，以及HBase領域有深入研究，並已經向業界推出了自己的基於Hadoop的大數據解決方案。
6.中國移動
中國移動於2010年5月正式推出大雲BigCloud1.0，集群節點達到了1024。中國移動的大雲基於Hadoop的MapRece實現了分布式計算，並利用了HDFS來實現分布式存儲，並開發了基於Hadoop的數據倉庫系統HugeTable，並行數據挖掘工具集BC-PDM，以及並行數據抽取轉化BC-ETL，對象存儲系統BC-ONestd等系統，並開源了自己的BC-Hadoop版本。
中國移動主要在電信領域應用Hadoop，其規劃的應用領域包括：
經分KPI集中運算。
經分系統ETL/DM。
結算系統。
信令系統。
雲計算資源池系統。
物聯網應用系統。
E-mail。
IDC服務等。
7.盤古搜索
盤古搜索(目前已和即刻搜索合並為中國搜索)主要使用Hadoop集群作為搜索引擎的基礎架構支撐系統，截至2013年年初，集群中機器數量總計超過380台，存儲總量總計3.66PB，主要包括的應用如下。
網頁存儲。
網頁解析。
建索引。
Pagerank計算。
日誌統計分析。
推薦引擎等。
即刻搜索(人民搜索)
即刻搜索(目前已與盤古搜索合並為中國搜索)也使用Hadoop作為其搜索引擎的支撐系統，截至2013年，其Hadoop集群規模總計超過500台節點，配置為雙路6核心CPU，48G內存，11×2T存儲，集群總容量超過10PB，使用率在78%左右，每天處理讀取的數據量約為500TB，峰值大於1P，平均約為300TB。
即刻搜索在搜索引擎中使用sstable格式存儲網頁並直接將sstable文件存儲在HDFS上面，主要使用HadoopPipes編程介面進行後續處理，也使用Streaming介面處理數據，主要的應用包括：
網頁存儲。
解析。
建索引。
推薦引擎。
end

10. 最近想好好學習提升下公有雲相關的知識技能，有什麼資源可以推薦的嗎

在公共雲中，第三方提供商通過Internet向公眾提供了一系列服務。來自多個公司或個人客戶端的數據可能共享同一台伺服器。私有雲在原理上類似，但是建立在防火牆之後，並且僅向有限數量的已批准用戶提供託管服務。

輔助功能

公有雲可以將數據復制到許多位置，因此遍布世界各地的用戶可以將公有雲用作內容分發網路的替代方案。因為公共雲是通過Internet訪問的，所以它們可能會受到帶寬限制，而私有雲則是通過乙太網LAN高速訪問的。

安全

因為公共雲是可公開訪問的，所以擁有敏感數據或需要保證可用性和熟練技術支持的用戶可能更喜歡使用私有雲。由於訪問受限，因此某些人將私有雲計算視為解決公共雲安全問題的一種方法。

在公共雲與私有雲之間進行選擇

公共雲易於實施，並且由於硬體，應用程序和帶寬的成本由提供商承擔，因此用戶只需為使用的內容付費。公共雲提供了較低的前期成本和無限的可擴展性。小型企業可能會因為其成本較低而更喜歡公共雲，但是在選擇公共雲之前，用戶應先研究其提供商的安全策略。Netflix和Amazon等公司也使用公共雲。

私有雲的專用硬體使其效率更高。就像公共雲一樣，它按需提供資源，但是部署在組織的內部IT基礎架構中。許多選擇使用私有雲的企業都對保留已投資的現有基礎架構感興趣。私有雲提供高級安全性，可靠的可用性和高度控制。它們可以根據用戶的規格進行定製，並且效率高，因為它們是為所服務的用戶設計和管理的。私有雲非常適合希望提高員工效率和交互性的獨立軟體供應商（ISV）和大型企業。

一、公有雲概念

雲是一種通過虛擬化技術把硬體資源抽象成的資源池，而公有雲通常指第三方提供商為用戶提供的能夠使用的雲。公有雲一般可通過互聯網使用，可能是免費或成本低廉的，公有雲的核心屬性是共享資源服務。公有雲的服務對象個人用戶和中小型企業用戶，用戶對雲資源只有使用權而沒有擁有權。相對於使用本地硬體資源，雲計算因為僅僅需要互聯網即可使用，對使用者所使用的硬體設備和軟體版本沒有太多要求，所以在共享性和安全性上有著巨大的優勢。

二、公有雲與私有雲、混合雲的區別

私有雲是為一個用戶單獨使用而構建的，因而在數據安全性以及服務質量上自己可以有效的管控，私有雲的基礎是首先你要擁有基礎設施並可以控制在此設施上部署應用程序的方式，私有雲可以部署在企業數據中心的防火牆內，核心屬性是專有資源。

混合雲則是融合了公有雲與私有雲的優劣勢，綜合了數據安全性以及資源共享性雙重方面的考慮，個性化的方案達到了省錢安全的目的，從而獲得越來越多企業的青睞，但是在實現上有一定的技術難度。

屬性

雲類型

數據安全性（對數據的掌控能力）

功能拓展型（系統集成便捷性）

SLA（服務質量）

成本

核心屬性

私有雲

高

高

強

維護成本較高

專有

公有雲

低

低

中

數據風險成本較高

共享

混合雲

高

中

差

學習成本較高

個性化配置

三、國內公有雲發展狀況

國內目前提供公有雲服務的有阿里雲、網路雲、騰訊雲和青雲等。國內的大型互聯網廠商，如阿里巴巴、網路、騰訊等，以及運營商都紛紛推出了各自的公有雲平台；同時青雲、UCloud 等初創公司憑借風投的資金也加入到了公有雲市場的競爭中；此外，微軟、IBM、Amazon 等國外公有雲服務提供商也紛紛通過與國內IDC 合作的模式進入中國市場。

對公有雲的服務模式看，新浪、網路目前以PaaS為主，騰訊、阿里、青雲目前以IaaS為主。從長線來看，除了青雲之外，其他所有廠商都會走向IaaS+PaaS的混合模式。

其中服務模式分為

(1)IaaS：Infrastructure as a Service，即基礎設施即服務。IaaS 是雲服務的最底層，主要提供一些基礎資源，用戶需要自己控制底層，實現基礎設施的使用邏輯。

(2)PaaS：Platform as a Service，即平台即服務。PaaS 提供軟體部署平台（runtime），抽象掉了硬體和操作系統細節，可以無縫地擴展（scaling）。開發者只需要關注自己的業務邏輯，不需要關注底層。

(3)SaaS：Software as a Service，即軟體即服務。SaaS 是軟體的開發、管理、部署都交給第三方，不需要關心技術問題，可以拿來即用，普通用戶接觸到的互聯網服務，幾乎都是 SaaS。



四、公有雲能夠提供的服務

1.雲計算基礎服務：包含雲伺服器、雲資料庫、負載均衡等；

2.大數據：數據集成、數據開發、機器學習等；

3.安全：雲防火牆、數據風控、伺服器安全監控；

4.域名服務：雲解析DNS、雲虛擬主機、雲虛擬主機等。

五、相關技術

1. 虛擬化技術

虛擬化是一種資源管理技術，是將計算機的各種實體資源，如伺服器、網路、內存及存儲等，予以抽象、轉換後呈現出來，打破實體結構間的不可切割的障礙，使用戶可以比原本的組態更好的方式來應用這些資源。這些資源的新虛擬部份是不受現有資源的架設方式，地域或物理組態所限制。一般所指的虛擬化資源包括計算能力和資料存儲。在實際的生產環境中，虛擬化技術主要用來解決高性能的物理硬體產能過剩和老的舊的硬體產能過低的重組重用，透明化底層物理硬體，從而最大化的利用物理硬體。

目前商用的幾種虛擬化技術：

（1）OpenVZ：OpenVZ是操作系統級別的虛擬化技術，是底層操作系統上的一層應用，這意味著易於理解和低權重開銷，一般來說也意味著更優的性能。OpenVZ採用SWsoft的Virutozzo虛擬化伺服器軟體產品的內核，是基於Linux平台的操作系統級伺服器虛擬化架構。這個架構直接調用母伺服器（母機）中的內核，模擬生成出子伺服器（VPS，小機），所以，它經過虛擬化後相對於母伺服器，性能損失大概只有的1-3%。

（2）Xen：Xen是一個開放源代碼虛擬機監視器，由劍橋大學開發。Xen的缺點是操作系統必須進行顯式地修改（「移植」）以在Xen上運行（但是提供對用戶應用的兼容性），所以比較麻煩。使得Xen無需特殊硬體支持，就能達到高性能的虛擬化。Linux的官方內核在較早之前已經去掉了對Xen的支持。Xen是半虛擬化技術，它並不是一個真正的虛擬機，而是相當於自己運行了一個內核的實例，可以自由的載入內核模塊，虛擬的內存和IO，穩定而且可預測。

（3）KVM：KVM是指基於Linux內核（Kernel-based）的虛擬機（Virtual Machine）。KVM最大的好處就在於它是與Linux內核集成的，所以速度很快。KVM的宿主操作系統必須是Linux，支持的客戶機操作系統包括Linux、Windows、Solaris和BSD，運行在支持虛擬化擴展的x86和x86_64硬體架構上,cpu支持VT技術。kvm是完全虛擬的，所以不分pv和hvm的區別，所有的kvm類+型的虛擬技術都可以裝各種linux的發行版和各種win的發行版，不管供應商在主頁有沒有寫明是否支持win。

2. IaaS開源管理平台：OpenStack

OpenStack是一個開源的雲計算管理平台項目，由幾個主要的組件組合起來完成具體工作。OpenStack支持幾乎所有類型的雲環境，項目目標是提供實施簡單、可大規模擴展、豐富、標准統一的雲計算管理平台。OpenStack通過各種互補的服務提供了基礎設施即服務（IaaS）的解決方案，每個服務提供API以進行集成。其核心部件包括：

Nova：負責虛擬機創建、管理和銷毀、提供計算資源服務；

Swift：提供對象存儲服務的分布式存儲；
Glance：提供虛擬機鏡像管理和存儲服務；

Keystone：提供身份認證和授權；

Neutron：軟體定義網路項目；

Cinder：提供塊存儲服務；

Horizon：提供基於 Web 的一個 GUI。

OpenStack主要是依靠開源社區推動開發以及維護，每半年升級一次版本。



3. 分布式開發工具：Spring Cloud

Spring Cloud是一系列框架的有序集合。它利用Spring Boot的開發便利性巧妙地簡化了分布式系統基礎設施的開發，如服務發現注冊、配置中心、消息匯流排、負載均衡、斷路器、數據監控等，都可以用Spring Boot的開發風格做到一鍵啟動和部署。Spring Cloud並沒有重復製造輪子，它只是將目前各家公司開發的比較成熟、經得起實際考驗的服務框架組合起來，通過Spring Boot風格進行再封裝屏蔽掉了復雜的配置和實現原理，最終給開發者留出了一套簡單易懂、易部署和易維護的分布式系統開發工具包。

4. 容器管理工具：K8S

Kubernetes（簡稱K8S）是一個全新的基於容器技術的分布式架構領先方案，是Google開源的容器集群管理系統（谷歌內部:Borg）。在Docker技術的基礎上，為容器化的應用提供部署運行、資源調度、服務發現和動態伸縮等一系列完整功能，提高了大規模容器集群管理的便捷性。

Kubernetes是一個完備的分布式系統支撐平台，具有完備的集群管理能力，多擴多層次的安全防護和准入機制、多租戶應用支撐能力、透明的服務注冊和發現機制、內建智能負載均衡器、強大的故障發現和自我修復能力、服務滾動升級和在線擴容能力、可擴展的資源自動調度機制以及多粒度的資源配額管理能力。同時Kubernetes提供完善的管理工具，涵蓋了包括開發、部署測試、運維監控在內的各個環節。Kubernetes的優勢是容器編排、輕量級、開源、彈性伸縮、負載均衡。



最後需要感謝一下之前的前輩分享的知識，本文內容參考與一下資料，如作者有任何問題可聯系我刪除相關內容

http://www.ruanyifeng.com/blog/2017/07/iaas-paas-saas.html

https://wenku..com/view/.html

https://wenku..com/view/8d9bedc4783e0912a3162a57.html

https://blog.csdn.net/cctvchannelv/article/details/22265413

https://ke..com/item/公有雲/7845590

https://wenku..com/view/4a8101c8dd36a32d7275812d.html

https://ke..com/item/虛擬化技術/276750?fr=aladdin

https://ke..com/item/OpenStack/342467?fr=aladdin

https://ke..com/item/spring%20cloud/20269825?fr=aladdin

https://blog.csdn.net/real_myth/article/details/78719244

https://blog.csdn.net/heartyhu/article/details/51087084

https://blog.csdn.net/enweitech/article/details/52910082

https://blog.csdn.net/gavinlib/article/details/72421852

https://blog.csdn.net/myweishanli/article/details/24184489

轉載於:https://www.cnblogs.com/takemytime/p/9322109.html