hdp存儲計算分離大數據

1. 大數據分析技術生態圈一覽

大數據分析技術生態圈一覽
大數據領域讓人暈頭轉向。為了幫助你，我們決定製作這份廠商圖標和目錄。它並不是全面列出了這個領域的每家廠商，而是深入探討大數據分析技術領域。我們希望這份資料新穎、實用。
這是一款面向Hadoop的自助服務式、無資料庫模式的大數據分析應用軟體。
Platfora
這是一款大數據發現和分析平台。
Qlikview
這是一款引導分析平台。
Sisense
這是一款商業智能軟體，專門處理復雜數據的商業智能解決方案。
Sqream
這是一款快速、可擴展的大數據分析SQL資料庫。
Splunk
這是一款運維智能平台。
Sumologic
這是一項安全的、專門定製的、基於雲的機器數據分析服務。
Actian
這是一款大數據分析平台。
亞馬遜Redshift
這是一項PB級雲端數據倉庫服務。
CitusData
可擴展PostgreSQL。
Exasol
這是一種用於分析數據的大規模並行處理(MPP)內存資料庫。
惠普Vertica
這是一款SQL on Hadoop大數據分析平台。
Mammothdb
這是一款與SQL兼容的MPP分析資料庫。
微軟SQL Server
這是一款關系資料庫管理系統。
甲骨文Exadata
這是一款計算和存儲綜合系統，針對甲骨文資料庫軟體進行了優化。
SAP HANA
這是一款內存計算平台。
Snowflake
這是一款雲數據倉庫。
Teradata
這是企業級大數據分析和服務。
數據探查
Apache Drill
這是一款無資料庫模式的SQL查詢引擎，面向Hadoop、NoSQL和雲存儲。
Cloudera Impala
這是一款開源大規模並行處理SQL查詢引擎。
谷歌BigQuery
這是一項全面託管的NoOps數據分析服務。
Presto
這是一款面向大數據的分布式SQL查詢引擎。
Spark
這是一款用於處理大數據的快速通用引擎。
平台/基礎設施
亞馬遜網路服務(AWS)
提供雲計算服務
思科雲
提供基礎設施即服務
Heroku
為雲端應用程序提供平台即服務
Infochimps
提供雲服務的大數據解決方案
微軟Azure
這是一款企業級雲計算平台。
Rackspace
託管專業服務和雲計算服務
Softlayer(IBM)
提供雲基礎設施即服務
數據基礎設施
Cask
這是一款面向Hadoop解決方案的開源應用程序平台。
Cloudera
提供基於Hadoop的軟體、支持和服務。
Hortonworks
管理HDP――這是一款開源企業Apache Hadoop數據平台。
MAPR
這是面向大數據部署環境的Apache Hadoop技術。
垂直領域應用/數據挖掘
Alpine Data Labs
這是一種高級分析平台，可處理Apache Hadoop和大數據。
R
這是一種免費軟體環境，可處理統計計算和圖形。
Rapidminer
這是一款開源預測分析平台
SAS
這是一款軟體套件，可以挖掘、改動、管理和檢索來自眾多數據源的數據。
提取、轉換和載入(ETL)
IBM Datastage
使用一種高性能並行框架，整合多個系統上的數據。
Informatica
這是一款企業數據整合和管理軟體。
Kettle-Pentaho Data Integration
提供了強大的提取、轉換和載入(ETL)功能。
微軟SSIS
這是一款用於構建企業級數據整合和數據轉換解決方案的平台。
甲骨文Data Integrator
這是一款全面的數據整合平台。
SAP
NetWeaver為整合來自各個數據源的數據提供了靈活方式。
Talend
提供了開源整合軟體產品
Cassandra
這是鍵值資料庫和列式資料庫的混合解決方案。
CouchBase
這是一款開源分布式NoSQL文檔型資料庫。
Databricks
這是使用Spark的基於雲的大數據處理解決方案。
Datastax
為企業版的Cassandra資料庫提供商業支持。
IBM DB2
這是一款可擴展的企業資料庫伺服器軟體。
MemSQL
這是一款分布式內存資料庫。
MongoDB
這是一款跨平台的文檔型資料庫。
MySQL
這是一款流行的開源資料庫。
甲骨文
這是一款企業資料庫軟體套件。
PostgresSQL
這是一款對象關系資料庫管理系統。
Riak
這是一款分布式NoSQL資料庫。
Splice Machine
這是一款Hadoop關系資料庫管理系統。
VoltDB
這是一款內存NewSQL資料庫。
Actuate
這是一款嵌入式分析和報表解決方案。
BiBoard
這是一款互動式商業智能儀錶板和可視化工具。
Chart.IO
這是面向資料庫的企業級分析工具。
IBM Cognos
這是一款商業智能和績效管理軟體。
D3.JS
這是一種使用HTML、SVG和CSS可視化顯示數據的JavaScript庫。
Highcharts
這是面向互聯網的互動式JavaScirpt圖表。
Logi Analytics
這是自助服務式、基於Web的商業智能和分析應用軟體。
微軟Power BI
這是互動式數據探查、可視化和演示工具。
Microstrategy
這是一款企業商業智能和分析軟體。
甲骨文Hyperion
這是企業績效管理和商業智能系統。
Pentaho
這是大數據整合和分析解決方案。
SAP Business Objects
這是商業智能解決方案。
Tableau
這是專注於商業智能的互動式數據可視化產品系列。
Tibco Jaspersoft
這是商業智能套件。

2. 華為存儲HDP和VTL，有什麼不同和相同

總的來說，vtl 是磁帶，HDP是備份軟體。

1.DP3500E一體化備份產品（以下簡稱HDP3500E）是華為向客戶提供的一款集備份伺服器、備份介質、備份軟體於一體的高性價比備份產品，集成NetBackup備份軟體。
2.L6900是一款中高端的虛擬磁帶庫系統，它將磁碟陣列模擬成物理磁帶庫，無需更改原有的備份軟體和備份策略，即可無縫部署到已有備份系統中。備份數據存儲在硬碟存儲系統中，很好地解決了傳統備份系統的機械故障、共享維護困難、備份窗口無法滿足應用需求等問題。

3. 技術落地性成大數據競爭賽點，鯤鵬大數據解決方案憑何領先

文 | 曾響鈴

來源 | 科技 向令說（xiangling0815）

新基建浪潮下，作為底層支撐力量的數據與計算正變得越來越重要。

最近，由中國大數據與智能計算產業聯盟主辦，以「新算力 新基建 新經濟」為主題的第二屆中國超級算力大會ChinaSC在北京召開，包括國內外院士、知名學者和產業大咖在內的600多人參加，探討了超級計算、新基建、雲計算、大數據、人工智慧、區塊鏈等前沿技術進展。

這個獎項的頒出，官方給出的標準是，「能夠把當前的各種技術有機的整合在一起，以滿足不同應用場景下的各種綜合的軟硬體及系統方案，集科學性、先進性、穩定性、經濟性等眾多實際指標於一身，是技術轉變為實際應用的關鍵環節。」

顯然，這個權威獎項最關心的，是大數據解決方案在推動技術向實際應用轉變的能力，而這也正是當下市場環境對大數據的核心需求。筆者嘗試拆解鯤鵬大數據解決方案從宏觀到操作層面的布局，希望能給予相關從業者這方面的行業借鑒。

技術競賽不停， 但大數據需求轉向應用落地

數據的價值越來越明顯，更好地釋放數據價值的技術在不斷演化，但是，隨著更多政企組織開始著手利用大數據能力幫助現實業務提升，其需求也開始更多傾向於技術能否更好地實現應用落地，大數據解決方案正是為此而生。

以鯤鵬為案例，在推動技術落地的過程中，其大數據解決方案表現出符合時代需要的三大特徵，讓它在新趨勢下占據領先優勢，受到客戶廣泛歡迎並獲得ChinaSC權威認可。

1、超高性能仍然是應用落地的最有力支撐

大數據解決方案要推動技術實現各種場景的落地，其前提和支撐，是底層軟硬體性能本身要足夠強悍，否則，再完善和深度的解決方案，沒有性能支撐也只能是空中樓閣。

而也只有性能足夠強悍，在應用落地階段才能夠盡可能去滿足客戶各類數據價值需求。

得益於底層軟硬體能力的深度開發，鯤鵬大數據解決方案就擁有超高性能，為應用做好了充分的准備以及支撐。

例如，硬體方面，採用自主研發高性能鯤鵬920處理器，軟體方面，則擁有在大數據場景下獲得倍級性能提升的獨創IO智能預取和Spark機器學習&圖增強演算法。

以鯤鵬與浙江移動的合作為例，2019年，浙江移動相繼完成了IT雲鯤鵬伺服器測試，營業廳前台系統、CRM、計費、大數據、CDN等系統的驗證及上線商用。這其中，浙江移動的CRM&BOSS系統在鯤鵬大數據方案支撐下，整體得到了較大提升，在規模承載網路運營支撐業務的情況下，該系統現在已經穩定運行一年。

目前，浙江移動圍繞網路雲，IT雲和移動雲，已經打造了全球首個運營商領域ICT全場景樣板點。

2、全棧方案才能推動技術全面落地

解決方案本身並不是一種具體的技術，其價值在於各種技術的有效融匯，作為統一的輸出方式面向政企客戶。而在政企客戶需求日益加深的情況下，盡可能滿足多種場景、多種技術訴求的解決方案，就必須建立一套盡可能完善的全棧體系，將各種技術有機地、系統地、全面地整合在一起。

這正是華為鯤鵬大數據解決方案的體系構成，其基於鯤鵬處理器，構建了端到端打通硬體、操作系統、中間件、大數據軟體的全棧體系，並對應進行了全棧性能優化，推動各類技術匯聚成高性能解決方案：

可以看到，這套全棧體系，一方面通過有機整合，能夠較為容易地同時滿足科學性、先進性、穩定性、經濟性等需求（例如，加速特性和大數據組件能夠幫助方案更有效率同時成本更低）；另一方面，作為全面、完整、一體化的信息化解決方案，也更容易去適應政府、金融、電信、互聯網、大企業等不同行業應用需求。

從技術到應用落地，「全棧」成為重要的中間轉換環節，不但「無損」，而且「增益」。

3、符合政企個性化需求讓技術落地更具現實價值

在最終面向單個客戶落地時，大數據解決方案還需要真正貼合這個客戶的實際需要，這是從技術到應用落地的「臨門一腳」，畢竟，不論性能如何強悍，全棧體系如何完善靈活，落實到客戶頭上，最終還是需要符合業務實際，產生現實價值。

既要有能力，更需要契合，鯤鵬大數據解決方案就是這么做的。

2019年，江蘇省基於鯤鵬架構打造了全國首個省區市縣三級政務大數據，未來將有越來越多的政務系統可以由自主可靠的鯤鵬計算平台來承載；

在廣西，區內首個鯤鵬產業生態雲項目——「壯美廣西·玉林政務雲（鯤鵬雲）」已於不久前上線，這是該市全面推廣應用廣西數字政務一體化平台的體現，而其推出的廣西首個市級公共數據開放管理辦法，就與鯤鵬的大數據解決方案緊密相關；

目光轉到浙江，在鯤鵬生態落子浙江的過程中，浙江推動形成「用鯤鵬」的共識，城市被當成鯤鵬生態的「試驗場」，杭州市政務雲已經選用鯤鵬作為算力底座，基於鯤鵬技術架構的解決方案和應用在政府服務場景中得到廣泛應用。

總得看來，僅有高高在上的技術而無法產生實際價值的大數據玩法已經行不通，鯤鵬大數據解決方案跨越技術與應用的鴻溝，已經在眾多行業、場景和企業中實現落地。

電信行業三巨頭中，中國移動已實現鯤鵬大數據解決方案規模商用，中國電信則基於鯤鵬打造了天翼雲，中國聯通則基於鯤鵬構建了天宮IT系統；政務方面，北京、廣東、江蘇、浙江、廣西等政務雲都出現鯤鵬身影，當下其已經成為首選技術路線；在金融行業，鯤鵬正在幫助銀行系統加速完成國產化。

可以說，鯤鵬大數據解決方案有力推動了中國數字經濟發展，尤其是信息技術應用創新的落地。

領先優勢下， 鯤鵬三個角度出發為大數據技術落地「鋪路」

1、走得更穩——回應數字時代重要的安全關切

因此，鯤鵬大數據解決方案在安全方面一直加大投入，最典型的，是在底層硬體而非軟體層面進行安全保障——鯤鵬920處理器內置硬體加速器、業界首創支持國密演算法加速，這種CPU內置加速模塊的做法，被稱作「內生安全」，配合國密演算法在技術上更為安全。

而與通常的大數據解決方案為了保證安全不得不讓渡較多的性能隨時監控系統運行不同，華為鯤鵬大數據解決方案內生安全的做法，做到了加密對業務性能的損耗低於5%——既解決安全痛點問題，也解決「為了安全需要」本身導致的痛點問題。

2、走得更順——用兼容性保護既有數據軟硬體投資

前文提到政務雲大數據解決方案中，與現有的伺服器的混合部署，這其中有一個十分重要的兼容性做法——由於鯤鵬大數據解決方案建立在鯤鵬處理器基礎之上，而很多政企組織原有的軟硬體投資都基於X86架構，所以鯤鵬要讓技術的應用落地走得更順，還需要在技術上完成對X86在部署層面的兼容，這樣還能保護政企客戶現有的數字化投資。

可以看到，當下的鯤鵬方案已經支持大數據組件TaiShan伺服器與其他架構伺服器混合部署。

以江蘇電信為例，去年7月，其宣布成功上線全球首個基於鯤鵬處理器的運營商大數據平台。作為核心的業務系統，該大數據平台基於鯤鵬處理器的華為TaiShan伺服器和開源Hadoop軟體構建，承載著江蘇電信所有生產系統的運行數據、存儲及分析：

在項目進行過程中，雙方攜手完成基於鯤鵬處理器的開源Hadoop源代碼編譯，讓關鍵的大數據業務組件在華為TaiShan伺服器上的成功部署和運行，在原有集群上實現了傳統架構伺服器和TaiShan伺服器融合部署。

這種兼容的做法，有效結合了江蘇電信大數據業務特點和未來演進趨勢，且充分發揮鯤鵬處理器的性能，提高了數據存儲、計算等資源的使用效率。

3、走得更寬——生態開放才能讓大數據擁有內生動力

鯤鵬生態的主要推動者華為一直強調的理念是「硬體開放、軟體開源、使能合作夥伴」，在大數據解決方案中，這種理念同樣得到了應用。

例如，在鯤鵬全棧方案中，頂層大數據平台就支持華為自研的FusionInsight大數據平台以及開源Apache、開源HDP/CDH、星環大數據平台，可以有效對接各類場景需要。今年8月，星環 科技 就發布了基於鯤鵬的大數據平台軟硬體聯合解決方案，由星環 科技 的TDH大數據平台提供軟體層面優異的功能，由鯤鵬晶元提供硬體層面強大的性能，擁有極致性能、平滑遷移、豐富的場景支持以及快速部署多重優勢，為行業創造價值。

此外，鯤鵬主導的數據虛擬化引擎openLooKeng開源，就支持跨數據格式、跨數據源、跨數據中心的海量分析，最終幫助方案的性能大幅度提升，典型的如北明數據資產管理平台V4.0就基於openLooKeng技術，解決了數據資產管理數據冗雜、標准不一、難以管理等痛點問題，為企業守護和挖掘數據的價值。

開放的生態，將幫助更多合作夥伴發展伺服器和PC等計算產品，幫助構建高質量的基礎軟體生態，也讓更多生態夥伴獲得端、邊、雲的全場景開發能力，最終促進鯤鵬計算生態的繁榮，也加速大數據行業應用創新。

打好基礎、做好標桿， 鯤鵬進入「強者恆強」周期

彌合技術與應用落地的鴻溝後，鯤鵬大數據解決方案擁有越來越多的政企實踐，它們中大多數都是行業典型客戶，本身既是大數據發展過程中的優質案例。

擁有這些客戶資源的鯤鵬，實際上已經進入了強者恆強的發展周期，這不僅僅是因為它獲得了諸多標桿合作案例、領先於行業，更重要的還在於，技術到應用實踐的通路打通後，實踐也將不斷反饋技術，不斷幫助鯤鵬錘煉自身的技術能力，從而形成有效的正反饋循環。

一旦這種循環形成，大數據解決方案就會進入「飛輪」式發展進程，越轉越快、越難以停下，也很難以被後進者追趕，逐步成為政企客戶最有競爭優勢的選擇。

更進一步來看，大數據服務從來都不是孤立存在的，在計算需求多樣化的時代，鯤鵬計算產業生態的主要推動者華為在物聯網、5G、AI等方面的能力和生態布局，無疑將幫助鯤鵬大數據解決方案有更多橫向技術連接和融合的想像空間，滿足更多政企客戶潛在的創新業務需求。

總而言之，在以鯤鵬大數據解決方案為代表的優質案例引領下，數據與計算的時代正在加速到來，最終，「新算力」將推動「新基建」全面落地，帶來「新經濟」動能，更多政企客戶將享受到技術帶來的價值紅利。

*本文圖片均來源於網路

【完】

曾響鈴

1鈦媒體、品途、人人都是產品經理等多家創投、 科技 網站年度十大作者；

2虎嘯獎評委；

3作家：【移動互聯網+ 新常態下的商業機會】等暢銷書作者；

4《中國經營報》《商界》《商界評論》《銷售與市場》等近十家報刊、雜志特約評論員；

5鈦媒體、36kr、虎嗅、界面、澎湃新聞等近80家專欄作者；

6「腦藝人」（腦力手藝人）概念提出者，現演變為「自媒體」，成為一個行業；

7騰訊全媒派榮譽導師、多家 科技 智能公司傳播顧問。