新一代雲資料庫
1. 上新|阿里雲瑤池資料庫SelectDB版重磅發布,邀測火熱進行中
今年 3 月,阿里雲與飛輪科技攜手,共同研發了新一代實時數據倉庫——阿里雲瑤池資料庫 SelectDB 版。經過 5 個月的緊密合作,該版本於 8 月 20 日正式上線,用戶可便捷地在阿里雲上使用 SelectDB 數據倉庫服務,以滿足海量數據實時處理、融合統一分析的需求。
SelectDB 是基於 Apache Doris 內核的聚焦企業大數據實時分析需求的旗艦產品,由飛輪科技初創團隊開發,團隊成員包括 Apache Doris 項目的核心成員以及網路智能雲的初創成員。團隊多位創始人在社區擔任 PMC 成員或 Committer,主導了 Apache Doris 的多個版本發布。
目前,Apache Doris 已在全球范圍內擁有廣泛的用戶基礎,超過 2000 家中大型企業用戶覆蓋了金融、互聯網、能源、製造、通信、物流等眾多行業,贏得了數萬名用戶的青睞。在 GitHub 上,項目獲得了近 10000 Star,吸引了近 600 名社區開發者,連續數月在大數據開源項目中位居活躍度榜首。
阿里雲瑤池資料庫 SelectDB 版本集合了 Apache Doris 的優勢特性,包括優異性能、精簡架構、穩定可靠、豐富生態,並融入了雲服務的隨需應變特性。通過雲原生存算分離架構,用戶可享受分鍾級彈性伸縮、高性價比、簡單易用、安全穩定的一鍵式雲上實時分析體驗。目前正處於邀測階段,歡迎企業免費試用。
瑤池資料庫 SelectDB 版本的核心優勢包括極致的查詢性能、存算分離的全新架構、融合統一的分析體驗、極簡易用的使用體驗以及豐富的企業級特性。
瑤池資料庫 SelectDB 版本提供極致的查詢性能,2022年10月登頂全球分析型資料庫榜單 ClickBench,在多種場景下表現優異。性能卓越主要得益於更智能的查詢優化器、MPP執行模型和自適應的並行執行引擎、向量化執行引擎和執行運算元優化、豐富的索引結構和高效存儲引擎。
瑤池資料庫 SelectDB 版本採用雲原生存算分離架構,大幅降低了存儲和計算成本,存儲與計算分離,支持獨立擴縮容,滿足用戶對同一份數據上的分析負載隔離需求,提供更好的隔離性。
瑤池資料庫 SelectDB 版本提供融合統一的解決方案,支持多種典型的數據處理與分析場景需求,包括點查詢、報表分析、即席查詢、ETL/ELT等。支持聯邦查詢和半結構化數據類型,可實現便捷的元數據管理和數據打通。
瑤池資料庫 SelectDB 版本提供極簡易用的使用體驗,包括豐富的導入方式、高效的數據更新能力、支持MySQL連接協議、可視化控制台等。
瑤池資料庫 SelectDB 版本具備嚴格可靠的安全體系、多層級的資源隔離、完善的監控告警機制等企業特性,確保數據安全和穩定運行。
瑤池資料庫 SelectDB 版本提供四大解決方案:在線高並發報表與分析、用戶畫像與行為分析、日誌存儲與分析、統一數據分析平台。
在線高並發報表與分析解決方案支持實時導入、高效查詢、數據持久化、服務高可用,實現秒級數據可見性,單機 3 萬 QPS 高並發。
用戶畫像與行為分析解決方案支持行為分析、畫像分析函數、實時更新,實現秒級人群預估和圈選。
日誌存儲與分析解決方案採用實時寫入、高效檢索,實現 4.2 倍寫入性能提升和 2.3 倍查詢性能提升。
統一數據分析平台解決方案通過 SQL 請求實現多種場景需求,提供低運維成本和低使用成本,相比 Presto 有 3~5 倍速度提升,相比 Spark 有 8+ 倍速度提升。
目前,瑤池資料庫 SelectDB 版本處於邀測階段,歡迎企業免費試用。可登錄阿里雲賬號提交試用申請。
2. 新一代HTAP資料庫崛起,MySQL生態的最佳歸宿
俗話說,天下大勢,合久必分、分久必合。
資料庫領域同樣如此。過去五十餘年,資料庫經歷OLTP和OLAP兩種需求漫長的融合-分離-再融合的過程。究其原因,資料庫的發展始終與用戶場景需求變遷緊密相關。如今,隨著雲計算和大數據的興起,業務場景正在經歷前所未有的變革,資料庫領域也掀起了一股HTAP浪潮。
Gartner在多次報告中強調,HTAP是資料庫領域最重要的發展趨勢之一,也是用戶數字化轉型中重要的數據平台。業界甚至認為,HTAP的興起代表著資料庫大融合時代的開啟。
那麼,為什麼資料庫大廠和雲服務巨頭們均紛紛押寶HTAP?開源+多雲為何是HTAP普及的助推劑?面對新一代HTAP數據的崛起,多年積累形成的MySQL生態終於找到最佳歸宿?
放在幾年前,HTAP可能還會被認為是資料庫領域的小眾產品,是否成氣候還有待觀察。
而隨著數據資源、數據消費習慣和數據驅動型場景發生巨大變化,用戶需求與傳統資料庫之間的供需矛盾日漸突出,使得HTAP這種具備「同時支持OLTP和OLAP、創新計算存儲框架、去ETL」等特徵的新時代資料庫成為不可阻擋的趨勢。
如今,幾乎所有資料庫大廠和雲服務巨頭都在布局HTAP。例如,OceanBase去年推出的 3.0版本中就正式宣布向HTAP資料庫進軍;今年5月,Google Cloud發布HTAP雲端資料庫AlloyDB,為PG用戶提供了HTAP資料庫服務;再加上Oracle MySQL Heatwave,甚至連SnowFlake也發布Unistore來「蹭」HTAP的熱點。
如果細數近一年以來的HTAP新品,會發現幾乎全部都建立在雲端之上。新一代HTAP+雲正在成為資料庫市場重要的潮流。例如,PingCAP近日發布的TiDB 6.0,也是與雲端緊密聯系的新一代HTAP資料庫。
事實上,PingCAP是HTAP資料庫領域非常重要的一個引領者。早在TiDB 3.0起,PingCAP就正式轉向HTAP,從OLTP主引擎+OLAP輔助能力,到OLTP引擎+外接分析引擎,再到OLTP引擎+融合分析引擎,PingCAP在HTAP領域穩打穩扎,一個版本上一個台階。
如今,隨著TiDB 6.0的發布,針對HTAP進行了更多成熟性改進,TPC-C 性能也較 5.0 版本提升達到 76.32%,TiDB 6.0還增強了多個企業級特性,以更好適合雲時代用戶對於HTAP資料庫的需求。
固然,有人質疑當前HTAP是新瓶裝舊酒,並無太多新意。但業界普遍形成共識:新一代HTAP與過去完全不同,開源+雲孕育而出,很多都有AI加持,而且是為數據敏捷而生,擁有過去前所未有的創新活力與迭代速度,並逐漸形成資料庫技術變革的新潮流。
PingCAP CTO 黃東旭也直言:「TiDB近年來的快速進化與迭代,得益於開源和雲的助力。」
HTAP之所受到用戶青睞,某種程度是因為用戶對於數據敏捷性的極度渴求。
「在數字化時代,客戶最為在乎的是如何快速走向市場。這需要數據敏捷性,而HTAP恰恰是數據敏捷的核心能力。」黃東旭如是說。
最近幾年,「海量、實時、在線」的需求越來越廣泛,大量採用 MySQL 和 PostgreSQL 開源資料庫的新一代企業需要提升對於熱數據的實時在線分析能力,這類需求遍布幾乎所有的互聯網企業以及從事線上業務的數字化轉型企業。對於新鮮數據的實時分析能力直接決定了這些業務的生死存亡,傳統的 OLTP+OLAP+ETL 的數據架構已經嚴重阻礙了消費者體驗,這種訴求催生了 HTAP 的技術變革。
而真正幫助HTAP與用戶需求完成對接的則是開源+雲。眾所周知,開源近年來在資料庫領域的流行和影響力與日俱增,DB-Engines數據顯示,全球383款資料庫中開源資料庫占據51.7%,六款開源資料庫進入到前十,開源正在成為像HTAP這種新時代資料庫的創新源泉。
以PingCAP的TiDB為例,其產品研發體系建立在開源體系和開源社區的基礎上,實現了一年一個大版本、一個月一個小版本的迭代速度。黃東旭透露道:「開源是TiDB的第一個增長引擎,通過開源體系,開發者、貢獻者、佈道者和用戶能夠很好串聯起來,形成飛輪效應,讓產品能夠走向加速迭代和創新的正向循環。」
據悉,TiDB每年會有超過 40% 的代碼更新,而這些代碼有很大一部分由外部貢獻者所共享。TiDB開源項目一直在全球和中國開源項目活躍度中名列前茅。
如果說開源改變了HTAP產品的開發模式和迭代速度,那麼雲則能夠為HTAP產品提供用戶最為直接的需求反饋。眾所周知,雲資料庫一改以往傳統資料庫部署、運維、擴展等難題,以雲服務的方式讓資料庫使用更加簡單;更加關鍵的是,隨著雲計算的普及,雲上用戶群體持續增加,來自雲上用戶群體的需求反饋無時無刻都在發生,對於資料庫產品的進化與迭代至關重要。
「真正的產品迭代是如何縮短用戶問題/需求的反饋時間。雲無疑為資料庫等基礎軟體提供了這樣的價值,讓產品可以更好地迭代。」黃東旭如是說。以TiDB為例,自去年五月全託管的資料庫即服務(DBaaS)產品 TiDB Cloud 公測版發布以來,已經陸續登陸亞馬遜雲 科技 、谷歌雲等全球知名雲服務商的Marketplace,並在今年5月份正式全球商用;今年 6 月與阿里雲合作上線阿里雲雲市場,成為為數不多的跨全球三朵雲的資料庫服務。
在眾多資料庫產品之中,MySQL憑借著開源、免費、適合互聯網場景等優勢,常年位居全球最受歡迎資料庫的前三。根據Slintel網站的統計數據,在全球關系型資料庫市場中,MySQL市場份額最高,達到43.04%。
過去二十年裡,開源MySQL資料庫對於各行各業影響至深,捕獲了來自互聯網、金融、零售、交通等多個行業用戶的心,堪稱「萬人迷」。例如,在中國就有超過9成的金融機構都應用了MySQL資料庫。
但任何資料庫潮流都是「需求變化+技術變革+架構創新」融合的產物,MySQL是如此,HTAP亦不例外。如今,場景的數據規模、業務並發量、處理速度要求跟以往相比早已不是一個數量級。此時,MySQL資料庫的局限性愈發突出,擴展性很難滿足用戶需求,想繼續獲得增長的企業不得不使用分庫分表方案,但這又會造成數據架構的復雜性。
新一代HTAP資料庫無需分庫分表,且具備實時海量規模的OLTP和實時數據分析能力,還擁有極為出色的擴展性,與很多業務場景的海量交易實時數據展現、平穩運行的需求高度契合,HTAP憑借技術架構優勢崛起已成必然。
「用戶需求側最大的變化就是很多用戶需要藉助熱數據實現運營級別的實時分析,獲得實時洞察以支持決策,這極大推動了新一代HTAP資料庫的需求。」PingCAP副總裁劉松補充道。
雖然MySQL已經增加列存引擎Heatwave來獲得HTAP能力,但主要解決規模化查詢的問題,系統本身架構並未產生革命性變化,擴展能力、OLTP吞吐量依然有著很大局限。「智能新能源 汽車 跟傳統燃油車在外表看幾乎沒區別。資料庫也類似,像TiDB這種新一代HTAP資料庫,從架構設計、應對場景和使用體驗等角度,都與傳統資料庫有著極大的區別。」劉松形象比喻道。
事實上,與過去SAP HANA這種小眾、昂貴的HTAP不同,新一代HTAP擁有極強的兼容性,像Google Cloud、PingCAP這些資料庫廠商都藉助新一代HTAP架構為採用 MySQL或者PG開源資料庫的企業拓展 OLTP和OLAP的能力范圍。
例如,Google Cloud發布的HTAP雲端資料庫AlloyDB,為單機版PG生態用戶提供了最好選擇,TiDB則成為MySQL生態的最佳歸宿。PingCAP大量用戶中有很多TiDB與MySQL混合部署的成功案例;得益於 TiDB 的開放性,TiDB 也可通過和其他數據服務產品「混搭」形成新的數據服務解決方案, 如通過同樣是開源的大數據計算引擎 Flink 混搭形成實時數倉解決方案,擴展 HTAP 資料庫的能力邊界。
黃東旭則直言,HTAP資料庫除了產品、技術之外,尤為需要關心用戶體驗,「HTAP應該讓用戶覺得好用,屏蔽掉資料庫的復雜性。」據悉,PingCAP是2022 Gartner Peer Insights「Voice of the Customer」 雲資料庫領域唯一入選的中國資料庫公司,客戶總體評分達到 4.7 分(滿分 5 分),在所有入選企業中位列第一。在參與Gartner Peer Insights評分的PingCAP用戶中,像互聯網、金融等重點行業用戶均高度認可HTAP現代資料庫理念。
總體來看,今年是HTAP的大年,各大廠商紛紛在市場中上新。隨著新一代HTAP資料庫產品的增多,整個市場對於HTAP資料庫理念和產品的接受與採用將會提速。而隨著新一代HTAP資料庫持續完善,讓廣大MySQL生態用戶群真正看到了大數據時代一條絕佳的遷移路徑。
3. 亞馬遜雲資料庫是一個怎樣的存在
屬於亞馬遜的雲資料庫服務。
雲資料庫 MySQL(TencentDB for MySQL)是騰訊雲基於開源資料庫 MySQL 專業打造的高性能分布式數據存儲服務,讓用戶能夠在雲中更輕松地設置、操作和擴展關系資料庫。
雲資料庫 MySQL 主要特點如下:
雲存儲服務,是騰訊雲平台提供的面向互聯網應用的數據存儲服務。
完全兼容 MySQL 協議,適用於面向表結構的場景;適用 MySQL 的地方都可以使用雲資料庫。
提供高性能、高可靠、易用、便捷的 MySQL 集群服務。
整合了備份、擴容、遷移等功能,同時提供新一代資料庫工具DMC,用戶可以方便的進行資料庫的管理。
4. 企業數據上雲必有一戰,華為雲12.12雲資料庫2折起
每年的Gartner全球資料庫魔力象限都會對未來三年的市場進行預測,而2020年的預測相比於2019年的預測出現一個顯著的變化,那就是全球75%資料庫將被部署或遷移到雲平台的時間表提前了一年——從2023年提前到了2022年。進入2020年底,我們將迎來資料庫行業的世紀之戰,企業數據上雲與治理面臨著重大抉擇:本地資料庫與雲資料庫的PK。特別是受2020全球疫情的影響,越來越多的企業正加速數字化轉型,雲資料庫以及雲上數據治理的時代將很快到來。
2020年12月12日雙十二之際,華為雲打出了雲資料庫2折起的大幅折扣,包括:MySQL等熱門雲資料庫 2折起、遷移上雲再加送6個月;GaussDB系列、數據管理服務DAS企業版等熱銷產品低至5折;數據加速與治理產品中也有Redis 4折的驚喜優惠。2020年又是華為雲推出全場景資料庫雲服務GaussDB的第一年,而在2020年底打出雲資料庫2折起的大力度促銷,彰顯了華為雲開打2021企業數據上雲之戰的決心。
2020年的一場疫情,讓很多企業都將數字化轉型提速,特別是讓本來需要幾年才能下的數字化轉型決心和決定縮短到幾個月;而新基建的推出,更刺激了基於數字技術的融合基礎設施的大規模建設。無論是加速的數字化轉型、急於上線的各種在線和互聯網業務,還是籌建中的融合基礎設施新基建,都為CIO們帶來了頭痛的問題:資料庫的選型。
那麼CIO怎麼解決雲資料庫的選型難題呢?華為雲資料庫業務總裁蘇光牛認為,CIO選型資料庫,最常見的其實沒有變化,就是穩定性和性能,以及雲技術出現之後的擴展性和灰度等能力。但對於很多企業,特別是有 歷史 遺留系統的,都涉及一個古老但無法迴避的問題就是:生態。也就是如果招聘的DBA多是搞PostgreSQL,那麼企業怎麼能選擇MySQL?反之亦然。或者當熟悉某個資料庫的DBA幹了幾十年,又怎麼轉向另外一種資料庫?
轉型是必然的。數字化智能化升級,必然要求資料庫跟上,蘇光牛認為生態必須是開放的,否則就從一個火坑跳入另外一個火坑。選型之後,CIO都普遍擔心,遷移的工作量有多大?CIO都需要有能自動化轉換或者評估的工具,能把非確定的工作量轉化為確定性的計劃。然後就需要考慮遷移是否會中斷或者中斷多久,業務切換需要多久,對於在線遷移來說還要可控制的切換時間;隨之,要考慮數據是否會丟失,因為從一個系統遷移到另一個系統,不可能100%覆蓋所有的功能測試,沒有覆蓋到數據是否就丟失了,當然還要考慮數據安全等問題。
最後,必然要考慮成本以及讓數據「活」起來。蘇光牛認為,控製成本的最好方式是存儲的融合,計算和存儲分離的架構;而讓數據活起來,就是要讓存儲的數據在不同系統之間流動起來,通過大的存儲資源池解決數據孤島問題,當然更好的數據遷移工具也能配合解決問題。
2020年11月,在Gartner發布的2020全球雲資料庫魔力象限中,華為雲憑借GaussDB系列產品首次晉級全球頂級雲資料庫行列。Gartner對華為雲的評價是:華為雲專注於提供全面的混合堆棧,構建了全面、穩健的產品組合,能夠滿足跨雲和本地環境的全方位數據管理用例,其許多產品與雲基礎架構緊密集成,以提供增強的性能和可靠性。Gartner還認為,華為在全球電信和網路行業有很強的影響力,很多為管理華為全球行業業務而構建的數據管理能力,面向政企行業普遍可用。
2020年下半年,華為雲宣布GaussDB資料庫戰略升級為華為雲資料庫全場景服務,以及發布GaussDB雲資料庫服務GaussDB(for MySQL)、GaussDB(openGauss)以及GaussDB NoSQL,而GaussDB NoSQL非關系型資料庫則支持MongoDB、Cassandra、時序InfluxDB、KV資料庫Redis等,具有多模式數據管理能力。
就GaussDB來說,通過計算和存儲分離實現分布式處理,在一套架構下,可以對接MySQL、PostgreSQL、MongoDB、Cassandra等多種開源資料庫引擎,實現這些開源資料庫的良好商用性能。GaussDB以華為雲為底座,保證了良好可擴展性、彈性、安全可靠等性能要求,特別是通過底層統一的智能化DFV分布式存儲架構,滿足企業上雲對於雲資料庫的各種需求。
在數據遷移方面,華為雲推出的資料庫和應用遷移 UGO,是一款專注於異構資料庫對象遷移和應用遷移的專業化工具,而華為雲數據復制服務DRS,支持更大數據量、更長時間等多種復雜遷移場景,支持資料庫上雲和雲上業務數據實時回傳至雲外的混合雲架構。UGO+DRS形成了完整的遷移產品形態。
GaussDB是為政企打造的資料庫一站式上雲解決方案,提供全場景數據管理業務、全開放生態和安全可信,徹底解決政企以及互聯網行業在資料庫選型方面的痛點,真正做到資料庫選型安心、遷移放心、管理省心。
蘇光牛表示:「華為將持續戰略投入資料庫,布局全球7大區域囊括1000+資料庫專家與人才。此次戰略升級是華為雲資料庫積極構建高安全、高可靠、高性能的全場景雲服務,擁抱開源生態的具體舉措,華為雲GaussDB資料庫會持續打造多元生態服務,全方位滿足客戶的需求,加速政企客戶數字化創新發展。」
正如Gartner所觀察到的,如今華為雲資料庫業務在亞太地區,尤其是中國市場實現規模化部署,其中超過一半的客戶來自公共管理、電信、金融保險等行業。華為雲資料庫,特別是GaussDB能夠被廣大政企用戶認可,這首先來自於經歷了華為內部的千錘百煉。從2007年開始,就因為華為的無線、網路、交換機等產品而發展起來了GaussDB,從2009年開始基於存算分離的架構而考慮分布式資料庫的設計,2015年起基於廣泛認知的生態如MySQL或者PostgreSQL等以及NoSQL資料庫,逐步推出了分布式的資料庫,同時還打造華為自己的openGauss生態。
2020年,華為雲資料庫品牌更加清晰,GaussDB是華為自有資料庫品牌,既兼容MySQL、PostgreSQL等廣泛認知的生態,又有自有的生態openGauss,openGauss於2020年6月正式對外開源。蘇光牛強調,華為公司將長期投入GaussDB的開發,基於混合雲和公有雲的方式,聯合ISV等夥伴一起,全方位服務好客戶。
總結下來,GaussDB有四大特色:第一,開放的生態,擁抱開源生態的同時,打造華為自有生態。華為雲認為未來一定是開放的生態,開放的生態才能保護客戶投資,避免從一個封閉體系走向另外一個封閉體系。
第二,存算分離的架構,資料庫的穩定性是第一位的,特別是交易型資料庫,華為雲資料庫最核心的特色是存儲的穩定性。華為雲GaussDB基於與企業存儲相同的分布式存儲架構,經過千行百業的磨煉而不僅僅是單一的某種交易流量,另外各種存儲能力如重刪、壓縮、跨AZ等特性讓快速備份恢復、性價比都具備非常好的優勢。
第三,安全合規,GaussDB經過了ICSL的安全認證,以及很多白盒的代碼層面的認證。特別是隨著歐洲GDPR等標準的實施,以及政企對數據安全性要求的增加,華為雲GaussDB的代碼級、架構級別安全設計,以及多年來在電信級高標准行業的錘煉,經歷了很多實際客戶的嚴苛考驗,讓政企在使用資料庫的時候更加放心。
第四,軟硬體全棧協同。華為雲具備軟硬體全棧研發的實力,無論存儲底座和RDMA高速網路,還是虛擬化和容器之上的性能調優,以及GuestOS上的協議棧優化,特別是基於雲技術之後的全棧優化和雲服務能力,更加是華為雲的優勢。
當然,更為重要的是,雲資料庫採用雲的模式實現了資料庫運維管理的集中化,極大簡化了資料庫的安裝、部署、配置、遷移和優化,大幅提升運維管理效率,讓政企可以投入更多精力聚焦在核心業務創新上。
總結而言: 企業數據上雲和雲上數據治理將成為2021年政企數字化轉型的重中之重,各大技術廠商都在爭奪雲資料庫市場份額。以華為雲全場景資料庫GaussDB為代表的新一代雲資料庫,將滿足政企數字化轉型的全面需求。特別是以華為雲和華為雲Stack為底座,GaussDB可以跨公有雲以及企業本地部署,其技術符合雲及企業本地的要求,同時具有華為雲的高性能、高可用、高安全等保證,可以說政企數字化轉型的全場景保障!(文/寧川)