資料庫中間件
針對不同的應用需求涌現出多種各具特色的中間件產品。但至今中間件還沒有一個比較精確的定義,因此,在不同的角度或不同的層次 上,對中間件的分類也會有所不同。由於中間件需要屏蔽分布環境中異構的操作系統和網路協議,它必須能夠提供分布環境下的通訊服務,將這種通訊服務稱之為平台。基於目的和實現機制的不同,可以將平台分為以下主要幾類:
遠程過程調用(Remote Procere Call)
面向消息的中間件(Message-Oriented Middleware)
對象請求代理(Object Request Brokers)
❷ mysql中間件有哪些
mysql-proxy是官方提供的mysql中間件產品可以實現負載平衡,讀寫分離,failover等,但其不支持大數據量的分庫分表且性能較差。下面介紹幾款能代替其的mysql開源中間件產品,Atlas,cobar,tddl,讓我們看看它們各自有些什麼優點和新特性吧。
Atlas
Atlas是由 Qihoo 360, Web平台部基礎架構團隊開發維護的一個基於MySQL協議的數據中間層項目。它是在mysql-proxy 0.8.2版本的基礎上,對其進行了優化,增加了一些新的功能特性。360內部使用Atlas運行的mysql業務,每天承載的讀寫請求數達幾十億條。
Altas架構:
Atlas是一個位於應用程序與MySQL之間,它實現了MySQL的客戶端與服務端協議,作為服務端與應用程序通訊,同時作為客戶端與MySQL通訊。它對應用程序屏蔽了DB的細節,同時為了降低MySQL負擔,它還維護了連接池。
以下是一個可以參考的整體架構,LVS前端做負載均衡,兩個Altas做HA,防止單點故障。
Altas的一些新特性:
1.主庫宕機不影響讀
主庫宕機,Atlas自動將宕機的主庫摘除,寫操作會失敗,讀操作不受影響。從庫宕機,Atlas自動將宕機的從庫摘除,對應用沒有影響。在mysql官方的proxy中主庫宕機,從庫亦不可用。
2.通過管理介面,簡化管理工作,DB的上下線對應用完全透明,同時可以手動上下線。
3.自己實現讀寫分離
(1)為了解決讀寫分離存在寫完馬上就想讀而這時可能存在主從同步延遲的情況,Altas中可以在SQL語句前增加 /*master*/ 就可以將讀請求強制發往主庫。
主庫可設置多項,用逗號分隔,從庫可設置多項和權重,達到負載均衡。
4.自己實現分表
(1)需帶有分表欄位。
(2)支持SELECT、INSERT、UPDATE、DELETE、REPLACE語句。
(3)支持多個子表查詢結果的合並和排序。
這里不得不吐槽Atlas的分表功能,不能實現分布式分表,所有的子表必須在同一台DB的同一個database里且所有的子表必須事先建好,Atlas沒有自動建表的功能。
5.之前官方主要功能邏輯由使用lua腳本編寫,效率低,Atlas用C改寫,QPS提高,latency降低。
6.安全方面的提升
(1)通過配置文件中的pwds參數進行連接Atlas的用戶的許可權控制。
(2)通過client-ips參數對有許可權連接Atlas的ip進行過濾。
(3)日誌中記錄所有通過Altas處理的SQL語句,包括客戶端IP、實際執行該語句的DB、執行成功與否、執行所耗費的時間 ,如下面例子。
圖4
7.平滑重啟
通過配置文件中設置lvs-ips參數實現平滑重啟功能,否則重啟Altas的瞬間那些SQL請求都會失敗。該參數前面掛接的lvs的物理網卡的ip,注意不是虛ip。平滑重啟的條件是至少有兩台配置相同的Atlas且掛在lvs之後。
source:https://github.com/Qihoo360/Atlas
alibaba.cobar
Cobar是阿里巴巴(B2B)部門開發的一種關系型數據的分布式處理系統,它可以在分布式的環境下看上去像傳統資料庫一樣為您提供海量數據服務。那麼具體說說我們為什麼要用它,或說cobar--能幹什麼?以下是我們業務運行中會存在的一些問題:
1.隨著業務的進行資料庫的數據量和訪問量的劇增,需要對數據進行水平拆分來降低單庫的壓力,而且需要高效且相對透明的來屏蔽掉水平拆分的細節。
2.為提高訪問的可用性,數據源需要備份。
3.數據源可用性的檢測和failover。
4.前台的高並發造成後台資料庫連接數過多,降低了性能,怎麼解決。
針對以上問題就有了cobar施展自己的空間了,cobar中間件以proxy的形式位於前台應用和實際資料庫之間,對前台的開放的介面是mysql通信協議。將前台SQL語句變更並按照數據分布規則轉發到合適的後台數據分庫,再合並返回結果,模擬單庫下的資料庫行為。
Cobar應用舉例
應用架構:
應用介紹:
1.通過Cobar提供一個名為test的資料庫,其中包含t1,t2兩張表。後台有3個MySQL實例(ip:port)為其提供服務,分別為:A,B,C。
2.期望t1表的數據放置在實例A中,t2表的數據水平拆成四份並在實例B和C中各自放兩份。t2表的數據要具備HA功能,即B或者C實例其中一個出現故障,不影響使用且可提供完整的數據服務。
cabar優點總結:
1.數據和訪問從集中式改變為分布:
(1)Cobar支持將一張表水平拆分成多份分別放入不同的庫來實現表的水平拆分
(2)Cobar也支持將不同的表放入不同的庫
(3) 多數情況下,用戶會將以上兩種方式混合使用
注意!:Cobar不支持將一張表,例如test表拆分成test_1,test_2, test_3.....放在同一個庫中,必須將拆分後的表分別放入不同的庫來實現分布式。
2.解決連接數過大的問題。
3.對業務代碼侵入性少。
4.提供數據節點的failover,HA:
(1)Cobar的主備切換有兩種觸發方式,一種是用戶手動觸發,一種是Cobar的心跳語句檢測到異常後自動觸發。那麼,當心跳檢測到主機異常,切換到備機,如果主機恢復了,需要用戶手動切回主機工作,Cobar不會在主機恢復時自動切換回主機,除非備機的心跳也返回異常。
(2)Cobar只檢查MySQL主備異常,不關心主備之間的數據同步,因此用戶需要在使用Cobar之前在MySQL主備上配置雙向同步。
cobar缺點:
開源版本中資料庫只支持mysql,並且不支持讀寫分離。
source:http://code.alibabatech.com/wiki/display/cobar/Home
TDDL
淘寶根據自己的業務特點開發了TDDL(Taobao Distributed Data Layer 外號:頭都大了 ©_Ob)框架,主要解決了分庫分表對應用的透明化以及異構資料庫之間的數據復制,它是一個基於集中式配置的 jdbc datasource實現,具有主備,讀寫分離,動態資料庫配置等功能。
TDDL所處的位置(tddl通用數據訪問層,部署在客戶端的jar包,用於將用戶的SQL路由到指定的資料庫中):
淘寶很早就對數據進行過分庫的處理, 上層系統連接多個資料庫,中間有一個叫做DBRoute的路由來對數據進行統一訪問。DBRoute對數據進行多庫的操作、數據的整合,讓上層系統像操作一個資料庫一樣操作多個庫。但是隨著數據量的增長,對於庫表的分法有了更高的要求,例如,你的商品數據到了百億級別的時候,任何一個庫都無法存放了,於是分成2個、4個、8個、16個、32個……直到1024個、2048個。好,分成這么多,數據能夠存放了,那怎麼查詢它?這時候,數據查詢的中間件就要能夠承擔這個重任了,它對上層來說,必須像查詢一個資料庫一樣來查詢數據,還要像查詢一個資料庫一樣快(每條查詢在幾毫秒內完成),TDDL就承擔了這樣一個工作。在外面有些系統也用DAL(數據訪問層) 這個概念來命名這個中間件。
下圖展示了一個簡單的分庫分表數據查詢策略:
主要優點:
1.資料庫主備和動態切換
2.帶權重的讀寫分離
3.單線程讀重試
4.集中式數據源信息管理和動態變更
5.剝離的穩定jboss數據源
6.支持mysql和oracle資料庫
7.基於jdbc規范,很容易擴展支持實現jdbc規范的數據源
8.無server,client-jar形式存在,應用直連資料庫
9.讀寫次數,並發度流程式控制制,動態變更
10.可分析的日誌列印,日誌流控,動態變更
❸ 資料庫中間件是什麼東西
中間件是位於平台(硬體和操作系統)和應用之間的通用服務,這些服務具有標準的程序介面和協議。而資料庫中間件(Distributed Database Middleware)是解決資料庫容量、性能瓶頸和分布式擴展問題的中間件服務,提供分庫分表、讀寫分離、彈性擴容等能力,應對海量數據的高並發訪問場景,有效提升資料庫讀寫性能。這一塊好像華為,阿里都做的挺不錯的。
❹ 直接操作資料庫和通過中間件操作資料庫的區別
執行效率有一點不同。還有前者操作需要掌握SQL語句。
但通過中間件的話,可以設計成窗口式操作。
❺ 請問一下 主機 資料庫 中間件 存儲 他們之間的關系 怎麼工作的 工作原理 謝謝
先分別解釋下
1 主機就是普通的PC或者是伺服器
2 資料庫通俗點說就是存儲數據的地方,比較常見的有Oracle,SqlServer,DB2等
3 中間件就是運行項目的伺服器,常見的有tomcat,weblogic,websphere等
4 存儲 ,存儲是比較抽象的概念,不是具體的硬體
比如一個web項目,首先將資料庫以及中間件安裝在伺服器上,首先啟動中間件,讓項目開始運行,當瀏覽器訪問項目的時候,將數據存儲在資料庫中
❻ 資料庫中間件是什麼LVS是資料庫中間件么
LVS 不是資料庫中間件
資料庫中間件 你可以使用 互聯網公司的mysql中間件.
❼ 資料庫中間件是什麼有什麼用
中間件是位於平台(硬體和操作系統)和應用之間的通用服務,這些服務具有標準的程序介面和協議。華為資料庫中間件最大用處就是存儲數據,處理大規模數據存儲和高並發資料庫訪問,避免流量高峰時系統癱瘓。
❽ ODBC是一種標準的資料庫中間件,它的全稱是什麼
Open Database Connectivity
❾ 資料庫中間件有哪些
它能使數據緩沖作用,減少數據直接讀取的功效,起到安全、高效的作用。
方正飛鴻數據中間件就是其中之一,為客戶提供應用整合的方法、工具和平台,幫助客戶實現應用整合、數據整合和跨部門的流程整合。
❿ 資料庫中間件是什麼
IDC對中間件的定義表明,中間件是一類軟體,而非一種軟體;中間件不僅僅實現互連,還要實現應用之間的互操作;中間件是基於分布式處理的軟體,最突出的特點是其網路通信功能。
中間件是位於平台(硬體和操作系統)和應用之間的通用服務,這些服務具有標準的程序介面和協議。針對不同的操作系統和硬體平台,它們可以有符合介面和協議規范的多種實現。
也許很難給中間件一個嚴格的定義,但中間件應具有如下一些特點:
①滿足大量應用的需要;
②運行於多種硬體和OS平台;
③支持分布計算,提供跨網路、硬體和OS平台的透明性的應用或服務的交互;
④支持標準的協議;
⑤支持標準的介面。