提高資料庫性能
⑴ 如何提高oracle資料庫的性能
在公路建設中,通過建立多條車道可以提高道路的流量。其實這個道理在Oracle資料庫中也行得通。即可以將關鍵數據文件存儲在多塊硬碟上,以提高Oracle資料庫的性能。可惜的是,不少資料庫管理員沒有意識到這一點。在這篇文章中筆者就以Oracle11G為例,說明如何通過在硬碟之間分布關鍵數據文件來提高性能。 一、在硬碟之間分布關鍵數據文件的基本原則。
在傳統的文件系統上(即不是在裸機上)部署Oracle資料庫,可以通過將關鍵的數據文件分布到多個可用的文件系統上或者不同的硬碟上來提高資料庫的性能。具體的來說,需要遵循如下幾個原則。
一是對於表來說,往往包含兩個部分,即基本表與索引表。只要為基本表中的欄位創建了索引,其對應的就有一張索引表。當用戶訪問表中的數據時,應用系統需要同時訪問到索引表與數據表。此時我們可以將這兩張表比喻成兩輛車。如果現在只有一個車道(即將他們同時存放在一個硬碟或者文件系統中),那麼兩輛車必須前後行使。而如果現在有兩個車道(即將基本表與其相對應的索引表存放在不同的硬碟或者文件系統中),那麼這兩輛車就可以並排行使。顯然,後者的效率更高。為此筆者建議,可將經常需要訪問的表和與之對應的索引表分開來存放。
二是可以將日誌文件也分開來存放。不光光是數據表與索引表存在著這種狀況。其實在日誌文件管理中也是如此。只要條件允許,那麼最好能夠將聯機重做日誌和歸檔日誌與其它數據文件存放在不同的硬碟或者文件系統上。因為當用戶往資料庫中寫入數據時,需要同時往數據文件與重做日誌文件中寫入數據。此時如果將它們分開來存放,那麼就相當於有了多條車道,分別往不同的文件中寫入數據。這無疑就可以提高數據寫入的效率,從而提高資料庫的性能。
二、哪些文件最好能夠分開存放?
在講到硬碟之間分布關鍵數據文件的基本原則的時候,筆者舉了幾個需要分開存放的幾個案例。但是在實際工作中,並不僅僅局限於上面提到的這些文件。筆者認為,如果條件允許的話,那麼可以考慮將如下文件放置在不同的硬碟上。
一是表空間,如臨時表空間、系統表空間、UNDO表空間等等。這三個表空間可能系統會同時進行訪問。為此需要將其分開來存放。二是數據文件和索引文件。上面提到過,需要將經常訪問的數據文件與其對應的索引文件存放在不同的硬碟上。因為這兩類文件在訪問數據時也可能會同時訪問到。三是操作系統盤與資料庫文件單獨存放。顯然Oracle系統肯定是與操作系統同時運行的。為了避免他們之間的I/Q沖突,就需要將Oracle部署在操作系統盤以外的磁碟上。四是聯機重做日誌文件。這個文件比較復雜,不但要將其與其他文件分開來存放。而且還需要注意的是,最好能夠將其存放在性能最佳的硬碟上。
最後需要說明的一點是,增加磁碟也會增加成本。這不光光是購買磁碟所需要的花費,還包括管理的成本。所以這之間也會涉及到成本與性能之間的一個均衡問題。如果企業的數據不是很多,或者主要是涉及到查詢操作,那麼這么設計的話,就可能不怎麼合理。因為投入要大於回報。
三、如何確定是否需要將文件分開來存放?
在實際工作中,企業的數據是一個從少到多的過程。也就是說,剛開始使用資料庫的時候,可能數據量比較少,此時出於成本的考慮,沒有將相關文件存放在不同的磁碟上。但是隨著工作的深入,用戶會發現資料庫的性能在逐漸的降低。此時管理員就需要考慮,能夠採取這種多建車道的措施,來提高資料庫性能。當然在採取這個措施之前,管理員需要先進性評估。此時評估所需要用到的一個指標就是磁碟的I/O爭用。
磁碟爭用通常發生在有多個進程試圖同時訪問一個物理磁碟的情況下。如現在用戶需要訪問某個數據表中的數據,此時系統需要訪問索引文件與數據表文件。如果將它們放置在同一磁碟上,那麼在訪問時就會發生I/O沖突。所以評估I/O沖突的嚴重程度,可以幫我們來確定是否需要將關鍵文件存放在不同的磁碟上。
將I/O平均的分布到多個可用的磁碟上,這可以有效的減少磁碟之間的爭用情況,提高數據存儲與讀取的性能。從而提高Oracle等應用程序的效率。在實際工作中,資料庫控制文件中有兩個參數可以用來幫助我們評估這個指標。這兩個參數是文件平均讀取時間和文件平均寫入時間。不過在使用這兩個參數的時候,其只評估所有與資料庫相關聯的文件。管理員如果有需要的話,也可以通過下面的查詢語句來查詢數據文件是否存在I/O問題。查詢的語法與結果如下圖所示:
從如上的查詢結果中可以看出某個數據文件是否繁忙,數據文件之間是否存在著/I/O沖突文件。這里需要注意的是,這個結果是一個動態的結果。在不同的時刻、用戶進行不同的操作時往往會得出不同的結論。為此筆者建議,在使用這個數據的時候,最好能夠多跟蹤幾次。然後分析多次運行的結果。只有如此,才能夠得到比較合乎情理的判斷。 通常情況下,管理員根據上面的結果可以得出三種結論。
第一種結論是上面這些數據文件都不是很忙。即文件的平均讀取時間與寫入時間都比較短,表示這兩個文件都是比較空閑的。此時正常情況下,資料庫的性能應該是不錯的。也就是說,如果此時資料庫的性能不理想的話,那麼就不是磁碟的I/O所造成的。管理員應該從其他角度來改善資料庫的性能。
第二種結論是每個資料庫文件都非常的繁忙。此時有可能是讀取時間或者寫入時間比較長,或者說兩個時間都比較長。當多個數據文件同時比較繁忙並且他們處於同一磁碟的話,那麼管理員就需要考慮購買新的磁碟,然後將上面提到的這些關鍵文件重新整理,讓他們部署在不同的磁碟上。
第三種結論是某幾個特定的數據文件比較繁忙,而其他數據文件還可以。此時管理員如果成本受到限制,那麼也不需要重新購買硬碟。在磁碟上的物理寫入和讀取次數上如果出現比較大的差異,就表明某個磁碟負載過大,即有很嚴重的I/O沖突。此時最好能夠將這個磁碟中的文件進行調整,如將某些文件移動到另外的一塊I/O相對不怎麼嚴重的磁碟上。不過在採取這個操作的時候,需要注意一點。對於聯機重做日誌文件來說,即使其所在的磁碟I/O沖突比較低,或者訪問這個文件的時間比較短,但是也不建議將其他數據文件轉移到其所在的磁碟上來。因為通常情況下,為了保障資料庫的性能,我們都建議將聯機重做日誌文件單獨存放,並且還需要講起放置在性能比較高的硬碟上。
總之,將關鍵的Oracle資料庫文件分開放置。如此的話可以有效避免磁碟爭用成為Oracle資料庫系統的性能瓶頸。
⑵ 如何優化資料庫的性能
--資料庫性能調優
--1.聚集索引、主鍵
--2.盡量不要用臨時表
--3.多多使用事務
--4.表設計要規范
--5.不要使用游標
--6.避免死鎖
--7.不要打開大數據集
--8.最好不要select *
--9.不要使用text數據類型,用varchar
--10.不要給諸如「性別」列創建索引
--11.不要使用Insert插入大量的數據
--12.盡量用join代替where,因為where進行全表搜索
⑶ 如何對資料庫性能進行優化
1.資料庫I/O方面硬體性能
最有可能影響性能的是磁碟和網路吞吐量。解決辦法:
擴大虛擬內存,並保證有足夠可以擴充的空間
把資料庫伺服器上的不必要服務關閉掉
把sql資料庫伺服器的吞吐量調為最大
若對該表的查詢頻率比較高,則建立索引。
分區(如MySQL,按時間分區)
盡量使用固定長度欄位和限制欄位長度(如 varchar(10))優勢:
降低物理存儲空間
提高資料庫處理速度
附帶校驗資料庫是否合法功能優化sql語句,減少比較次數
限制返回條目數(mysql中使用limit)
盡可能的少創造對象
合理擺正系統設計的位置。大量數據操作,和少量數據操作一定是分開的。
合理利用內存,有的數據要緩存。讓數據流起來,而不是全部讀到內存再處理,而是邊讀取邊處理。
2.調整資料庫
3.使用存儲過程
應用程序的實現過程中,能夠採用存儲過程實現的對資料庫的操作盡量通過存儲過程來實現。
因為存儲過程是存放在資料庫伺服器上的一次性被設計、編碼、測試,並被再次使用,需要執行該任務的應用可以簡單地執行存儲過程,並且只返回結果集或者數值。
這樣不僅可以使程序模塊化,同時提高響應速度,減少網路流量,並且通過輸入參數接受輸入,使得在應用中完成邏輯的一致性實現。
4.SQL語句方面
建立查詢條件索引僅僅是提高速度的前提條件,響應速度的提高還依賴於對索引的使用。不良的SQL往往來自於不恰當的索引設計、不充份的連接條件和不可優化的where子句。
5.Java方面
⑷ 資料庫性能優化有哪些措施
1、調整數據結構的設計。這一部分在開發信息系統之前完成,程序員需要考慮是否使用ORACLE資料庫的分區功能,對於經常訪問的資料庫表是否需要建立索引等。
2、調整應用程序結構設計。這一部分也是在開發信息系統之前完成,程序員在這一步需要考慮應用程序使用什麼樣的體系結構,是使用傳統的Client/Server兩層體系結構,還是使用Browser/Web/Database的三層體系結構。不同的應用程序體系結構要求的資料庫資源是不同的。
3、調整資料庫SQL語句。應用程序的執行最終將歸結為資料庫中的SQL語句執行,因此SQL語句的執行效率最終決定了ORACLE資料庫的性能。ORACLE公司推薦使用ORACLE語句優化器(Oracle Optimizer)和行鎖管理器(row-level manager)來調整優化SQL語句。
4、調整伺服器內存分配。內存分配是在信息系統運行過程中優化配置的,資料庫管理員可以根據資料庫運行狀況調整資料庫系統全局區(SGA區)的數據緩沖區、日誌緩沖區和共享池的大小;還可以調整程序全局區(PGA區)的大小。需要注意的是,SGA區不是越大越好,SGA區過大會佔用操作系統使用的內存而引起虛擬內存的頁面交換,這樣反而會降低系統。
5、調整硬碟I/O,這一步是在信息系統開發之前完成的。資料庫管理員可以將組成同一個表空間的數據文件放在不同的硬碟上,做到硬碟之間I/O負載均衡。
6、調整操作系統參數,例如:運行在UNIX操作系統上的ORACLE資料庫,可以調整UNIX數據緩沖池的大小,每個進程所能使用的內存大小等參數。
資料庫(Database)是按照數據結構來組織、存儲和管理數據的倉庫,它產生於距今六十多年前,隨著信息技術和市場的發展,特別是二十世紀九十年代以後,數據管理不再僅僅是存儲和管理數據,而轉變成用戶所需要的各種數據管理的方式。資料庫有很多種類型,從最簡單的存儲有各種數據的表格到能夠進行海量數據存儲的大型資料庫系統都在各個方面得到了廣泛的應用。
在信息化社會,充分有效地管理和利用各類信息資源,是進行科學研究和決策管理的前提條件。資料庫技術是管理信息系統、辦公自動化系統、決策支持系統等各類信息系統的核心部分,是進行科學研究和決策管理的重要技術手段。
在經濟管理的日常工作中,常常需要把某些相關的數據放進這樣的「倉庫」,並根據管理的需要進行相應的處理。
例如,企業或事業單位的人事部門常常要把本單位職工的基本情況(職工號、姓名、年齡、性別、籍貫、工資、簡歷等)存放在表中,這張表就可以看成是一個資料庫。有了這個"數據倉庫"我們就可以根據需要隨時查詢某職工的基本情況,也可以查詢工資在某個范圍內的職工人數等等。這些工作如果都能在計算機上自動進行,那我們的人事管理就可以達到極高的水平。此外,在財務管理、倉庫管理、生產管理中也需要建立眾多的這種"資料庫",使其可以利用計算機實現財務、倉庫、生產的自動化管理。
(4)提高資料庫性能擴展閱讀
資料庫,簡單來說是本身可視為電子化的文件櫃--存儲電子文件的處所,用戶可以對文件中的數據進行新增、截取、更新、刪除等操作。
資料庫指的是以一定方式儲存在一起、能為多個用戶共享、具有盡可能小的冗餘度的特點、是與應用程序彼此獨立的數據集合。
在經濟管理的日常工作中,常常需要把某些相關的數據放進這樣的"倉庫",並根據管理的需要進行相應的處理。
例如,企業或事業單位的人事部門常常要把本單位職工的基本情況(職工號、姓名、年齡、性別、籍貫、工資、簡歷等)存放在表中,這張表就可以看成是一個資料庫。有了這個"數據倉庫"我們就可以根據需要隨時查詢某職工的基本情況,也可以查詢工資在某個范圍內的職工人數等等。這些工作如果都能在計算機上自動進行,那我們的人事管理就可以達到極高的水平。此外,在財務管理、倉庫管理、生產管理中也需要建立眾多的這種"資料庫",使其可以利用計算機實現財務、倉庫、生產的自動化管理。
⑸ 怎麼提高資料庫系統運行性能
磁碟I/O通常都是資料庫的瓶頸,我的實踐經驗是從查找sql語句入手:
1.先分析出你的top sql(就是耗費I/O資源最多的sql語句)
2.這些top sql是否合理,最簡單的就是索引是否正確的定義與使用了(當然還有其他n多種可能)
3.將以上步驟反復進行,直到整個系統I/O負載明顯下降
具體的設置方式與語句和你用的資料庫具體是什麼廠家的以及版本有關,有需要可以追問
⑹ 怎樣提高資料庫的性能
1、使你的資料庫結構規范化,但是不要求一定達到第三範式,為了顯示和列印目的可以有數據冗餘2、評估你的系統中對性能影響的關鍵處,減少被頻繁訪問的核心表的數量,並在這些核心 表上重點優化索引,表結構(盡量緊湊)。典型的核心表是代碼表。 3、對於統計類應用,如果可能應寫成觸發器和存儲過程,這樣就有可能把一個消耗大量時 間的統計運算分布到每INSERT,DELETE,或者UPDATE來處理,從而極大提高查詢類操作的速度。 查詢選擇群居索引最有效。其他索引也要針對業務進行選擇。由於維護索引也要消耗系 統資源和時間,所以過多的索引對性能是損害甚至是毫無效果的。 5、如果可能,可以利用大資料庫對SQL的一些特殊規定來進一步優化,比如查詢暗示。 6、適當選擇硬體,綜合考慮CPU,內存,I/O系統的性能,以當前的CPU,內存配置來看, 很多資料庫系統的瓶頸出在I/O系統上。所以如果有可能,最好使用RAID。 當然如果你有足夠的財力,可以買更好的伺服器,或者搞伺服器集群就更利害啦。 7、可能的話,盡量使用存儲過程,因為存儲過程的執行計劃可以重復使用,而且不需要 象普通由CLIENT提交的SQL那樣進行處理和編譯。 8、檢查你的應用程序設計,如果有可能,盡量減少查詢次數和在網路上往返的數據。為了 獲取少量欄位而寫SELECT * 對性能的損害也比較利害。 9、在應用程序中協調並發和一致性之間的矛盾。並不是所有業務都需要放在事務中。大量 業務是允許臟讀的,在不關鍵事務中使用臟讀,或者讀提交,可以大大降低DEADLOCK和 進程之間彼此等待的機會,從而把由於互相鎖定資源引起的等待降低到最小。 不要在事務執行中進行大量計算或者與用戶交互的操作,因為事務的執行在要求上是 不允許被打斷的原子操作(回滾是失敗的),所以事務應該多而短小。長事務會鎖住 很多資源比較長的時間,因此也比較容易導致其他進程對資源的等待和死鎖的機會。 10、評估你開發系統的關鍵業務,在很多資料庫系統對性能的要求是彼此矛盾的,比如OLTP 應用和DSS是不同的。DSS傾向於使用各種索引加快檢索速度,而大量的索引對OLTP則是負擔。 11、不要在應用程序中寫怪異的SQL 查詢,比如 WHERE money!40000,這樣的語句,這種 SQL查詢,資料庫的SQL優化器是無法進行優化的。 12、定期維護和管理你的資料庫系統,壓縮掉那些垃圾空間,很多資料庫系統執行類似 刪除,事務等操作的時候,並不回收無用的物理空間。所以,制定一份合理的資料庫 維護計劃,不要等日誌文件或者LOG文件越長越大的時候才去整理資料庫。 還有很多很多要注意的東西,。。。。。。
⑺ 資料庫性能優化主要包括哪些方面
資料庫性能優化主要包括以下幾個方面:
1、sql語句的執行計劃是否正常;
2、減少應用和資料庫的交互次數、同一個sql語句的執行次數;
3、資料庫實體的碎片的整理;
4、減少表之間的關聯,特別對於批量數據處理,盡量單表查詢數據,統一在內存中進行邏輯處理,減少資料庫壓力;
5、對訪問頻繁的數據,充分利用資料庫cache和應用的緩存;
6、數據量比較大的,在設計過程中,為了減少其他表的關聯,增加一些冗餘欄位,提高查詢性能。
在應用系統開發初期,由於開發資料庫數據比較少,對於查詢SQL語句,復雜視圖的的編寫等體會不出SQL語句各種寫法的性能優劣,但是如果將應用系統提交實際應用後,隨著資料庫中數據的增加,系統的響應速度就成為目前系統需要解決的最主要的問題之一。
系統優化中一個很重要的方面就是SQL語句的優化。對於海量數據,劣質SQL語句和優質SQL語句之間的速度差別可以達到上百倍,可見對於一個系統不是簡單地能實現其功能就可,而是要寫出高質量的SQL語句,提高系統的可用性。
⑻ 為什麼資料庫讀寫分離能提高資料庫的性能
讀寫分離主要目的是提高系統吞吐量。某些網站同一時間有大量的讀操作和較少的寫操作。同時,讀操作對數據的實時性要求並沒有那麼高。在此前提下,可以這么設計解決方案。
所以你問題里「數據仍然需要同步」這個理解是不對的。事實上,正是由於允許用戶讀到幾秒鍾甚至幾分鍾前的數據,才可以使用讀寫分離的。
所以這種方案其實就是以數據的時效性,換取了讀操作的吞吐率。
⑼ oracle資料庫的性能優化有哪些方法
你最好買一本專門講ORACLE性能優化的書,好好看看
1、調整資料庫伺服器的性能
Oracle資料庫伺服器是整個系統的核心,它的性能高低直接影響整個系統的性能,為了調整Oracle資料庫伺服器的性能,主要從以下幾個方面考慮:
1.1、調整操作系統以適合Oracle資料庫伺服器運行
Oracle資料庫伺服器很大程度上依賴於運行伺服器的操作系統,如果操作系統不能提供最好性能,那麼無論如何調整,Oracle資料庫伺服器也無法發揮其應有的性能。
1.1.1、為Oracle資料庫伺服器規劃系統資源
據已有計算機可用資源, 規劃分配給Oracle伺服器資源原則是:盡可能使Oracle伺服器使用資源最大化,特別在Client/Server中盡量讓伺服器上所有資源都來運行Oracle服務。
1.1.2、調整計算機系統中的內存配置
多數操作系統都用虛存來模擬計算機上更大的內存,它實際上是硬碟上的一定的磁碟空間。當實際的內存空間不能滿足應用軟體的要求時,操作系統就將用這部分的磁碟空間對內存中的信息進行頁面替換,這將引起大量的磁碟I/O操作,使整個伺服器的性能下降。為了避免過多地使用虛存,應加大計算機的內存。
1.1.3、為Oracle資料庫伺服器設置操作系統進程優先順序
不要在操作系統中調整Oracle進程的優先順序,因為在Oracle資料庫系統中,所有的後台和前台資料庫伺服器進程執行的是同等重要的工作,需要同等的優先順序。所以在安裝時,讓所有的資料庫伺服器進程都使用預設的優先順序運行。
1.2、調整內存分配
Oracle資料庫伺服器保留3個基本的內存高速緩存,分別對應3種不同類型的數據:庫高速緩存,字典高速緩存和緩沖區高速緩存。庫高速緩存和字典高速緩存一起構成共享池,共享池再加上緩沖區高速緩存便構成了系統全程區(SGA)。SGA是對資料庫數據進行快速訪問的一個系統全程區,若SGA本身需要頻繁地進行釋放、分配,則不能達到快速訪問數據的目的,因此應把SGA放在主存中,不要放在虛擬內存中。內存的調整主要是指調整組成SGA的內存結構的大小來提高系統性能,由於Oracle資料庫伺服器的內存結構需求與應用密切相關,所以內存結構的調整應在磁碟I/O調整之前進行。
1.2.1、庫緩沖區的調整
庫緩沖區中包含私用和共享SQL和PL/SQL區,通過比較庫緩沖區的命中率決定它的大小。要調整庫緩沖區,必須首先了解該庫緩沖區的活動情況,庫緩沖區的活動統計信息保留在動態性能表v$librarycache數據字典中,可通過查詢該表來了解其活動情況,以決定如何調整。
Select sum(pins),sum(reloads) from v$librarycache;
Pins列給出SQL語句,PL/SQL塊及被訪問對象定義的總次數;Reloads列給出SQL 和PL/SQL塊的隱式分析或對象定義重裝載時在庫程序緩沖區中發生的錯誤。如果sum(pins)/sum(reloads) ≈0,則庫緩沖區的命中率合適;若sum(pins)/sum(reloads)>1, 則需調整初始化參數 shared_pool_size來重新調整分配給共享池的內存量。
1.2.2、數據字典緩沖區的調整
數據字典緩沖區包含了有關資料庫的結構、用戶、實體信息。數據字典的命中率,對系統性能影響極大。數據字典緩沖區的使用情況記錄在動態性能表v$librarycache中,可通過查詢該表來了解其活動情況,以決定如何調整。
Select sum(gets),sum(getmisses) from v$rowcache;
Gets列是對相應項請求次數的統計;Getmisses 列是引起緩沖區出錯的數據的請求次數。對於頻繁訪問的數據字典緩沖區,sum(getmisses)/sum(gets)<10%~15%。若大於此百分數,則應考慮增加數據字典緩沖區的容量,即需調整初始化參數shared_pool_size來重新調整分配給共享池的內存量。
1.2.3、緩沖區高速緩存的調整
用戶進程所存取的所有數據都是經過緩沖區高速緩存來存取,所以該部分的命中率,對性能至關重要。緩沖區高速緩存的使用情況記錄在動態性能表v$sysstat中,可通過查詢該表來了解其活動情況,以決定如何調整。
Select name,value from v$sysstat where name in ('dbblock gets','consistent gets','physical reads');
dbblock gets和consistent gets的值是請求數據緩沖區中讀的總次數。physical reads的值是請求數據時引起從盤中讀文件的次數。從緩沖區高速緩存中讀的可能性的高低稱為緩沖區的命中率,計算公式:
Hit Ratio=1-(physical reds/(dbblock gets+consistent gets))
如果Hit Ratio<60%~70%,則應增大db_block_buffers的參數值。db_block_buffers可以調整分配給緩沖區高速緩存的內存量,即db_block_buffers可設置分配緩沖區高速緩存的數據塊的個數。緩沖區高速緩存的總位元組數=db_block_buffers的值*db_block_size的值。db_block_size 的值表示數據塊大小的位元組數,可查詢 v$parameter 表:
select name,value from v$parameter where name='db_block_size';
在修改了上述資料庫的初始化參數以後,必須先關閉資料庫,在重新啟動資料庫後才能使新的設置起作用。