資料庫查詢優化

『壹』 sql 查詢優化

4000多隻是實驗用最基本數據表啊。
查詢速度還不能保證的話，嚴格的說資料庫本身性能是不能讓人滿意的
其次，為什麼同樣的語句要執行數百遍，不能夠公用嗎？，本身減少查詢的次數，也是一種優化。
從硬體上說，可以講這兩張表放入資料庫緩存中進行緩存查詢，這樣可以極大地提高效率（資料庫優化機制中，最常用的緩存其實是放在內存中的），四千多的表應該不會多大的，緩存肯定放的進去。
看你的語句，只怕是用web也就是其它語言調用資料庫的，本身介面設計就是一個大問題，這需要資深人士配合。
總體老說，如果你的資料庫連四千數據量的多次查詢都會導致性能緩慢（尤其是不怎麼佔用存儲的count計算都會導致性能下降）的話，首先應該考慮的資料庫本身的優化。更換設備可能是一個不錯的選擇。

『貳』 怎樣優化資料庫查詢怎樣才能提高資料庫的查詢效率

網上有好多這方面的帖子，但我就不去找了。把我知道的幾點給你列一下。
第一點：網速得給力，也就是應用伺服器和資料庫伺服器之間不要做過多限制，特別是防火牆方面的，最好在一個網段
第二點：使用資料庫連接池，無需創建連接，直接查詢
第三點：查詢語句上要明確指定查詢那些列
第四點：連接查詢，嵌套查詢方面要仔細斟酌，選擇最優的方案
第五點：分清各個函數、一些語法的特性，比如要分得清什麼時候用 exists 什麼時候用in
第六點：隨著數據量的增大，再好的語句也會慢下來，可以考慮利用分區
。。。
其他方面還有，可以查看下論壇上的帖子總結一下

『叄』 sql查詢優化

先不要用IN，用
where BUS_Member.id=({0})",listMemberId【0】 ); 用等於一條記錄ID，來看看效果如何。
如果有改的話，那相辦法把你的數據變成一個表，再聯接。

『肆』 mysql資料庫大量查詢次數如何優化

MySQL 8.0.16 已經發布，它像往常一樣增強了組復制 Group Replication 功能。

這篇文章介紹了 MySQL 8.0.16 為 Group Replication 帶來的新功能：

Message fragmentation（信息碎片化）。

背景

Group Replication 目前使用 XCom（一種組通信引擎），特點：原子性，組員狀態檢測等。每個成員的組復制插件先將信息轉發到本地 XCom，再由 XCom 最終以相同的順序將信息傳遞給每個組成員的 Group Replication 插件。

XCom 由單線程實現。當一些成員廣播信息過大時，XCom 線程必須花費更多的時間來處理那個大信息。如果成員的 XCom 線程忙於處理大信息的時間過長，它可能會去查看其他成員的 XCom 實例。例如，忙碌的成員失效。如果是這樣，該組可以從該組中驅逐忙碌的成員。

MySQL 8.0.13 新增group_replication_member_expel_timeout系統變數，您可以通過它來調整將成員從組中驅逐的時間。例如，懷疑成員失敗，但成員實際上忙於處理大信息，給成員足夠的時間來完成處理。在這種情況下，是否為成員增加驅逐超時的設置是一種權衡。有可能等了很久，該成員實際真的失效了。

Message fragmentation（信息碎片化）

MySQL 8.0.16 的 Group Replication 插件新增用來處理大信息的功能：信息碎片化。

簡而言之，您可以為成員的廣播信息指定最大值。超過最大值的信息將分段為較小的塊傳播。

您可以使用 group_replication_communication_max_message_size系統變數指定允許的信息最大值（默認值為10 MiB）。

示例

讓我們用一個例子來解釋新功能。圖1顯示了當綠色成員向組廣播信息時，新功能是如何處理的。

圖1 對傳出信息進行分段

1. 如果信息大小超過用戶允許的最大值（group_replication_communication_max_message_size），則該成員會將信息分段為不超過最大值的塊。

2. 該成員將每個塊廣播到該組，即將每個塊單獨轉發到XCom。

XCom 最終將這些塊提供給組成員。下面三張圖展示出了中間綠色成員發送大信息時工作的新特徵。

圖2a 重新組合傳入的信息：第一個片段

3. 成員得出結論，傳入的信息實際上是一個更大信息的片段。

4. 成員緩沖傳入的片段，因為他們認為片段是仍然不完整的信息的一部分。（片段包含必要的元數據以達到這個結論。）

圖2b 重新組合傳入的信息：第二個片段

5. 見上面的第3步。

6. 見上面的第4步。

圖2c 重新組合傳入的信息：最後一個片段

7. 成員得出結論，傳入的信息實際上是一個更大信息的片段。

8. 成員得出結論，傳入的片段是最後一個缺失的塊，重新組合原始信息，然後對其進行處理，傳輸完畢。

結論

MySQL 8.0.16 已經發布後，組復制現在可以確保組內交換的信息大小不超過用戶定義的閾值。這可以防止組內誤判而驅逐成員。

『伍』 資料庫表數據量大怎麼優化查詢速度

1. 合理使用索引；

2. 避免或簡化排序；

3. 消除對大型錶行數據的順序存取；

4. 避免相關子查詢；

5. 避免困難的正規表達式；

6. 使用臨時表加速查詢。
   
   

『陸』 資料庫查詢性能優化方式有哪些

1、1、調整數據結構的設計。這一部分在開發信息系統之前完成，程序員需要考慮是否使用ORACLE資料庫的分區功能，對於經常訪問的資料庫表是否需要建立索引等。

2、2、調整應用程序結構設計。這一部分也是在開發信息系統之前完成，程序員在這一步需要考慮應用程序使用什麼樣的體系結構，是使用傳統的Client/Server兩層體系結構，還是使用Browser/Web/Database的三層體系結構。不同的應用程序體系結構要求的資料庫資源是不同的。

3、3、調整資料庫SQL語句。應用程序的執行最終將歸結為資料庫中的SQL語句執行，因此SQL語句的執行效率最終決定了ORACLE資料庫的性能。ORACLE公司推薦使用ORACLE語句優化器（Oracle Optimizer）和行鎖管理器（row-level manager）來調整優化SQL語句。

4、4、調整伺服器內存分配。內存分配是在信息系統運行過程中優化配置的，資料庫管理員可以根據資料庫運行狀況調整資料庫系統全局區（SGA區）的數據緩沖區、日誌緩沖區和共享池的大小；還可以調整程序全局區（PGA區）的大小。需要注意的是，SGA區不是越大越好，SGA區過大會佔用操作系統使用的內存而引起虛擬內存的頁面交換，這樣反而會降低系統。

5、5、調整硬碟I/O，這一步是在信息系統開發之前完成的。資料庫管理員可以將組成同一個表空間的數據文件放在不同的硬碟上，做到硬碟之間I/O負載均衡。

6、6、調整操作系統參數，例如：運行在UNIX操作系統上的ORACLE資料庫，可以調整UNIX數據緩沖池的大小，每個進程所能使用的內存大小等參數。

實際上，上述資料庫優化措施之間是相互聯系的。ORACLE資料庫性能惡化表現基本上都是用戶響應時間比較長，需要用戶長時間的等待。但性能惡化的原因卻是多種多樣的，有時是多個因素共同造成了性能惡化的結果，這就需要資料庫管理員有比較全面的計算機知識，能夠敏感地察覺到影響資料庫性能的主要原因所在。另外，良好的資料庫管理工具對於優化資料庫性能也是很重要的。

ORACLE資料庫性能優化工具

常用的資料庫性能優化工具有：

1、1、ORACLE資料庫在線數據字典，ORACLE在線數據字典能夠反映出ORACLE動態運行情況，對於調整資料庫性能是很有幫助的。

2、2、操作系統工具，例如UNIX操作系統的vmstat，iostat等命令可以查看到系統系統級內存和硬碟I/O的使用情況，這些工具對於管理員弄清出系統瓶頸出現在什麼地方有時候很有用。

3、3、SQL語言跟蹤工具（SQL TRACE FACILITY），SQL語言跟蹤工具可以記錄SQL語句的執行情況，管理員可以使用虛擬表來調整實例，使用SQL語句跟蹤文件調整應用程序性能。SQL語言跟蹤工具將結果輸出成一個操作系統的文件，管理員可以使用TKPROF工具查看這些文件。

4、4、ORACLE Enterprise Manager（OEM），這是一個圖形的用戶管理界面，用戶可以使用它方便地進行資料庫管理而不必記住復雜的ORACLE資料庫管理的命令。

5、5、EXPLAIN PLAN——SQL語言優化命令，使用這個命令可以幫助程序員寫出高效的SQL語言。

ORACLE資料庫的系統性能評估

信息系統的類型不同，需要關注的資料庫參數也是不同的。資料庫管理員需要根據自己的信息系統的類型著重考慮不同的資料庫參數。

1、1、在線事務處理信息系統（OLTP），這種類型的信息系統一般需要有大量的Insert、Update操作，典型的系統包括民航機票發售系統、銀行儲蓄系統等。OLTP系統需要保證資料庫的並發性、可靠性和最終用戶的速度，這類系統使用的ORACLE資料庫需要主要考慮下述參數：

l l 資料庫回滾段是否足夠？

l l 是否需要建立ORACLE資料庫索引、聚集、散列？

l l 系統全局區（SGA）大小是否足夠？

l l SQL語句是否高效？

2、2、數據倉庫系統（Data Warehousing），這種信息系統的主要任務是從ORACLE的海量數據中進行查詢，得到數據之間的某些規律。資料庫管理員需要為這種類型的ORACLE資料庫著重考慮下述參數：

l l 是否採用B*-索引或者bitmap索引？

l l 是否採用並行SQL查詢以提高查詢效率？

l l 是否採用PL/SQL函數編寫存儲過程？

l l 有必要的話，需要建立並行資料庫提高資料庫的查詢效率

SQL語句的調整原則

SQL語言是一種靈活的語言，相同的功能可以使用不同的語句來實現，但是語句的執行效率是很不相同的。程序員可以使用EXPLAIN PLAN語句來比較各種實現方案，並選出最優的實現方案。總得來講，程序員寫SQL語句需要滿足考慮如下規則：

1、1、盡量使用索引。試比較下面兩條SQL語句：

語句A：SELECT dname, deptno FROM dept WHERE deptno NOT IN

(SELECT deptno FROM emp);

語句B：SELECT dname, deptno FROM dept WHERE NOT EXISTS

(SELECT deptno FROM emp WHERE dept.deptno = emp.deptno);

這兩條查詢語句實現的結果是相同的，但是執行語句A的時候，ORACLE會對整個emp表進行掃描，沒有使用建立在emp表上的deptno索引，執行語句B的時候，由於在子查詢中使用了聯合查詢，ORACLE只是對emp表進行的部分數據掃描，並利用了deptno列的索引，所以語句B的效率要比語句A的效率高一些。

2、2、選擇聯合查詢的聯合次序。考慮下面的例子：

SELECT stuff FROM taba a, tabb b, tabc c

WHERE a.acol between :alow and :ahigh

AND b.bcol between :blow and :bhigh

AND c.ccol between :clow and :chigh

AND a.key1 = b.key1

AMD a.key2 = c.key2;

這個SQL例子中，程序員首先需要選擇要查詢的主表，因為主表要進行整個表數據的掃描，所以主表應該數據量最小，所以例子中表A的acol列的范圍應該比表B和表C相應列的范圍小。

3、3、在子查詢中慎重使用IN或者NOT IN語句，使用where (NOT) exists的效果要好的多。

4、4、慎重使用視圖的聯合查詢，尤其是比較復雜的視圖之間的聯合查詢。一般對視圖的查詢最好都分解為對數據表的直接查詢效果要好一些。

5、5、可以在參數文件中設置SHARED_POOL_RESERVED_SIZE參數，這個參數在SGA共享池中保留一個連續的內存空間，連續的內存空間有益於存放大的SQL程序包。

6、6、ORACLE公司提供的DBMS_SHARED_POOL程序可以幫助程序員將某些經常使用的存儲過程「釘」在SQL區中而不被換出內存，程序員對於經常使用並且佔用內存很多的存儲過程「釘」到內存中有利於提高最終用戶的響應時間。

CPU參數的調整

CPU是伺服器的一項重要資源，伺服器良好的工作狀態是在工作高峰時CPU的使用率在90％以上。如果空閑時間CPU使用率就在90％以上，說明伺服器缺乏CPU資源，如果工作高峰時CPU使用率仍然很低，說明伺服器CPU資源還比較富餘。

使用操作相同命令可以看到CPU的使用情況，一般UNIX操作系統的伺服器，可以使用sar –u命令查看CPU的使用率，NT操作系統的伺服器，可以使用NT的性能管理器來查看CPU的使用率。

資料庫管理員可以通過查看v$sysstat數據字典中「CPU used by this session」統計項得知ORACLE資料庫使用的CPU時間，查看「OS User level CPU time」統計項得知操作系統用戶態下的CPU時間，查看「OS System call CPU time」統計項得知操作系統系統態下的CPU時間，操作系統總的CPU時間就是用戶態和系統態時間之和，如果ORACLE資料庫使用的CPU時間占操作系統總的CPU時間90％以上，說明伺服器CPU基本上被ORACLE資料庫使用著，這是合理，反之，說明伺服器CPU被其它程序佔用過多，ORACLE資料庫無法得到更多的CPU時間。

資料庫管理員還可以通過查看v$sesstat數據字典來獲得當前連接ORACLE資料庫各個會話佔用的CPU時間，從而得知什麼會話耗用伺服器CPU比較多。

出現CPU資源不足的情況是很多的：SQL語句的重解析、低效率的SQL語句、鎖沖突都會引起CPU資源不足。

1、資料庫管理員可以執行下述語句來查看SQL語句的解析情況：

SELECT * FROM V$SYSSTAT

WHERE NAME IN

('parse time cpu', 'parse time elapsed', 'parse count (hard)');

這里parse time cpu是系統服務時間，parse time elapsed是響應時間，用戶等待時間

waite time = parse time elapsed – parse time cpu

由此可以得到用戶SQL語句平均解析等待時間＝waite time / parse count。這個平均等待時間應該接近於0，如果平均解析等待時間過長，資料庫管理員可以通過下述語句

SELECT SQL_TEXT, PARSE_CALLS, EXECUTIONS FROM V$SQLAREA

ORDER BY PARSE_CALLS;

來發現是什麼SQL語句解析效率比較低。程序員可以優化這些語句，或者增加ORACLE參數SESSION_CACHED_CURSORS的值。

2、資料庫管理員還可以通過下述語句：

SELECT BUFFER_GETS, EXECUTIONS, SQL_TEXT FROM V$SQLAREA;

查看低效率的SQL語句，優化這些語句也有助於提高CPU的利用率。

3、3、資料庫管理員可以通過v$system_event數據字典中的「latch free」統計項查看ORACLE資料庫的沖突情況，如果沒有沖突的話，latch free查詢出來沒有結果。如果沖突太大的話，資料庫管理員可以降低spin_count參數值，來消除高的CPU使用率。

內存參數的調整

內存參數的調整主要是指ORACLE資料庫的系統全局區（SGA）的調整。SGA主要由三部分構成：共享池、數據緩沖區、日誌緩沖區。

1、 1、 共享池由兩部分構成：共享SQL區和數據字典緩沖區，共享SQL區是存放用戶SQL命令的區域，數據字典緩沖區存放資料庫運行的動態信息。資料庫管理員通過執行下述語句：

select (sum(pins - reloads)) / sum(pins) "Lib Cache" from v$librarycache;

來查看共享SQL區的使用率。這個使用率應該在90％以上，否則需要增加共享池的大小。資料庫管理員還可以執行下述語句：

select (sum(gets - getmisses - usage - fixed)) / sum(gets) "Row Cache" from v$rowcache;

查看數據字典緩沖區的使用率，這個使用率也應該在90％以上，否則需要增加共享池的大小。

2、 2、 數據緩沖區。資料庫管理員可以通過下述語句：

SELECT name, value FROM v$sysstat WHERE name IN ('db block gets', 'consistent gets','physical reads');

來查看資料庫數據緩沖區的使用情況。查詢出來的結果可以計算出來數據緩沖區的使用命中率＝1 - ( physical reads / (db block gets + consistent gets) )。

這個命中率應該在90％以上，否則需要增加數據緩沖區的大小。

3、 3、 日誌緩沖區。資料庫管理員可以通過執行下述語句：

select name,value from v$sysstat where name in ('redo entries','redo log space requests');查看日誌緩沖區的使用情況。查詢出的結果可以計算出日誌緩沖區的申請失敗率：

申請失敗率＝requests/entries，申請失敗率應該接近於0，否則說明日誌緩沖區開設太小，需要增加ORACLE資料庫的日誌緩沖區。

『柒』 資料庫查詢有哪些優化方面

1 SQL查詢語句的重寫，對於一個查詢可以用多種查詢語句實現，但不同查詢語句的資料庫執行計劃是不同的，一旦不能夠使用索引或造成較大的內存佔用會導致性能下降，因此需要對查詢語句進行重寫優化，最典型的例子就是not in語句使用外連接方式實現來進行優化
2 創建合理的索引結構，根據查詢語句的中查詢條件，在關系表上建立相應的索引，如B+樹索引和hash索引
3 修改程序業務邏輯，有些功能如果使用SQL語句實現，不但SQL語句復雜，還將導致資料庫的負擔增加，因此可以將有些數據操作的業務邏輯放到應用層進行實現，就是通過java編程實現
4 修改資料庫伺服器相關參數，優化伺服器性能

『捌』 如何優化資料庫中數據的查詢

1.應盡量避免在 where 子句中對欄位進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如：
select id from t where num is null
可以在num上設置默認值0，確保表中num列沒有null值，然後這樣查詢：
select id from t where num=0
2.應盡量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。優化器將無法通過索引來確定將要命中的行數,因此需要搜索該表的所有行。
3.應盡量避免在 where 子句中使用 or 來連接條件，否則將導致引擎放棄使用索引而進行全表掃描，如：
select id from t where num=10 or num=20
可以這樣查詢：
select id from t where num=10
union all
select id from t where num=20
4.in 和 not in 也要慎用，因為IN會使系統無法使用索引,而只能直接搜索表中的數據。如：
select id from t where num in(1,2,3)
對於連續的數值，能用 between 就不要用 in 了：
select id from t where num between 1 and 3
5.盡量避免在索引過的字元數據中，使用非打頭字母搜索。這也使得引擎無法利用索引。
見如下例子：
SELECT * FROM T1 WHERE NAME LIKE 『%L%』
SELECT * FROM T1 WHERE SUBSTING(NAME,2,1)=』L』
SELECT * FROM T1 WHERE NAME LIKE 『L%』
即使NAME欄位建有索引，前兩個查詢依然無法利用索引完成加快操作，引擎不得不對全表所有數據逐條操作來完成任務。而第三個查詢能夠使用索引來加快操作。
6.必要時強制查詢優化器使用某個索引，如在 where 子句中使用參數，也會導致全表掃描。因為SQL只有在運行時才會解析局部變數，但優化程序不能將訪問計劃的選擇推遲到運行時；它必須在編譯時進行選擇。然而，如果在編譯時建立訪問計劃，變數的值還是未知的，因而無法作為索引選擇的輸入項。如下面語句將進行全表掃描：
select id from t where num=@num
可以改為強制查詢使用索引：
select id from t with(index(索引名)) where num=@num
7.應盡量避免在 where 子句中對欄位進行表達式操作，這將導致引擎放棄使用索引而進行全表掃描。如：
SELECT * FROM T1 WHERE F1/2=100
應改為:
SELECT * FROM T1 WHERE F1=100*2
SELECT * FROM RECORD WHERE SUBSTRING(CARD_NO,1,4)=』5378』
應改為:
SELECT * FROM RECORD WHERE CARD_NO LIKE 『5378%』
SELECT member_number, first_name, last_name FROM members
WHERE DATEDIFF(yy,datofbirth,GETDATE()) > 21
應改為:
SELECT member_number, first_name, last_name FROM members
WHERE dateofbirth < DATEADD(yy,-21,GETDATE())
即：任何對列的操作都將導致表掃描，它包括資料庫函數、計算表達式等等，查詢時要盡可能將操作移至等號右邊。
8.應盡量避免在where子句中對欄位進行函數操作，這將導致引擎放棄使用索引而進行全表掃描。如：
select id from t where substring(name,1,3)='abc'--name以abc開頭的id
select id from t where datediff(day,createdate,'2005-11-30')=0--『2005-11-30』生成的id
應改為:
select id from t where name like 'abc%'
select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'
9.不要在 where 子句中的「=」左邊進行函數、算術運算或其他表達式運算，否則系統將可能無法正確使用索引。
10.在使用索引欄位作為條件時，如果該索引是復合索引，那麼必須使用到該索引中的第一個欄位作為條件時才能保證系統使用該索引，否則該索引將不會被使用，並且應盡可能的讓欄位順序與索引順序相一致。
11.很多時候用 exists是一個好的選擇：
elect num from a where num in(select num from b)
用下面的語句替換：
select num from a where exists(select 1 from b where num=a.num)
SELECT SUM(T1.C1)FROM T1 WHERE(
(SELECT COUNT(*)FROM T2 WHERE T2.C2=T1.C2>0)
SELECT SUM(T1.C1) FROM T1WHERE EXISTS(
SELECT * FROM T2 WHERE T2.C2=T1.C2)
兩者產生相同的結果，但是後者的效率顯然要高於前者。因為後者不會產生大量鎖定的表掃描或是索引掃描。

『玖』 mysql 資料庫查詢優化

關於查詢語句優化，你可以看看danish shasha寫的一本《資料庫系統性能調優》，裡面介紹的一些語句的優化方法 。對於你的語句，裡面的 建議 是 將這個語句變為 兩個 子查詢結果的UNION，即：
select p.id from project p,comment c where c.target_id=p.id and c.target_type=500 and c.uid=10001
Union
select p.id from project p,bookmark b where b.project_id=p.id and b.uid=10001;
仔細看 你 會發現，你原來的語句有不必要的笛卡爾集連接操作，所以慢，因為第一個子查詢和bookmark無關，第二各子查詢和comment無關，但按照你的語句，資料庫生成執行計劃的時候 or的兩個條件都要執行笛卡爾集的運算，會造成很大的開銷的。

『拾』 SQL資料庫查詢的優化

這個問題太大了，不懂就加內存，加CPU，用RAID存儲。