資料庫並發數
mysql的最大連接數默認是100, 這個數值對於並發連接很多的資料庫應用是遠遠不夠的，當連接請求大於默認連接數後，就會出現無法連接資料庫的錯誤，因此我們需要把它適當調大一些。 調節方法為： 1.linux伺服器中：改my中國f中的值就行了 2.Windows伺服器中（我用的）: 在文件「my.ini」中找到段 [mysqld],在其中添加一行 max_connections=200 ### 200可以更改為想設置成的值. 然後重啟"mysql"服務。 /mysqladmin所在路徑/mysqladmin -uroot -p variables 輸入root資料庫賬號的密碼後可看到 | max_connections | 1000 | 其他需注意的： 在編程時，由於用mysql語句調用資料庫時，在每次之執行語句前，會做一個臨時的變數用來打開資料庫，所以你在使用mysql語句的時候，記得在每次調用完mysql之後就關閉mysql臨時變數。 另外對於訪問量大的，可以考慮直接寫到文本中，根據預測的訪問量，先定義假若是100個文件文件名依次為1.txt,2.txt...100.txt。需要的時候，再對所有文本文件中的數據進行分析，再導入資料庫
B. 如何處理資料庫並發問題
想要知道如何處理數據並發，自然需要先了解數據並發。
什麼是數據並發操作呢？
就是同一時間內，不同的線程同時對一條數據進行讀寫操作。
在互聯網時代，一個系統常常有很多人在使用，因此就可能出現高並發的現象，也就是不同的用戶同時對一條數據進行操作，如果沒有有效的處理，自然就會出現數據的異常。而最常見的一種數據並發的場景就是電商中的秒殺，成千上萬個用戶對在極端的時間內，搶購一個商品。針對這種場景，商品的庫存就是一個需要控制的數據，而多個用戶對在同一時間對庫存進行重寫，一個不小心就可能出現超賣的情況。
針對這種情況，我們如何有效的處理數據並發呢？
第一種方案、資料庫鎖
從鎖的基本屬性來說，可以分為兩種：一種是共享鎖（S），一種是排它鎖（X）。在MySQL的資料庫中，是有四種隔離級別的，會在讀寫的時候，自動的使用這兩種鎖，防止數據出現混亂。
這四種隔離級別分別是：
讀未提交（Read Uncommitted）
讀提交（Read Committed）
可重復讀（Repeated Read）
串列化（Serializable）
當然，不同的隔離級別，效率也是不同的，對於數據的一致性保證也就有不同的結果。而這些可能出現的又有哪些呢？
臟讀（dirty read）
當事務與事務之間沒有任何隔離的時候，就可能會出現臟讀。例如：商家想看看所有的訂單有哪些，這時，用戶A提交了一個訂單，但事務還沒提交，商家卻看到了這個訂單。而這時就會出現一種問題，當商家去操作這個訂單時，可能用戶A的訂單由於部分問題，導致數據回滾，事務沒有提交，這時商家的操作就會失去目標。
不可重復讀（unrepeatable read）
一個事務中，兩次讀操作出來的同一條數據值不同，就是不可重復讀。
例如：我們有一個事務A，需要去查詢一下商品庫存，然後做扣減，這時，事務B操作了這個商品，扣減了一部分庫存，當事務A再次去查詢商品庫存的時候，發現這一次的結果和上次不同了，這就是不可重復讀。
幻讀（phantom problem）
一個事務中，兩次讀操作出來的結果集不同，就是幻讀。
例如：一個事務A，去查詢現在已經支付的訂單有哪些，得到了一個結果集。這時，事務B新提交了一個訂單，當事務A再次去查詢時，就會出現，兩次得到的結果集不同的情況，也就是幻讀了。
那針對這些結果，不同的隔離級別可以干什麼呢？
「讀未提（Read Uncommitted）」能預防啥？啥都預防不了。
「讀提交（Read Committed）」能預防啥？使用「快照讀（Snapshot Read）」方式，避免「臟讀」，但是可能出現「不可重復讀」和「幻讀」。
「可重復讀（Repeated Red）」能預防啥？使用「快照讀（Snapshot Read）」方式，鎖住被讀取記錄，避免出現「臟讀」、「不可重復讀」，但是可能出現「幻讀」。
「串列化（Serializable）」能預防啥？有效避免「臟讀」、「不可重復讀」、「幻讀」，不過運行效率奇差。
好了，鎖說完了，但是，我們的資料庫鎖，並不能有效的解決並發的問題，只是盡可能保證數據的一致性，當並發量特別大時，資料庫還是容易扛不住。那解決數據並發的另一個手段就是，盡可能的提高處理的速度。
因為數據的IO要提升難度比較大，那麼通過其他的方式，對數據進行處理，減少資料庫的IO，就是提高並發能力的有效手段了。
最有效的一種方式就是：緩存
想要減少並發出現的概率，那麼讀寫的效率越高，讀寫的執行時間越短，自然數據並發的可能性就變小了，並發性能也有提高了。
還是用剛才的秒殺舉例，我們為的就是保證庫存的數據不出錯，賣出一個商品，減一個庫存，那麼，我們就可以將庫存放在內存中進行處理。這樣，就能夠保證庫存有序的及時扣減，並且不出現問題。這樣，我們的資料庫的寫操作也變少了，執行效率也就大大提高了。
當然，常用的分布式緩存方式有：Redis和Memcache，Redis可以持久化到硬碟，而Memcache不行，應該怎麼選擇，就看具體的使用場景了。
當然，緩存畢竟使用的范圍有限，很多的數據我們還是必須持久化到硬碟中，那我們就需要提高資料庫的IO能力，這樣避免一個線程執行時間太長，造成線程的阻塞。
那麼，讀寫分離就是另一種有效的方式了
當我們的寫成為了瓶頸的時候，讀寫分離就是一種可以選擇的方式了。
我們的讀庫就只需要執行讀，寫庫就只需要執行寫，把讀的壓力從主庫中分離出去，讓主庫的資源只是用來保證寫的效率，從而提高寫操作的性能。
C. 什麼是並發數
並發數，計算機網路術語，是指同時訪問伺服器站點的連接數。
由於虛擬主機是建立在每台伺服器多用戶的基礎上的，也就是多個用戶共同使用一台伺服器。為了避免同一台伺服器上的某一個用戶的IIS鏈接人數過多或佔用伺服器資源過多而影響其它用戶的正常使用。
所以，目前所有虛擬空間提供商都對單個用戶的IIS鏈接數，流量及伺服器進程佔用CPU的比率進行了相應的限制。 當某一個用戶的站點超出了伺服器上的設制後，訪問站點時就會出現伺服器忙，或目前訪問該站點的人數過多，超出了WEB的處理能力等相關錯誤提示。
(3)資料庫並發數擴展閱讀：
並發連接數是衡量防火牆性能的一個重要指標。在市面上常見防火牆設備的說明書中大家可以看到，從低端設備的500、1000個並發連接，一直到高端設備的數萬、數十萬並發連接，存在著好幾個數量級的差異。
在我們用電腦工作時，打開的一個窗口或一個Web頁面，我們也可以把它叫做一個「會話」，擴展到一個區域網裡面，所有用戶要通過防火牆上網，要打開很多個窗口或Web頁面發（即會話），那麼，這個防火牆，所能處理的最大會話數量，就是「並發連接數」。
檢查您的網站是否存在比較大的圖片、FLASH、音樂、電影等文件，例如：某一個站點的訪問用戶並不是很多，IIS鏈接數也可能只有幾十個，但是他在網頁中使用了比較大的的FLASH或圖片（如超過300K），以增強網頁效果。
結果就可能會出現不能訪問的情況，原因是該站點的流量（帶寬）使用量超限，所以建議網頁上盡量使用較小的文件，這樣即能避免流量超限，也能增加客戶端的下載速度，給客戶更好的感覺！
最後請注意：伺服器對於某一個鏈接的默認超時時間一般為15--20分鍾，也就是當訪問用戶訪問你的網頁並關閉後，一般需要15--20分鍾，伺服器才從其內存中將其清除，視為無效鏈接！
D. access資料庫並發連接數
是指程序鏈接AC資料庫的並發為255.
網站的並發數叫IIS並發.
E. 如何增加mysql資料庫並發數
現象
Sysbench對MySQL進行壓測, 並發數過大(>5k)時, Sysbench建立連接的步驟會超時.
猜想
猜想: 直覺上這很簡單, Sysbench每建立一個連接, 都要消耗一個線程, 資源消耗過大導致超時.
驗證: 修改Sysbench源碼, 調大超時時間, 仍然會發生超時.
檢查環境
猜想失敗, 回到常規的環境檢查:
MySQL error log 未見異常.
syslog 未見異常.
tcpmp 觀察網路包未見異常, 連接能完成正常的三次握手; 只觀察到在出問題的連接中, 有一部分的TCP握手的第一個SYN包發生了重傳, 另一部分沒有發生重傳.
自己寫一個簡單的並發發生器, 替換sysbench, 可重現場景. 排除sysbench的影響
檢查MySQL堆棧未見異常, 彷彿MySQL在應用層沒有看到新連接進入.
通過strace檢查MySQL, 發現accept()調用確實沒有感知到新連接.
Client 向 Server 發起連接請求, 發送SYN.
Server 預留連接資源, 向 Client 回復SYN-ACK.
Client 向 Server 回復ACK.
Server 收到 ACK, 連接建立.
在業務層上, Client和Server間進行通訊.
Client 向 Server 發起連接請求, 發送SYN.
Server 不預留連接資源, 向 Client 回復SYN-ACK, 包中附帶有簽名A.
Client 向 Server 回復ACK, 附帶 f(簽名A) (對簽名進行運算的結果).
Server 驗證簽名, 分配連接資源, 連接建立.
在業務層上, Client和Server間進行通訊.
從Client的視角, 連接已經建立.
從Server的視角, 連接並不存在, 既沒有建立, 也沒有」即將建立」 (若不啟用SYN-cookie, Server會知道某個連接」即將建立」)
若業務層的第一個包應是從 Client 發往 Server, 則會進行重發或拋出連接錯誤
若業務層的第一個包應是從 Server 發往 Client的, Server不會發出第一個包. MySQL的故障就屬於這種情況.
- Some of these packets get lost because some buffer somewhere overflows.
probe kernel.function("cookie_v4_check").return
{
source_port = @cast($skb->head + $skb->transport_header, "struct tcphdr")->source
printf("source=%d, return=%d ",readable_port(source_port), $return)
}
function readable_port(port) {
return (port & ((1<<9)-1)) << 8 | (port >> 8)
}
- static inline bool sk_acceptq_is_full(const struct sock *sk){ return sk->sk_ack_backlog > sk- >sk_max_ack_backlog;}
if (!queue->synflood_warned &&
sysctl_tcp_syncookies != 2 &&
xchg(&queue->synflood_warned, 1) == 0)
pr_info("%s: Possible SYN flooding on port %d. %s.
Check SNMP counters. ",
proto, ntohs(tcp_hdr(skb)->dest), msg);
猜想2
懷疑 MySQL 在應用層因為某種原因, 沒有發送握手包, 比如卡在某一個流程上:
懷疑是OS的原因, Google之, 得到參考文檔:A TCP 「stuck」 connection mystery【http://www.evanjones.ca/tcp-stuck-connection-mystery.html】
分析
參考文檔中的現象跟目前的狀況很類似, 簡述如下:
正常的TCP連接流程:
當發生類似SYN-flood的現象時, TCP連接的流程會使用SYN-cookie, 變為:
當啟用SYN-cookie時, 第3步的ACK包因為某種原因丟失, 那麼:
發生這種情況時:
TCP握手的第三步ACK包為什麼丟失
參考文檔中, 對於TCP握手的第三步ACK包的丟失原因, 描述為:
我們可以通過Systemtap進一步探究原因.通過一個簡單的腳本:
觀察結果, 可以確認cookie_v4_check(syn cookie機制進行包簽名檢查的函數)會返回 NULL(0). 即驗證是由於syn cookie驗證不通過, 導致TCP握手的第三步ACK包不被接受.
之後就是對其中不同條件進行觀察, 看看是哪個條件不通過. 最終原因是accept隊列滿(sk_acceptq_is_full):
恢復故障與日誌的正關聯
在故障處理的一開始, 我們就檢查了syslog, 結論是未見異常.
當整個故障分析完成, 得知了故障與syn cookie有關, 回頭看syslog, 裡面是有相關的信息, 只是和故障發生的時間不匹配, 沒有正關聯, 因此被忽略.
檢查Linux源碼:
可以看到日誌受到了抑制, 因此日誌與故障的正關聯被破壞.
粗看源碼, 每個listen socket只會發送一次告警日誌, 要獲得日誌與故障的正關聯, 必須每次測試重啟MySQL.
解決方案
這種故障一旦形成, 難以檢測; 系統日誌中只會出現一次, 在下次重啟MySQL之前就不會再出現了; Client如果沒有合適的超時機制, 萬劫不復.
解決方案:
1. 修改MySQL的協議, 讓Client先發握手包. 顯然不現實.
2. 關閉syn_cookie. 有安全的人又要跳出來了.
3. 或者調高syn_cookie的觸發條件 (syn backlog長度). 降低系統對syn flood的敏感度, 使之可以容忍業務的syn波動.
有多個系統參數混合影響syn backlog長度, 參看【http://blog.bbelboer.com/2012/04/09/syn-cookies.html】
下圖為精華總結