mysql資料庫分庫分表

『壹』 Mysql分表和分區的區別，分庫和分表區別

分表和分區的區別：

一、什麼是mysql分表，分區

分表：從表面意思上看呢，就是把一張表分成N多個小表，具體請看:mysql分表的3種方法

分區：分區呢就是把一張表的數據分成N多個區塊，這些區塊可以在同一個磁碟上，也可以在不同的磁碟上，具體請參考mysql分區功能詳細介紹，以及實例

二、mysql分表和分區有什麼區別呢

1、實現方式上
①mysql的分表是真正的分表，一張表分成很多表後，每一個小表都是完正的一張表，都對應三個文件，一個.MYD數據文件，.MYI索引文件，.frm表結構文件。

[root@BlackGhosttest]#ls|grepuser
alluser.MRG
alluser.frm
user1.MYD
user1.MYI
user1.frm
user2.MYD
user2.MYI
user2.frm

簡單說明一下，上面的分表呢是利用了merge存儲引擎（分表的一種），alluser是總表，下面有二個分表，user1，user2。他們二個都是獨立的表，取數據的時候，我們可以通過總表來取。這里總表是沒有.MYD,.MYI這二個文件的，也就是說，總表他不是一張表，沒有數據，數據都放在分表裡面。我們來看看.MRG到底是什麼東西

[root@BlackGhosttest]#catalluser.MRG|more
user1
user2
#INSERT_METHOD=LAST

從上面我們可以看出，alluser.MRG裡面就存了一些分表的關系，以及插入數據的方式。可以把總表理解成一個外殼，或者是聯接池。

②分區不一樣，一張大表進行分區後，他還是一張表，不會變成二張表，但是他存放數據的區塊變多了。

[root@BlackGhosttest]#ls|grepaa
aa#P#p1.MYD
aa#P#p1.MYI
aa#P#p3.MYD
aa#P#p3.MYI
aa.frm
aa.par

從上面我們可以看出，aa這張表，分為二個區，p1和p3，本來是三個區，被我刪了一個區。我們都知道一張表對應三個文件.MYD,.MYI,.frm。分 區呢根據一定的規則把數據文件和索引文件進行了分割，還多出了一個.par文件，打開.par文件後你可以看出他記錄了，這張表的分區信息，根分表中的.MRG有點像。分區後，還是一張，而不是多張表。
如orderid,userid,ordertime,.....
ordertime<2015-01-01 #p0
ordertime<2015-04-01 #p1
ordertime<2015-07-01 #p2
ordertime<2015-10-01 #p3
ordertime<2016-01-01 #p4
按照時間分區。大部分只查詢最近的訂單數據，那麼大部分只訪問一個分區，比整個表小多了，資料庫可以更加好的緩存，性能也提高了。這個是資料庫分的，應用程序透明，無需修改。

2，數據處理上
①、分表後，數據都是存放在分表裡，總表只是一個外殼，存取數據發生在一個一個的分表裡面。看下面的例子：

select * from alluser where id='12'表面上看，是對表alluser進行操作的，其實不是的。是對alluser裡面的分表進行了操作。

②、分區呢，不存在分表的概念，分區只不過把存放數據的文件分成了許多小塊，分區後的表呢，還是一張表。數據處理還是由自己來完成。

3、提高性能上

①、分表後，單表的並發能力提高了，磁碟I/O性能也提高了。並發能力為什麼提高了呢，因為查尋一次所花的時間變短了，如果出現高並發的話，總表可以根據不同 的查詢，將並發壓力分到不同的小表裡面。磁碟I/O性能怎麼搞高了呢，本來一個非常大的.MYD文件現在也分攤到各個小表的.MYD中去了。

②、mysql提出了分區的概念，我覺得就想突破磁碟I/O瓶頸，想提高磁碟的讀寫能力，來增加mysql性能。
在這一點上，分區和分表的測重點不同，分表重點是存取數據時，如何提高mysql並發能力上；而分區呢，如何突破磁碟的讀寫能力，從而達到提高mysql性能的目的。

4、實現的難易度上

①、分表的方法有很多，用merge來分表，是最簡單的一種方式。這種方式根分區難易度差不多，並且對程序代碼來說可以做到透明的。如果是用其他分表方式就比分區麻煩了。

②、分區實現是比較簡單的，建立分區表，根建平常的表沒什麼區別，並且對開代碼端來說是透明的。

三、mysql分表和分區有什麼聯系呢

1、都能提高mysql的性高，在高並發狀態下都有一個良好的表面。

2、分表和分區不矛盾，可以相互配合的，對於那些大訪問量，並且表數據比較多的表，我們可以採取分表和分區結合的方式（如果merge這種分表方式，不能和分區配合的話，可以用其他的分表試），訪問量不大，但是表數據很多的表，我們可以採取分區的方式等。

分庫分表區別：

1、什麼是分庫分表？

從字面上簡單理解，就是把原本存儲於一個庫的數據分塊存儲到多個庫上，把原本存儲於一個表的數據分塊存儲到多個表上。

2、為什麼要分庫分表？

資料庫中的數據量不一定是可控的，在未進行分庫分表的情況下，隨著時間和業務的發展，庫中的表會越來越多，表中的數據量也會越來越大，相應地，數據操作，增刪改查的開銷也會越來越大；另外，一台伺服器的資源（CPU、磁碟、內存、IO等）是有限的，最終資料庫所能承載的數據量、數據處理能力都將遭遇瓶頸,。

3、分庫分表的實施策略。
如果你的單機性能很低了，那可以嘗試分庫。分庫，業務透明，在物理實現上分成多個伺服器，不同的分庫在不同伺服器上。分區可以把表分到不同的硬碟上，但不能分配到不同伺服器上。一台機器的性能是有限制的，用分庫可以解決單台伺服器性能不夠，或者成本過高問題。
當分區之後，表還是很大，處理不過來，這時候可以用分庫。
orderid,userid,ordertime,.....
userid%4=0，用分庫1
userid%4=1，用分庫2
userid%4=2, 用分庫3
userid%4=3，用分庫4
上面這個就是一個簡單的分庫路由，根據userid選擇分庫，即不同的伺服器

分庫分表有垂直切分和水平切分兩種。
3.1、何謂垂直切分，即將表按照功能模塊、關系密切程度劃分出來，部署到不同的庫上。例如，我們會建立定義資料庫workDB、商品資料庫payDB、用戶資料庫userDB、日誌資料庫logDB等，分別用於存儲項目數據定義表、商品定義表、用戶數據表、日誌數據表等。

如userid,name,addr一個表，為了防止表過大，分成2個表。
userid,name
userid,addr

3.2、何謂水平切分，當一個表中的數據量過大時，我們可以把該表的數據按照某種規則，例如userID散列、按性別、按省，進行劃分，然後存儲到多個結構相同的表，和不同的庫上。

例如，我們的userDB中的用戶數據表中，每一個表的數據量都很大，就可以把userDB切分為結構相同的多個userDB：part0DB、part1DB等，再將userDB上的用戶數據表userTable，切分為很多userTable：userTable0、userTable1等，然後將這些表按照一定的規則存儲到多個userDB上。

3.3、應該使用哪一種方式來實施資料庫分庫分表，這要看資料庫中數據量的瓶頸所在，並綜合項目的業務類型進行考慮。

如果資料庫是因為表太多而造成海量數據，並且項目的各項業務邏輯劃分清晰、低耦合，那麼規則簡單明了、容易實施的垂直切分必是首選。

而如果資料庫中的表並不多，但單表的數據量很大、或數據熱度很高，這種情況之下就應該選擇水平切分，水平切分比垂直切分要復雜一些，它將原本邏輯上屬於一體的數據進行了物理分割，除了在分割時要對分割的粒度做好評估，考慮數據平均和負載平均，後期也將對項目人員及應用程序產生額外的數據管理負擔。

在現實項目中，往往是這兩種情況兼而有之，這就需要做出權衡，甚至既需要垂直切分，又需要水平切分。我們的游戲項目便綜合使用了垂直與水平切分，我們首先對資料庫進行垂直切分，然後，再針對一部分表，通常是用戶數據表，進行水平切分。

4 分庫分表存在的問題。

4.1 事務問題。

在執行分庫分表之後，由於數據存儲到了不同的庫上，資料庫事務管理出現了困難。如果依賴資料庫本身的分布式事務管理功能去執行事務，將付出高昂的性能代價；如果由應用程序去協助控制，形成程序邏輯上的事務，又會造成編程方面的負擔。

4.2 跨庫跨表的join問題。

在執行了分庫分表之後，難以避免會將原本邏輯關聯性很強的數據劃分到不同的表、不同的庫上，這時，表的關聯操作將受到限制，我們無法join位於不同分庫的表，也無法join分表粒度不同的表，結果原本一次查詢能夠完成的業務，可能需要多次查詢才能完成。

4.3 額外的數據管理負擔和數據運算壓力。

額外的數據管理負擔，最顯而易見的就是數據的定位問題和數據的增刪改查的重復執行問題，這些都可以通過應用程序解決，但必然引起額外的邏輯運算，例如，對於一個記錄用戶成績的用戶數據表userTable，業務要求查出成績最好的100位，在進行分表之前，只需一個order by語句就可以搞定，但是在進行分表之後，將需要n個order by語句，分別查出每一個分表的前100名用戶數據，然後再對這些數據進行合並計算，才能得出結果。

『貳』 mysql分庫分表在什麼時候用

分庫分表是由於單機無法承載業務量，或者性能達到瓶頸。只能通過分庫分表來實現業務的擴展。但是，比較麻煩。 如果使用的mysql可以考慮下類似 tidb 這樣的分布式資料庫，兼容mysql，並且彈性擴展。 也可以到 AskTUG 網站查看，了解類似案例

『叄』 mysql分庫分表後如何統計

資料庫分庫分表是緩解資料庫伺服器壓力和增加並發量的途徑之一，但是隨著分庫分表之後，也不可避免的帶來了一些問題，很顯而易見的問題就是如何解決分庫後的查詢統計。分庫之後沒有SQL可以用了，簡單的過濾後再合並還可以做，但分組都會很麻煩，必須把分庫分組匯總結集再分組匯總。這對很多java應用程序員來講是個挑戰。但是，數據量太大大，不分庫也不行，進退兩難。

這時候，採用集算器來做後一步的匯總計算就很容易，比如剛才說的分組匯總問題，寫出來只要這么幾行：

這里實現分組的代碼還考慮了讓分庫並行執行SQL。

利用集算器實現分庫匯總里包含幾個典型例子來說明分庫匯總的用法，跨庫數據表的運算 是有關分庫後統計查詢的更詳細解釋，還有講解視頻分庫後的統計查詢梳理要點和難點。集算器還很容易嵌入到Java應用程序中，Java 如何調用 SPL 腳本 有使用和獲得它的方法。關於集算器安裝使用、獲得免費授權和相關技術資料，可以參見 集算器如何使用 。

『肆』 如何實現mysql的分庫分表

1,接收到sql;2,把sql放到排隊隊列中 ;3,執行sql;4,返回執行結果。在這個執行過程中最花時間在什麼地方呢？第一，是排隊等待的時間，第二，sql的執行時間。其實這二個是一回事，等待的同時，肯定有sql在執行。所以我們要縮短sql的執行時間。
mysql中有一種機制是表鎖定和行鎖定，為什麼要出現這種機制，是為了保證數據的完整 性，我舉個例子來說吧，如果有二個sql都要修改同一張表的同一條數據，這個時候怎麼辦呢，是不是二個sql都可以同時修改這條數據呢？很顯然mysql 對這種情況的處理是，一種是表鎖定（myisam存儲引擎），一個是行鎖定（innodb存儲引擎）。表鎖定表示你們都不能對這張表進行操作，必須等我對 表操作完才行。行鎖定也一樣，別的sql必須等我對這條數據操作完了，才能對這條數據進行操作。如果數據太多，一次執行的時間太長，等待的時間就越長，這 也是我們為什麼要分表的原因。

『伍』 mysql資料庫高手進來，關於分庫和分表的問題

資料庫設計的一個原則就是，一個庫里的表越少越好，一張表裡的欄位越少越好。當然也要看你的UI是怎麼設計的，如果一個頁面只查詢一張表，不涉及到多表連接，那麼無論放在哪個庫里都可以，那就建議分庫。否則就要跨表跨庫查詢，那真是噩夢！

『陸』 mysql資料庫分庫分表哪個工具好，我整理出來了五個，求點評

1 用戶類庫：用於保存了用戶的相關信息。例如：db_user,db_system,db_company等。

2 業務類庫：用於保存主要業務的信息。比如主要業務是笑話，用這個庫保存笑話業務。例如：db_joke,db_temp_joke等。

3 內存類庫：主要用Mysql的內存引擎。前台的數據從內存庫中查找，速度快。例如：heap。

4 圖片類庫：主要保存圖片的索引以及關聯。例如：db_img_index，db_img_res。

5 日誌類庫：記錄點擊,刷新,登錄等日誌信息。例如：db_log_click,db_log_fresh,db_log_login。

6 統計類庫：對業務的統計，比如點擊量,刷新量等等。例如db_stat。

『柒』 mysql怎樣分庫

1
基本思想之什麼是分庫分表？
從字面上簡單理解，就是把原本存儲於一個庫的數據分塊存儲到多個庫上，把原本存儲於一個表的數據分塊存儲到多個表上。
2
基本思想之為什麼要分庫分表？
資料庫中的數據量不一定是可控的，在未進行分庫分表的情況下，隨著時間和業務的發展，庫中的表會越來越多，表中的數據量也會越來越大，相應地，數據操作，增刪改查的開銷也會越來越大；另外，由於無法進行分布式式部署，而一台伺服器的資源（cpu、磁碟、內存、io等）是有限的，最終資料庫所能承載的數據量、數據處理能力都將遭遇瓶頸。
3
分庫分表的實施策略。
分庫分表有垂直切分和水平切分兩種。
3.1
何謂垂直切分，即將表按照功能模塊、關系密切程度劃分出來，部署到不同的庫上。例如，我們會建立定義資料庫workdb、商品資料庫paydb、用戶資料庫userdb、日誌資料庫logdb等，分別用於存儲項目數據定義表、商品定義表、用戶數據表、日誌數據表等。
3.2
何謂水平切分，當一個表中的數據量過大時，我們可以把該表的數據按照某種規則，例如userid散列，進行劃分，然後存儲到多個結構相同的表，和不同的庫上。例如，我們的userdb中的用戶數據表中，每一個表的數據量都很大，就可以把userdb切分為結構相同的多個userdb：part0db、part1db等，再將userdb上的用戶數據表usertable，切分為很多usertable：usertable0、usertable1等，然後將這些表按照一定的規則存儲到多個userdb上。
3.3
應該使用哪一種方式來實施資料庫分庫分表，這要看資料庫中數據量的瓶頸所在，並綜合項目的業務類型進行考慮。
如果資料庫是因為表太多而造成海量數據，並且項目的各項業務邏輯劃分清晰、低耦合，那麼規則簡單明了、容易實施的垂直切分必是首選。
而如果資料庫中的表並不多，但單表的數據量很大、或數據熱度很高，這種情況之下就應該選擇水平切分，水平切分比垂直切分要復雜一些，它將原本邏輯上屬於一體的數據進行了物理分割，除了在分割時要對分割的粒度做好評估，考慮數據平均和負載平均，後期也將對項目人員及應用程序產生額外的數據管理負擔。
在現實項目中，往往是這兩種情況兼而有之，這就需要做出權衡，甚至既需要垂直切分，又需要水平切分。我們的游戲項目便綜合使用了垂直與水平切分，我們首先對資料庫進行垂直切分，然後，再針對一部分表，通常是用戶數據表，進行水平切分。
4
分庫分表存在的問題。
4.1
事務問題。
在執行分庫分表之後，由於數據存儲到了不同的庫上，資料庫事務管理出現了困難。如果依賴資料庫本身的分布式事務管理功能去執行事務，將付出高昂的性能代價；如果由應用程序去協助控制，形成程序邏輯上的事務，又會造成編程方面的負擔。
4.2
跨庫跨表的join問題。
在執行了分庫分表之後，難以避免會將原本邏輯關聯性很強的數據劃分到不同的表、不同的庫上，這時，表的關聯操作將受到限制，我們無法join位於不同分庫的表，也無法join分表粒度不同的表，結果原本一次查詢能夠完成的業務，可能需要多次查詢才能完成。
4.3
額外的數據管理負擔和數據運算壓力。
額外的數據管理負擔，最顯而易見的就是數據的定位問題和數據的增刪改查的重復執行問題，這些都可以通過應用程序解決，但必然引起額外的邏輯運算，例如，對於一個記錄用戶成績的用戶數據表usertable，業務要求查出成績最好的100位，在進行分表之前，只需一個order
by語句就可以搞定，但是在進行分表之後，將需要n個order
by語句，分別查出每一個分表的前100名用戶數據，然後再對這些數據進行合並計算，才能得出結果。
上述整理於互聯網

『捌』 MySQL使用為什麼要分庫分表

1基本思想之什麼是分庫分表？從字面上簡單理解，就是把原本存儲於一個庫的數據分塊存儲到多個庫上，把原本存儲於一個表的數據分塊存儲到多個表上。2基本思想之為什麼要分庫分表？資料庫中的數據量不一定是可控的，在未進行分庫分表的情況下，隨著時間和業務的發展，庫中的表會越來越多，表中的數據量也會越來越大，相應地，數據操作，增刪改查的開銷也會越來越大；另外，由於無法進行分布式式部署，而一台伺服器的資源（CPU、磁碟、內存、IO等）是有限的，最終資料庫所能承載的數據量、數據處理能力都將遭遇瓶頸。3分庫分表的實施策略。分庫分表有垂直切分和水平切分兩種。3.1何謂垂直切分，即將表按照功能模塊、關系密切程度劃分出來，部署到不同的庫上。例如，我們會建立定義資料庫workDB、商品資料庫payDB、用戶資料庫userDB、日誌資料庫logDB等，分別用於存儲項目數據定義表、商品定義表、用戶數據表、日誌數據表等。3.2何謂水平切分，當一個表中的數據量過大時，我們可以把該表的數據按照某種規則，例如userID散列，進行劃分，然後存儲到多個結構相同的表，和不同的庫上。例如，我們的userDB中的用戶數據表中，每一個表的數據量都很大，就可以把userDB切分為結構相同的多個userDB：part0DB、part1DB等，再將userDB上的用戶數據表userTable，切分為很多userTable：userTable0、userTable1等，然後將這些表按照一定的規則存儲到多個userDB上。3.3應該使用哪一種方式來實施資料庫分庫分表，這要看資料庫中數據量的瓶頸所在，並綜合項目的業務類型進行考慮。如果資料庫是因為表太多而造成海量數據，並且項目的各項業務邏輯劃分清晰、低耦合，那麼規則簡單明了、容易實施的垂直切分必是首選。而如果資料庫中的表並不多，但單表的數據量很大、或數據熱度很高，這種情況之下就應該選擇水平切分，水平切分比垂直切分要復雜一些，它將原本邏輯上屬於一體的數據進行了物理分割，除了在分割時要對分割的粒度做好評估，考慮數據平均和負載平均，後期也將對項目人員及應用程序產生額外的數據管理負擔。在現實項目中，往往是這兩種情況兼而有之，這就需要做出權衡，甚至既需要垂直切分，又需要水平切分。我們的游戲項目便綜合使用了垂直與水平切分，我們首先對資料庫進行垂直切分，然後，再針對一部分表，通常是用戶數據表，進行水平切分。4分庫分表存在的問題。4.1事務問題。在執行分庫分表之後，由於數據存儲到了不同的庫上，資料庫事務管理出現了困難。如果依賴資料庫本身的分布式事務管理功能去執行事務，將付出高昂的性能代價；如果由應用程序去協助控制，形成程序邏輯上的事務，又會造成編程方面的負擔。4.2跨庫跨表的join問題。在執行了分庫分表之後，難以避免會將原本邏輯關聯性很強的數據劃分到不同的表、不同的庫上，這時，表的關聯操作將受到限制，我們無法join位於不同分庫的表，也無法join分表粒度不同的表，結果原本一次查詢能夠完成的業務，可能需要多次查詢才能完成。4.3額外的數據管理負擔和數據運算壓力。額外的數據管理負擔，最顯而易見的就是數據的定位問題和數據的增刪改查的重復執行問題，這些都可以通過應用程序解決，但必然引起額外的邏輯運算，例如，對於一個記錄用戶成績的用戶數據表userTable，業務要求查出成績最好的100位，在進行分表之前，只需一個orderby語句就可以搞定，但是在進行分表之後，將需要n個orderby語句，分別查出每一個分表的前100名用戶數據，然後再對這些數據進行合並計算，才能得出結果。上述整理於互聯網

『玖』 Mysql分表和分區的區別，分庫分表介紹與區別（

一，什麼是mysql分表，分區

什麼是分表，從表面意思上看呢，就是把一張表分成N多個小表，具體請看mysql分表的3種方法

什麼是分區，分區呢就是把一張表的數據分成N多個區塊，這些區塊可以在同一個磁碟上，也可以在不同的磁碟上，具體請參考mysql分區功能詳細介紹，以及實例

二，mysql分表和分區有什麼區別呢

1，實現方式上

a），mysql的分表是真正的分表，一張表分成很多表後，每一個小表都是完正的一張表，都對應三個文件，一個.MYD數據文件，.MYI索引文件，.frm表結構文件。

Sql代碼