分表存儲
大數據量最近的存儲分表常見演算法
當一個應用的數據量大的時候，我們用單表和單庫來存儲會嚴重影響操作速度，如mysql的myisam存儲，我們經過測試，200w以下的時候，mysql的訪問速度都很快，但是如果超過200w以上的數據，他的訪問速度會急劇下降，影響到我們webapp的訪問速度，而且數據量太大的話，如果用單表存儲，就會使得系統相當的不穩定，mysql服務很容易掛掉。所以當數據量超過200w的時候，建議系統工程師還是考慮分表.
以下是幾種常見的分表演算法。
1.按自然時間來分表/分庫;
如一個應用的數據在一年後數據量會達到200w左右，那麼我們就可以考慮用一年的數據來做為一個表或者庫來存儲，例如，表名為app，那麼2010年的數據就是app_2010，app_2011;如果數據量在一個月就達到了200w左右，那麼我們就可以用月份來分，app_2010_01，app_2010_02.
2.按數字類型hash分表/分庫;
如果我們要存儲用戶的信息，我們應用的注冊量很大，我們用單表是不能滿足存儲需求的，那麼我們就可以用用戶的編號來進行hash，常見的是用取余操作，如果我們要分30張表來存儲用戶的信息，那麼用戶編號為1的用戶1%30=1，那麼我們就存在user_01表裡，如用戶的編號為500，那麼500%30=20，那麼我們就將此用戶的信息存儲在user_20的表裡.
3.按md5值來分表/分庫;
我們假設要存儲用戶上傳的文件，如果上傳量大的話，也會帶來系統的瓶頸問題，我們做過試驗，在一個文件夾下如果超過200個文件的話，文件的瀏覽效率會降低，當然，這個不屬於我們本文討論的范圍，這塊也要做散列操作.我們可以用文件的用戶名來md5或者用文件的md5校驗值來做，我們就可以用md5的前5位來做hash，這樣最多我們就可以得到5^5=3125個表，每次在存儲文件的時候，就可以用文件名的md5值的前5位來確定這個文件該存那張表.
4.實例:某微博的url加密演算法和存儲策略的猜想.
現在好多微博都用這樣的url來訪問，如果他們的域名為www.example.com，那麼如果你發微博的時候，你會發現你所發的url都變成了http://t.cn/Mx4ja1，這樣的形式，他們是怎麼進行這樣的轉換呢?我猜想就是用到了我們上面講的md5的存儲和查找規則，用你發的url來進行md5，得到md5值之後，如我們例子來說，就會用前6位來進行分表.
5.分表所帶來的問題.
分表也會帶來一系列的問題，如分頁的實現，統計的實現，如果我們要做一個所有數據的分頁，那麼我們得每張表都得遍歷一遍，這樣訪問效率會很低下.之前我嘗試過用mysql的代理來實現，最終用tcsql來實現了.
6.分表演算法的選擇.
首先，分表適合於沒有大的列表的應用來使用，要不然，會為這部分做好多額外的工作，如果你的應用數據量不是特別大的話，最好別用分表。7.針對每秒插入數據500+的設想為什麼要這個呢，因為很多資料庫在數據上千萬級別後，每秒插入數據的數度不是很快了，所以500/秒的速度夠嗆，解決方案設想：建立數據總表及兩個緩沖表，結構完全相同，將數據先插入其中一個緩沖表中，等到一定時間(插入效率降低之前)，轉向插入另一個緩沖表，同時啟動一個後台進程將第
一個緩沖表的的數據轉入總表，轉入總表後刪除第一個緩沖表中的數據; 再等到一定時間(還是插入效率降低之前)，轉向插入第一個緩沖表，這時啟動一個後台進程將第
二個緩沖表的的數據轉入總表，轉入總表後刪除第二個緩沖表中的數據; 如此循環往復...
如果後台進程處理的時間超過兩個緩沖表的循環周期的話，甚至可以考慮建立三個乃至四個緩沖表。
這僅僅是解決插入效率，查詢什麼的問題也大。
❷ 幾十萬條的成績表需要分表儲存嗎如果幾百萬，或者更多呢 - 技術問答
上回別人做了個教室評測的，幾十個人同時登錄，系統就運轉不動了，他資料庫應該頂多1萬條數據用的.net+sql2000。然後他分表儲存了以後才能正常使用。
❸ 如何用分表存儲來提高性能 推薦
首先，童家旺介紹了他認為的什麼是優化：第一、做任何事情最快的方法就是什麼也不做。▲支付寶資深資料庫架構師童家旺 第二、不訪問不必要的數據：使用B*Tree/hash等方法定位必要的數據。使用column Store或分表的方式將數據分開存儲。使用Bloom filter演算法排除空值查詢。 第三、合理的利用硬體來提升訪問效率：使用緩存消除對數據的重復訪問。使用批量處理來減少磁碟的Seek操作。使用批量處理來減少網路的Round Trip。使用SSD來提升磁碟訪問效率。 響應時間和吞吐量之間的關系 1、性能。衡量完成特定任務的速度或效率。 2、響應時間。衡量系統與用戶互動式多久能夠發出響應。 3、吞吐量。衡量系統在單位時間里可以完成的任務量。 一、場景介紹： 1、表VeryBigTable含有30個列 2、表的記錄數為50,000,000條 3、平均每個用戶為300條左右 4、其中有2個列屬於詳細描述欄位,平均長度為2k 5、其它的列的總長度平均為250個位元組 6、此表上的查詢有兩種模式 7、列出表中的主要信息(每次20條,不包含詳細信息,90%的查詢) 8、查看記錄的詳細信息(10%的查詢) 9、保存與Oracle資料庫,默認block_size(8k) 二、要求： 1、對此業務進行優化 2、分析數據,說服開發部門實施此優化 三、性能分析 1、每塊記錄數 8192 * 0.80(1) / 250 = 25.5 (主表) 8192 * 0.80 / 2000 = 3.27(詳情表) 8192 * 0.80 / ( 2000 + 250 ) = 2.91 2、訪問的邏輯IO(內存塊訪問) List的查詢代價 改進後=( 300/25.5 ) * y + 4 + x = 4 + x + 11.8y = 4(2) + 7(3) + 11.8 * 1.5(4) = 28.7 改進前=( 300/2.91 ) * y + 4 + x = 4 + x + 103.y = 4 + 7 + 103 * 1.5 = 165.5 3、訪問涉及到的物理讀(磁碟塊訪問) List的查詢代價(邏輯IO * ( 1 – 命中率 )) 改進後=28.7 * ( 1 – 0.85(5)) = 4.305 改進前=165.5 * ( 1 – 0.85 ) = 24.825 4、訪問時間(ms) 改進前=邏輯IO時間+物理IO時間= 28.7 * 0.01(6) + 4.305 * 7(7) = 30.422ms
❹ MySql分表存儲的問題
沒仔細看過DZ的庫。至於分表，可以先搞一個目錄表來存放子表的名稱 以及相應的ID 范圍。然後數據插入的時候 先查詢當前最新子表名稱然後確定還不指定數據量的時候再寫入，如果超出了那就再新建一子表。然後更新目錄表。然後再寫入。。。我感覺思路應該是這樣的。。。純手寫。
❺ sql根據id自動分表存儲
我感覺你這個需求使用分區表來實現會更好一些
但如果你要使用你的方法也是可以的
create table x_a(id int,name varchar(200));
go
create procere changetablename
@oldtable as nvarchar(200),
@newtable as nvarchar(200)
as
declare @sqlstr varchar(2000),@cretri varchar(8000)
begin
exec sp_rename @oldtable,@newtable
set @sqlstr='create table '+@oldtable+'(id int,name varchar(200))'
exec(@sqlstr)
drop trigger t_x_a_id;
set @cretri='create trigger t_x_a_id
on x_a
for insert
as
declare @idnum int,@tbid int,@sqlstr varchar(200),@tbn varchar(200);
select @idnum=id%10,@tbid=round(id/10,0) from inserted;
set @sqlstr='+'''x_a'''+'+cast(@tbid as varchar(20));
set @tbn='+'''x_a'''+';
if @idnum=0
begin
exec dbo.changetablename @tbn,@sqlstr;
end'
exec(@cretri)
end
go
create trigger t_x_a_id
on x_a
for insert
as
declare @idnum int,@tbid int,@sqlstr varchar(200),@tbn varchar(200);
select @idnum=id%10,@tbid=round(id/10,0) from inserted;
set @sqlstr='x_a'+cast(@tbid as varchar(20));
set @tbn='x_a';
if @idnum=0
begin
exec dbo.changetablename @tbn,@sqlstr;
end
go
❻ 什麼是資料庫分表技術
1 基本思想之什麼是分庫分表？
從字面上簡單理解，就是把原本存儲於一個庫的數據分塊存儲到多個庫上，把原本存儲於一個表的數據分塊存儲到多個表上。
2 基本思想之為什麼要分庫分表？
資料庫中的數據量不一定是可控的，在未進行分庫分表的情況下，隨著時間和業務的發展，庫中的表會越來越多，表中的數據量也會越來越大，相應地，數據操作，增刪改查的開銷也會越來越大；另外，由於無法進行分布式式部署，而一台伺服器的資源（CPU、磁碟、內存、IO等）是有限的，最終資料庫所能承載的數據量、數據處理能力都將遭遇瓶頸。
3 分庫分表的實施策略。
分庫分表有垂直切分和水平切分兩種。
3.1 何謂垂直切分，即將表按照功能模塊、關系密切程度劃分出來，部署到不同的庫上。例如，我們會建立定義資料庫workDB、商品資料庫payDB、用戶資料庫userDB、日誌資料庫logDB等，分別用於存儲項目數據定義表、商品定義表、用戶數據表、日誌數據表等。
3.2 何謂水平切分，當一個表中的數據量過大時，我們可以把該表的數據按照某種規則，例如userID散列，進行劃分，然後存儲到多個結構相同的表，和不同的庫上。例如，我們的userDB中的用戶數據表中，每一個表的數據量都很大，就可以把userDB切分為結構相同的多個userDB：part0DB、part1DB等，再將userDB上的用戶數據表userTable，切分為很多userTable：userTable0、userTable1等，然後將這些表按照一定的規則存儲到多個userDB上。
3.3 應該使用哪一種方式來實施資料庫分庫分表，這要看資料庫中數據量的瓶頸所在，並綜合項目的業務類型進行考慮。
如果資料庫是因為表太多而造成海量數據，並且項目的各項業務邏輯劃分清晰、低耦合，那麼規則簡單明了、容易實施的垂直切分必是首選。
而如果資料庫中的表並不多，但單表的數據量很大、或數據熱度很高，這種情況之下就應該選擇水平切分，水平切分比垂直切分要復雜一些，它將原本邏輯上屬於一體的數據進行了物理分割，除了在分割時要對分割的粒度做好評估，考慮數據平均和負載平均，後期也將對項目人員及應用程序產生額外的數據管理負擔。
在現實項目中，往往是這兩種情況兼而有之，這就需要做出權衡，甚至既需要垂直切分，又需要水平切分。我們的游戲項目便綜合使用了垂直與水平切分，我們首先對資料庫進行垂直切分，然後，再針對一部分表，通常是用戶數據表，進行水平切分。
4 分庫分表存在的問題。
4.1 事務問題。
在執行分庫分表之後，由於數據存儲到了不同的庫上，資料庫事務管理出現了困難。如果依賴資料庫本身的分布式事務管理功能去執行事務，將付出高昂的性能代價；如果由應用程序去協助控制，形成程序邏輯上的事務，又會造成編程方面的負擔。
4.2 跨庫跨表的join問題。
在執行了分庫分表之後，難以避免會將原本邏輯關聯性很強的數據劃分到不同的表、不同的庫上，這時，表的關聯操作將受到限制，我們無法join位於不同分庫的表，也無法join分表粒度不同的表，結果原本一次查詢能夠完成的業務，可能需要多次查詢才能完成。
4.3 額外的數據管理負擔和數據運算壓力。
額外的數據管理負擔，最顯而易見的就是數據的定位問題和數據的增刪改查的重復執行問題，這些都可以通過應用程序解決，但必然引起額外的邏輯運算，例如，對於一個記錄用戶成績的用戶數據表userTable，業務要求查出成績最好的100位，在進行分表之前，只需一個order by語句就可以搞定，但是在進行分表之後，將需要n個order by語句，分別查出每一個分表的前100名用戶數據，然後再對這些數據進行合並計算，才能得出結果。
上述整理於互聯網
❼ Zblog如何實現分表存儲
新建站點--名稱必須填寫.
3.新建任務：
A:採集網址規則.這一步很關鍵,今天這次我是在天毅超級版主的幫助下完成的.注意這里：文章內容頁面的地址必須包含，和不得包含.我上次就沒有設置這里，沒有採集出2級網址.還要注意編碼。
B.採集內容設置這里是最關鍵了.我今天採集的時候出錯了，採集出來的內容不完整.也就是說我只採集了一半的內容。下午我在找原因.標題，作者，時間，出處，這4項到是沒有出問題.
C.發布內容設置. 填加更多發布模塊。
這里說明一下，我是提前把web在線發布配置管理進行了設置：
填加--導入模塊。導入孤魂製作的zblog模塊 .刷新一下.登陸你自己的網站後台（輸入管理員和密碼）獲得cookie。
編碼設定--utf-8 然後是獲取分類：刷新一下就能看到自己設置的分類. 選擇一下.
還有一個ubb轉換 我選擇的是ubb
4.開動火車,出發了.採集完畢。成功了
最後還要補充一下，記得在加上標簽sy_url,sytags,摘要.
❽ Mysql用存儲過程分表
你這樣拆分會建立無數張表，你不確定供應商ID有多少，也就意味著你不知道要建立多少張表，在查詢的時候也需要判斷哪個商品區哪個表查詢，如果只有條碼，或者商品名字怎麼查詢，效果可能得不償失。
建議：1.如果是商品 欄位卻很長，表佔用空間很大，檢索表的時候需要執行大量的IO，嚴重降性能。這時需要把大的欄位拆分到另一個表，並且該表與原表是一對一的關系。也就是把不常用的欄位丟在另外一張表上去
2.如果數據量太多（我想哪怕大超市系統數據量也不會很多，建議採用1），可以根據條碼或者名字拆分，已條碼為例 條碼為1的建立goods_one表
建表語句INSERT INTO goods_one(欄位) SELECT 欄位 FROM goodsWHERE 你的條件
如果你確實要執行你的想法
創建存儲過程
CREATE PROCEDURE 。。。
begin
定義參數（游標）
查詢所有供應商
游標遍歷 更具供應商 查詢goods表
創建表 插入數據
end
最好開啟事務
能幫的就這么多了 望採納
❾ 處理億級數據，分表存儲，查詢時如何統一查的策略，謝謝！
實時查詢？這個和你的查詢需求有關。一般使用HBase來實現，通過合理的設計RowKey來實時的響應查詢需求。
❿ excel中有12個分表,保存的時候要每個都分別保存一下嗎
不需要，只要表格都在一個工作簿文檔中，執行「保存」操作時會保存文檔中的所有表格。