分表存储
大数据量最近的存储分表常见算法
当一个应用的数据量大的时候，我们用单表和单库来存储会严重影响操作速度，如mysql的myisam存储，我们经过测试，200w以下的时候，mysql的访问速度都很快，但是如果超过200w以上的数据，他的访问速度会急剧下降，影响到我们webapp的访问速度，而且数据量太大的话，如果用单表存储，就会使得系统相当的不稳定，mysql服务很容易挂掉。所以当数据量超过200w的时候，建议系统工程师还是考虑分表.
以下是几种常见的分表算法。
1.按自然时间来分表/分库;
如一个应用的数据在一年后数据量会达到200w左右，那么我们就可以考虑用一年的数据来做为一个表或者库来存储，例如，表名为app，那么2010年的数据就是app_2010，app_2011;如果数据量在一个月就达到了200w左右，那么我们就可以用月份来分，app_2010_01，app_2010_02.
2.按数字类型hash分表/分库;
如果我们要存储用户的信息，我们应用的注册量很大，我们用单表是不能满足存储需求的，那么我们就可以用用户的编号来进行hash，常见的是用取余操作，如果我们要分30张表来存储用户的信息，那么用户编号为1的用户1%30=1，那么我们就存在user_01表里，如用户的编号为500，那么500%30=20，那么我们就将此用户的信息存储在user_20的表里.
3.按md5值来分表/分库;
我们假设要存储用户上传的文件，如果上传量大的话，也会带来系统的瓶颈问题，我们做过试验，在一个文件夹下如果超过200个文件的话，文件的浏览效率会降低，当然，这个不属于我们本文讨论的范围，这块也要做散列操作.我们可以用文件的用户名来md5或者用文件的md5校验值来做，我们就可以用md5的前5位来做hash，这样最多我们就可以得到5^5=3125个表，每次在存储文件的时候，就可以用文件名的md5值的前5位来确定这个文件该存那张表.
4.实例:某微博的url加密算法和存储策略的猜想.
现在好多微博都用这样的url来访问，如果他们的域名为www.example.com，那么如果你发微博的时候，你会发现你所发的url都变成了http://t.cn/Mx4ja1，这样的形式，他们是怎么进行这样的转换呢?我猜想就是用到了我们上面讲的md5的存储和查找规则，用你发的url来进行md5，得到md5值之后，如我们例子来说，就会用前6位来进行分表.
5.分表所带来的问题.
分表也会带来一系列的问题，如分页的实现，统计的实现，如果我们要做一个所有数据的分页，那么我们得每张表都得遍历一遍，这样访问效率会很低下.之前我尝试过用mysql的代理来实现，最终用tcsql来实现了.
6.分表算法的选择.
首先，分表适合于没有大的列表的应用来使用，要不然，会为这部分做好多额外的工作，如果你的应用数据量不是特别大的话，最好别用分表。7.针对每秒插入数据500+的设想为什么要这个呢，因为很多数据库在数据上千万级别后，每秒插入数据的数度不是很快了，所以500/秒的速度够呛，解决方案设想：建立数据总表及两个缓冲表，结构完全相同，将数据先插入其中一个缓冲表中，等到一定时间(插入效率降低之前)，转向插入另一个缓冲表，同时启动一个后台进程将第
一个缓冲表的的数据转入总表，转入总表后删除第一个缓冲表中的数据; 再等到一定时间(还是插入效率降低之前)，转向插入第一个缓冲表，这时启动一个后台进程将第
二个缓冲表的的数据转入总表，转入总表后删除第二个缓冲表中的数据; 如此循环往复...
如果后台进程处理的时间超过两个缓冲表的循环周期的话，甚至可以考虑建立三个乃至四个缓冲表。
这仅仅是解决插入效率，查询什么的问题也大。
❷ 几十万条的成绩表需要分表储存吗如果几百万，或者更多呢 - 技术问答
上回别人做了个教室评测的，几十个人同时登录，系统就运转不动了，他数据库应该顶多1万条数据用的.net+sql2000。然后他分表储存了以后才能正常使用。
❸ 如何用分表存储来提高性能 推荐
首先，童家旺介绍了他认为的什么是优化：第一、做任何事情最快的方法就是什么也不做。▲支付宝资深数据库架构师童家旺 第二、不访问不必要的数据：使用B*Tree/hash等方法定位必要的数据。使用column Store或分表的方式将数据分开存储。使用Bloom filter算法排除空值查询。 第三、合理的利用硬件来提升访问效率：使用缓存消除对数据的重复访问。使用批量处理来减少磁盘的Seek操作。使用批量处理来减少网络的Round Trip。使用SSD来提升磁盘访问效率。 响应时间和吞吐量之间的关系 1、性能。衡量完成特定任务的速度或效率。 2、响应时间。衡量系统与用户交互式多久能够发出响应。 3、吞吐量。衡量系统在单位时间里可以完成的任务量。 一、场景介绍： 1、表VeryBigTable含有30个列 2、表的记录数为50,000,000条 3、平均每个用户为300条左右 4、其中有2个列属于详细描述字段,平均长度为2k 5、其它的列的总长度平均为250个字节 6、此表上的查询有两种模式 7、列出表中的主要信息(每次20条,不包含详细信息,90%的查询) 8、查看记录的详细信息(10%的查询) 9、保存与Oracle数据库,默认block_size(8k) 二、要求： 1、对此业务进行优化 2、分析数据,说服开发部门实施此优化 三、性能分析 1、每块记录数 8192 * 0.80(1) / 250 = 25.5 (主表) 8192 * 0.80 / 2000 = 3.27(详情表) 8192 * 0.80 / ( 2000 + 250 ) = 2.91 2、访问的逻辑IO(内存块访问) List的查询代价 改进后=( 300/25.5 ) * y + 4 + x = 4 + x + 11.8y = 4(2) + 7(3) + 11.8 * 1.5(4) = 28.7 改进前=( 300/2.91 ) * y + 4 + x = 4 + x + 103.y = 4 + 7 + 103 * 1.5 = 165.5 3、访问涉及到的物理读(磁盘块访问) List的查询代价(逻辑IO * ( 1 – 命中率 )) 改进后=28.7 * ( 1 – 0.85(5)) = 4.305 改进前=165.5 * ( 1 – 0.85 ) = 24.825 4、访问时间(ms) 改进前=逻辑IO时间+物理IO时间= 28.7 * 0.01(6) + 4.305 * 7(7) = 30.422ms
❹ MySql分表存储的问题
没仔细看过DZ的库。至于分表，可以先搞一个目录表来存放子表的名称 以及相应的ID 范围。然后数据插入的时候 先查询当前最新子表名称然后确定还不指定数据量的时候再写入，如果超出了那就再新建一子表。然后更新目录表。然后再写入。。。我感觉思路应该是这样的。。。纯手写。
❺ sql根据id自动分表存储
我感觉你这个需求使用分区表来实现会更好一些
但如果你要使用你的方法也是可以的
create table x_a(id int,name varchar(200));
go
create procere changetablename
@oldtable as nvarchar(200),
@newtable as nvarchar(200)
as
declare @sqlstr varchar(2000),@cretri varchar(8000)
begin
exec sp_rename @oldtable,@newtable
set @sqlstr='create table '+@oldtable+'(id int,name varchar(200))'
exec(@sqlstr)
drop trigger t_x_a_id;
set @cretri='create trigger t_x_a_id
on x_a
for insert
as
declare @idnum int,@tbid int,@sqlstr varchar(200),@tbn varchar(200);
select @idnum=id%10,@tbid=round(id/10,0) from inserted;
set @sqlstr='+'''x_a'''+'+cast(@tbid as varchar(20));
set @tbn='+'''x_a'''+';
if @idnum=0
begin
exec dbo.changetablename @tbn,@sqlstr;
end'
exec(@cretri)
end
go
create trigger t_x_a_id
on x_a
for insert
as
declare @idnum int,@tbid int,@sqlstr varchar(200),@tbn varchar(200);
select @idnum=id%10,@tbid=round(id/10,0) from inserted;
set @sqlstr='x_a'+cast(@tbid as varchar(20));
set @tbn='x_a';
if @idnum=0
begin
exec dbo.changetablename @tbn,@sqlstr;
end
go
❻ 什么是数据库分表技术
1 基本思想之什么是分库分表？
从字面上简单理解，就是把原本存储于一个库的数据分块存储到多个库上，把原本存储于一个表的数据分块存储到多个表上。
2 基本思想之为什么要分库分表？
数据库中的数据量不一定是可控的，在未进行分库分表的情况下，随着时间和业务的发展，库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作，增删改查的开销也会越来越大；另外，由于无法进行分布式式部署，而一台服务器的资源（CPU、磁盘、内存、IO等）是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。
3 分库分表的实施策略。
分库分表有垂直切分和水平切分两种。
3.1 何谓垂直切分，即将表按照功能模块、关系密切程度划分出来，部署到不同的库上。例如，我们会建立定义数据库workDB、商品数据库payDB、用户数据库userDB、日志数据库logDB等，分别用于存储项目数据定义表、商品定义表、用户数据表、日志数据表等。
3.2 何谓水平切分，当一个表中的数据量过大时，我们可以把该表的数据按照某种规则，例如userID散列，进行划分，然后存储到多个结构相同的表，和不同的库上。例如，我们的userDB中的用户数据表中，每一个表的数据量都很大，就可以把userDB切分为结构相同的多个userDB：part0DB、part1DB等，再将userDB上的用户数据表userTable，切分为很多userTable：userTable0、userTable1等，然后将这些表按照一定的规则存储到多个userDB上。
3.3 应该使用哪一种方式来实施数据库分库分表，这要看数据库中数据量的瓶颈所在，并综合项目的业务类型进行考虑。
如果数据库是因为表太多而造成海量数据，并且项目的各项业务逻辑划分清晰、低耦合，那么规则简单明了、容易实施的垂直切分必是首选。
而如果数据库中的表并不多，但单表的数据量很大、或数据热度很高，这种情况之下就应该选择水平切分，水平切分比垂直切分要复杂一些，它将原本逻辑上属于一体的数据进行了物理分割，除了在分割时要对分割的粒度做好评估，考虑数据平均和负载平均，后期也将对项目人员及应用程序产生额外的数据管理负担。
在现实项目中，往往是这两种情况兼而有之，这就需要做出权衡，甚至既需要垂直切分，又需要水平切分。我们的游戏项目便综合使用了垂直与水平切分，我们首先对数据库进行垂直切分，然后，再针对一部分表，通常是用户数据表，进行水平切分。
4 分库分表存在的问题。
4.1 事务问题。
在执行分库分表之后，由于数据存储到了不同的库上，数据库事务管理出现了困难。如果依赖数据库本身的分布式事务管理功能去执行事务，将付出高昂的性能代价；如果由应用程序去协助控制，形成程序逻辑上的事务，又会造成编程方面的负担。
4.2 跨库跨表的join问题。
在执行了分库分表之后，难以避免会将原本逻辑关联性很强的数据划分到不同的表、不同的库上，这时，表的关联操作将受到限制，我们无法join位于不同分库的表，也无法join分表粒度不同的表，结果原本一次查询能够完成的业务，可能需要多次查询才能完成。
4.3 额外的数据管理负担和数据运算压力。
额外的数据管理负担，最显而易见的就是数据的定位问题和数据的增删改查的重复执行问题，这些都可以通过应用程序解决，但必然引起额外的逻辑运算，例如，对于一个记录用户成绩的用户数据表userTable，业务要求查出成绩最好的100位，在进行分表之前，只需一个order by语句就可以搞定，但是在进行分表之后，将需要n个order by语句，分别查出每一个分表的前100名用户数据，然后再对这些数据进行合并计算，才能得出结果。
上述整理于互联网
❼ Zblog如何实现分表存储
新建站点--名称必须填写.
3.新建任务：
A:采集网址规则.这一步很关键,今天这次我是在天毅超级版主的帮助下完成的.注意这里：文章内容页面的地址必须包含，和不得包含.我上次就没有设置这里，没有采集出2级网址.还要注意编码。
B.采集内容设置这里是最关键了.我今天采集的时候出错了，采集出来的内容不完整.也就是说我只采集了一半的内容。下午我在找原因.标题，作者，时间，出处，这4项到是没有出问题.
C.发布内容设置. 填加更多发布模块。
这里说明一下，我是提前把web在线发布配置管理进行了设置：
填加--导入模块。导入孤魂制作的zblog模块 .刷新一下.登陆你自己的网站后台（输入管理员和密码）获得cookie。
编码设定--utf-8 然后是获取分类：刷新一下就能看到自己设置的分类. 选择一下.
还有一个ubb转换 我选择的是ubb
4.开动火车,出发了.采集完毕。成功了
最后还要补充一下，记得在加上标签sy_url,sytags,摘要.
❽ Mysql用存储过程分表
你这样拆分会建立无数张表，你不确定供应商ID有多少，也就意味着你不知道要建立多少张表，在查询的时候也需要判断哪个商品区哪个表查询，如果只有条码，或者商品名字怎么查询，效果可能得不偿失。
建议：1.如果是商品 字段却很长，表占用空间很大，检索表的时候需要执行大量的IO，严重降性能。这时需要把大的字段拆分到另一个表，并且该表与原表是一对一的关系。也就是把不常用的字段丢在另外一张表上去
2.如果数据量太多（我想哪怕大超市系统数据量也不会很多，建议采用1），可以根据条码或者名字拆分，已条码为例 条码为1的建立goods_one表
建表语句INSERT INTO goods_one(字段) SELECT 字段 FROM goodsWHERE 你的条件
如果你确实要执行你的想法
创建存储过程
CREATE PROCEDURE 。。。
begin
定义参数（游标）
查询所有供应商
游标遍历 更具供应商 查询goods表
创建表 插入数据
end
最好开启事务
能帮的就这么多了 望采纳
❾ 处理亿级数据，分表存储，查询时如何统一查的策略，谢谢！
实时查询？这个和你的查询需求有关。一般使用HBase来实现，通过合理的设计RowKey来实时的响应查询需求。
❿ excel中有12个分表,保存的时候要每个都分别保存一下吗
不需要，只要表格都在一个工作簿文档中，执行“保存”操作时会保存文档中的所有表格。