上亿数据用什么服务器
⑴ 上亿行数据该用什么软件来管理Excel 100w就满了,而且很卡。需要有添加,筛选,分类,去重这
可以用Oracle/DB2/Sybase,不过:
PC平台基本无法处理,需要大型的服务器甚至小型机
Windows操作系统基本无法处理,一般会需要Unix或Linux
没有简单到如同Excel的相关管理方式,需要具备一定的sql语言基础
⑵ 数据库需要处理上亿条数据,请问买什么样的电脑或者服务器比较合适
上亿条的数据 ,什么数据会用多大资源 怎么处理的 数据库作出处理时会用多少资源 这多不是简单能预见的,所以无法给出配置建议,如果你们有程序员做测试的话就好解决了。要是不了解就直接配个好点的。
⑶ 存50亿以上的数据 需要什么服务器
50亿字节大概是500多G,这样大部分服务器都能存放哈。
主要看你做什么用途,比如用于查询,则对CPU和存储速度关联很大。
⑷ 大数据平台布局,应该选什么样的服务器浪潮服务器怎么样
大数据平台布局,一方面是选择服务器,二是选择机房。对于服务器来说,其实同等配置下性能相差不是很大。浪潮、华为、联想、DELL都可以,IBM的价格要略高一些。对于机房来说,要选择稳定性高,安全性高的机房。中关村软件园机房和铜牛机房都是不错的机房,里面有很多大数据、金融等用户,可以考虑。
⑸ 关于上亿以上数据记录MYSQL服务器的硬件要怎样配置
这样的要求强烈建议使用128GB内存的服务器
不是CPU要求高,必须内存大!!!
你可以选择4块8核CPU的服务器,二手即可!!!估计2万以内。
不明白的地方再问我
⑹ mysql千万或者上亿的数据怎么设计数据库
单表一亿?还是全库1亿?
1.首先可以考虑业务层面优化,即垂直分表。
垂直分表就是把一个数据量很大的表,可以按某个字段的属性或使用频繁程度分类,拆分为多个表。
如有多种业务类型,每种业务类型入不同的表,table1,table2,table3.
如果日常业务不需要使用所有数据,可以按时间分表,比如说月表。每个表只存一个月记录。
2.架构上的优化,即水平分表。
水平分表就是根据一列或多列数据的值把数据行放到多个独立的表里,这里不具备业务意义。
如按照id分表,末尾是0-9的数据分别插入到10个表里面。
可能你要问,这样看起来和刚才说的垂直分表没什么区别。只不过是否具备业务意义的差异,都是按字段的值来分表。
实际上,水平分表现在最流行的实现方式,是通过水平分库来实现的。即刚才所说的10个表,分布在10个mysql数据库上。这样可以通过多个低配置主机整合起来,实现高性能。
最常见的解决方案是cobar,这个帖子介绍的比较完善,可以看看。
http://blog.csdn.net/shagoo/article/details/8191346
cobar的逻辑层次图:
不过这种分库方式也是有一定局限性的,需要应用程序做相应的配合,比如说分库的情况下,虽然可以实现跨库查询,但是不能进行相关的group by计算。
另外,之前关于水平分表的实现方式,也可以通过表分区来实现。
mysql优化的方式有很多,选择上主要还是要考虑个人的实际情况,如代码不可控的情况下,就不适合选择按字段属性分表的情况,这样可能会带来大量的重构以及很多不可预期的风险。
而架构的优化,虽然对应用是透明的,但对sql的写法有很多局限性,比如说不能使用聚合函数等等,同时也需要有充足的硬件资源,只有一台服务器的情况下是没有意义的。
相比起来,代价最低的是按时间分表或分区,这两种办法对应用来说都是透明的。
分区只需要一次本地数据迁移的操作。
而通过分表把现网数据和历史数据分离,唯一的代价是定期的数据维护。
一般如果表里面有1亿数据的情况下,索引的问题应该是常识了,这方面我就不说了。
⑺ 数据库服务器对十亿条以上数据进行处理时,采用mysql的性能怎样PostgreSQL呢SQL sever呢
这个问题主要不是采用哪种数据库的问题。
通常认为oracle是最大型的,其实这个大型,主要是oracle对分布式架构的支持比较直接和友好。因为oracle在设计的时候是直接假设数据规模是大型的,也就是说其针对的市场是这部分市场。
mysql数据库比较灵活,设计的时候功能没有定死,其应用存在弹性。
性能方面,oracle的索引和引擎,性能不比mysql高,甚至比mysql低。因为oracle的设计原则是事务优先,性能通过加大硬件投入也就是扩大分布式架构的规模解决。mysql的设计原则是性能优先,事务其次。
oracle的大型假设还包括经济方面,那就是它针对的市场是高端方案这部分市场。经济方面也是“高端”的,也就是不能节约投资,特别是硬件设备。比如说银行,都采用oracle。总而言之,oracle的设计目标是高档产品,用于高档项目。
就像楼上说的,淘宝、网络等等大部分都已经倾向于PHP+MYSQL了,原因就是成本。特别是有了规模之后,非开源数据库的授权价格是很大的。mysql相比oracle的缺点是对技术有比较高的要求,个别功能不够到位。
那么你的这个问题。收费数据库像oracle,功能比较到位,易用性比较高。免费数据库像mysql单纯性能的话高那么一点,因为开源的代码优化的更好。
但是,各种数据库的索引和引擎技术,也就是算法,不可能有很大差距,数学是公开的。所以不是哪种数据库的问题,而是采用多少台计算机组成分布式架构的问题。
每天一千万条的数据操作量,除非数据是很小很简单的数据,否则这个量不能算小型的访问量。如果你的这个应用,可以通过缓存技术解决大部分数据库操作的话,不用分布式架构是可以的。
⑻ 全球首款亿级并发云服务器有何绝技
不久前,全球首款亿级并发云服务器系统在天津正式量产,该产品是“十二五”国家863计划信息技术领域“云计算关键技术与系统(二期)”重大专项的成果。
那么,什么是云服务器,和云计算又有什么关系?这款云服务器有何特殊之处呢?
什么是云计算?
“科普中国”是中国科协携同社会各方利用信息化手段开展科学传播的科学权威品牌。
本文由科普中国融合创作出品,转载请注明出处。
⑼ 一个注册用户过亿的网站需要什么样的服务器
这么说吧,你每年花在服务器上的钱都得上千万,而且得自己建立服务器(一般的公司都没有这么多的服务器)。。。。日流量5000万IP,算PV的话估计得上亿;国内能达到这种水准的网站也就网络、腾讯、搜狐、新浪之类的大网站;估计开心网、人人网、之类的都没有这么大的流量。