大数据库建立
A. 大数据时代的数据库怎么做
未至科技数据中心解决方案是以组织价值链分析模型为理论指导,结合组织战略规划和面向对象的方法论,对组织信息化战略进行规划重造立足数据,以数据为基础建立组织信息化标准,提供面向数据采集、处理、挖掘、分析、服务为组织提供一整套的基础解决方案。未至数据中心解决方案采用了当前先进的大数据技术,基于Hadoop架构,利用HDFS、Hive、Impala等大数据技术架构组件和公司自有ETL工具等中间件产品,建立了组织内部高性能、高效率的信息资源大数据服务平台,实现组织内数亿条以上数据的秒级实时查询、更新、调用、分析等信息资源服务。未至数据中心解决方案将,为公安、教育、旅游、住建等各行业业务数据中心、城市公共基础数据库平台、行业部门信息资源基础数据库建设和数据资源规划、管理等业务提供了一体化的解决方案。
B. 搭建大数据平台的具体步骤是什么
1、操作体系的挑选
操作体系一般使用开源版的RedHat、Centos或许Debian作为底层的构建渠道,要根据大数据渠道所要建立的数据剖析东西能够支撑的体系,正确的挑选操作体系的版本。
2、建立Hadoop集群
Hadoop作为一个开发和运行处理大规模数据的软件渠道,实现了在大量的廉价计算机组成的集群中对海量数据进行分布式计算。Hadoop结构中最核心的规划是HDFS和MapRece,HDFS是一个高度容错性的体系,合适布置在廉价的机器上,能够供给高吞吐量的数据访问,适用于那些有着超大数据集的应用程序;MapRece是一套能够从海量的数据中提取数据最终回来成果集的编程模型。在生产实践应用中,Hadoop非常合适应用于大数据存储和大数据的剖析应用,合适服务于几千台到几万台大的服务器的集群运行,支撑PB级别的存储容量。
3、挑选数据接入和预处理东西
面临各种来源的数据,数据接入便是将这些零散的数据整合在一起,归纳起来进行剖析。数据接入首要包括文件日志的接入、数据库日志的接入、关系型数据库的接入和应用程序等的接入,数据接入常用的东西有Flume,Logstash,NDC(网易数据运河体系),sqoop等。
4、数据存储
除了Hadoop中已广泛应用于数据存储的HDFS,常用的还有分布式、面向列的开源数据库Hbase,HBase是一种key/value体系,布置在HDFS上,与Hadoop一样,HBase的目标首要是依靠横向扩展,通过不断的添加廉价的商用服务器,添加计算和存储才能。同时hadoop的资源管理器Yarn,能够为上层应用供给统一的资源管理和调度,为集群在利用率、资源统一等方面带来巨大的优点。
5、挑选数据挖掘东西
Hive能够将结构化的数据映射为一张数据库表,并供给HQL的查询功能,它是建立在Hadoop之上的数据仓库根底架构,是为了削减MapRece编写工作的批处理体系,它的出现能够让那些通晓sql技术、可是不熟悉MapRece、编程才能较弱和不擅长java的用户能够在HDFS大规模数据集上很好的利用SQL言语查询、汇总、剖析数据。
6、数据的可视化以及输出API
关于处理得到的数据能够对接主流的BI体系,比如国外的Tableau、Qlikview、PowrerBI等,国内的SmallBI和新兴的网易有数(可免费试用)等,将成果进行可视化,用于决策剖析;或许回流到线上,支撑线上业务的开展。
C. 大数据平台是什么什么时候需要大数据平台如何建立大数据平台
首先我们要了解Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后。
Java :只要了解一些基础即可,做大数据不需要很深的Java 技术,学java SE 就相当于有学习大数据基础。
Linux:因为大数据相关软件都是在Linux上运行的,所以Linux要学习的扎实一些,学好Linux对你快速掌握大数据相关技术会有很大的帮助,能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置,能少踩很多坑,学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。
Hadoop:这是现在流行的大数据处理平台几乎已经成为大数据的代名词,所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN,HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面,MapRece是对数据进行处理计算的,它有个特点就是不管多大的数据只要给它时间它就能把数据跑完,但是时间可能不是很快所以它叫数据的批处理。
Zookeeper:这是个万金油,安装Hadoop的HA的时候就会用到它,以后的Hbase也会用到它。它一般用来存放一些相互协作的信息,这些信息比较小一般不会超过1M,都是使用它的软件对它有依赖,对于我们个人来讲只需要把它安装正确,让它正常的run起来就可以了。
Mysql:我们学习完大数据的处理了,接下来学习学习小数据的处理工具mysql数据库,因为一会装hive的时候要用到,mysql需要掌握到什么层度那?你能在Linux上把它安装好,运行起来,会配置简单的权限,修改root的密码,创建数据库。这里主要的是学习SQL的语法,因为hive的语法和这个非常相似。
Sqoop:这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个,直接把Mysql数据表导出成文件再放到HDFS上也是一样的,当然生产环境中使用要注意Mysql的压力。
Hive:这个东西对于会SQL语法的来说就是神器,它能让你处理大数据变的很简单,不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。
Oozie:既然学会Hive了,我相信你一定需要这个东西,它可以帮你管理你的Hive或者MapRece、Spark脚本,还能检查你的程序是否执行正确,出错了给你发报警并能帮你重试程序,最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的,不然你看着那一大堆脚本,和密密麻麻的crond是不是有种想屎的感觉。
Hbase:这是Hadoop生态体系中的NOSQL数据库,他的数据是按照key和value的形式存储的并且key是唯一的,所以它能用来做数据的排重,它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。
Kafka:这是个比较好用的队列工具,队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理,这样与你协作的其它同学不会叫起来,你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来,你别怪他因为他不是搞大数据的,你可以跟他讲我把数据放在队列里你使用的时候一个个拿,这样他就不在抱怨了马上灰流流的去优化他的程序去了,因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS,这时你可以与一个叫Flume的工具配合使用,它是专门用来提供对数据进行简单处理,并写到各种数据接受方(比如Kafka)的。
Spark:它是用来弥补基于MapRece处理数据速度上的缺点,它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算,所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它,因为它们都是用JVM的。
D. 创建大数据项目的五大步骤
创建大数据项目的五大步骤
企业需要积极的提升他们的数据管理能力。这并非意味着他们应该制定繁琐的流程和监督机制。明智的企业会配合他们的数据活动的生命周期制定灵活的流程和功能:根据业务需求启动更轻更严格、更强大的功能,并根据需求的增加来提升质量或精度。
一些企业正在利用新兴技术来应对新的数据源,但大多数企业仍然面临着需要努力管理好他们已经掌握或者应当掌握的数据信息的困境,而当他们试图部署大数据功能时,发现自己还需要面对和处理新的以及当下实时的数据。
为了能够实现持久成功的大数据项目,企业需要把重点放在如下五个主要领域。
1、确立明确的角色分工和职责范围。
对于您企业环境中的所有的数据信息,您需要对于这些数据信息所涉及的关键利益相关者、决策者有一个清晰的了解和把控。当数据信息在企业的系统传输过程中及其整个生命周期中,角色分工将发生变化,而企业需要对这些变化有一个很好的理解。当企业开始部署大数据项目之后,务必要明确识别相关数据的关键利益相关者,并做好这些数据信息的完善和迭代工作。
2、加强企业的数据治理和数据管理功能。
确保您企业的进程足够强大,能够满足和支持大数据用户和大数据技术的需求。进程可以是灵活的,并应充分考虑到业务部门和事务部门的需求,这些部门均伴有不同程度的严谨性和监督要求。
确保您企业的参考信息架构已经更新到包括大数据。这样做会给未来的项目打好最好的使用大数据技术和适当的信息管理能力的基础。
确保您企业的元数据管理功能足够强大,能够包括并关联所有的基本元数据组件。随着时间的推移,进行有序的分类,满足业务规范。
一旦您开始在您企业的生产部门推广您的解决方案时,您会希望他们长期持续的使用该解决方案,所以对架构功能的定义并监督其发挥的作用是至关重要的。确保您企业的治理流程包括IT控制的角色,以帮助企业的利益相关者们进行引导项目,以最佳地利用这些数据信息。其还应该包括您企业的安全和法务团队。根据我们的经验,使用现有的监督机制能够达到最佳的工作状态,只要企业实施了大数据应用,并专注于快速在进程中处理应用程序,而不是阻碍进程的通过。
3、了解环境中的数据的目的和要求的精度水平,并相应地调整您企业的期望值和流程。
无论其是一个POC,或一个已经进入主流业务流程的项目,请务必确保您对于期望利用这些数据来执行什么任务,及其质量和精度处于何种级别有一个非常清晰的了解。这种方法将使得企业的项目能够寻找到正确的数据来源和利益相关者,以更好地评估这些数据信息的价值和影响,进而让您决定如何最好地管理这些数据信息。更高的质量和精度则要求更强大的数据管理和监督能力。
随着您企业大数据项目的日趋成熟,考虑建立一套按照数据质量或精确度分类的办法,这将使得数据用户得以更好的了解他们所使用的是什么,并相应地调整自己的期望值。例如,您可以使用白色、蓝色或金色来分别代表原始数据、清理过的数据,经过验证可以有针对性的支持分析和使用的数据。有些企业甚至进一步完善了这一分类方法:将数据从1到5进行分类,其中1是原始数据,而5是便于理解,经过整理的、有组织的数据。
4、将对非结构化的内容的管理纳入到您企业的数据管理能力。
非结构化数据一直是企业业务运营的一部分,但既然现在我们已经有了更好的技术来探索,分析和这些非结构化的内容,进而帮助改善业务流程和工业务洞察,所以我们最终将其正式纳入我们的数据管理是非常重要的。大多数企业目前都被困在了这一步骤。
数据库中基本的、非结构化的数据是以评论的形式或者自由的形式存在的,其至少是数据库的一部分,应该被纳入到数据管理。但挖掘这些数据信息则是非常难的。
数字数据存储在传统的结构化数据库和业务流程外,很少有许多的治理范围分组和数据管理的实现,除了当其被看作是一个技术问题时。一般来说,除了严格遵守相关的安全政策,今天的企业尚未对其进行真正有效的管理。当您的企业开始大跨步实现了大数据项目之后,您会发现这一类型的数据信息迅速进入了您需要管理的范畴,其输出会影响您企业的商业智能解决方案或者甚至是您企业的业务活动。积极的考虑将这些数据纳入到您企业的数据管理功能的范围,并明确企业的所有权,并记录好这些数据信息的诸如如何使用、信息来源等等资料。
不要采取“容易的轻松路线”,单纯依靠大数据技术是您企业唯一正式的非结构化数据管理的过程。随着时间的推移,企业将收集越来越多的非结构化数据,请务必搞清楚哪些数据是好的,哪些是坏的,他们分别来自何处,以及其使用是否一致,将变得越来越重要,甚至在其生命周期使用这个数据都是至关重要的。
要保持这种清晰,您可以使用大数据和其他工具,以了解您企业所收集的数据信息,确定其有怎样的价值,需要怎样的管理,这是至关重要的。大多数进入您企业的大数据系统的非结构化数据都已经经过一些监控了,但通常是作为一个BLOB(binarylargeobject)二进制大对象和非结构化的形式进行的。随着您的企业不断的在您的业务流程中“发掘”出这一类型的数据,其变得更加精确和有价值。其可能还具有额外的特点,符合安全,隐私或法律和法规的元素要求。最终,这些数据块可以成为新的数据元素或添加到现有的数据,但您必须有元数据对其进行描述和管理,以便尽可能最有效地利用这些数据。
5、正式在生产环境运行之前进行测试。
如果您的企业做的是一次性的分析或完整的一次性的试点,这可能并不适用于您的企业,但对大多数企业来说,他们最初的大数据工作将迅速发展,他们找到一个可持续利用他们已经挖掘出的极具价值的信息的需求。这意味着需要在您的沙箱环境中进行测试,然后才正式的在您的生产环境运。
E. 如何创建一个大数据平台
所谓的大数据平台不是独立存在的,比如网络是依赖搜索引擎获得大数据并开展业务的,阿里是通过电子商务交易获得大数据并开展业务的,腾讯是通过社交获得大数据并开始业务的,所以说大数据平台不是独立存在的,重点是如何搜集和沉淀数据,如何分析数据并挖掘数据的价值。
我可能还不够资格回答这个问题,没有经历过一个公司大数据平台从无到有到复杂的过程。不过说说看法吧,也算是梳理一下想法找找喷。
这是个需求驱动的过程。
曾经听过spotify的分享,印象很深的是,他们分享说,他们的hadoop集群第一次故障是因为,机器放在靠窗的地方,太阳晒了当机了(笑)。从简单的没有机房放在自家窗前的集群到一直到现在复杂的数据平台,这是一个不断演进的过程。
对小公司来说,大概自己找一两台机器架个集群算算,也算是大数据平台了。在初创阶段,数据量会很小,不需要多大的规模。这时候组件选择也很随意,Hadoop一套,任务调度用脚本或者轻量的框架比如luigi之类的,数据分析可能hive还不如导入RMDB快。监控和部署也许都没时间整理,用脚本或者轻量的监控,大约是没有ganglia、nagios,puppet什么的。这个阶段也许算是技术积累,用传统手段还是真大数据平台都是两可的事情,但是为了今后的扩展性,这时候上Hadoop也许是不错的选择。
当进入高速发展期,也许扩容会跟不上计划,不少公司可能会迁移平台到云上,比如AWS阿里云什么的。小规模高速发展的平台,这种方式应该是经济实惠的,省了运维和管理的成本,扩容比较省心。要解决的是选择平台本身提供的服务,计算成本,打通数据出入的通道。整个数据平台本身如果走这条路,可能就已经基本成型了。走这条路的比较有名的应该是netflix。
也有一个阶段,你发现云服务的费用太高,虽然省了你很多事,但是花钱嗖嗖的。几个老板一合计,再玩下去下个月工资发布出来了。然后无奈之下公司开始往私有集群迁移。这时候你大概需要一群靠谱的运维,帮你监管机器,之前两三台机器登录上去看看状态换个磁盘什么的也许就不可能了,你面对的是成百上千台主机,有些关键服务必须保证稳定,有些是数据节点,磁盘三天两头损耗,网络可能被压得不堪重负。你需要一个靠谱的人设计网络布局,设计运维规范,架设监控,值班团队走起7*24小时随时准备出台。然后上面再有平台组真的大数据平台走起。
然后是选型,如果有技术实力,可以直接用社区的一整套,自己管起来,监控部署什么的自己走起。这个阶段部署监控和用户管理什么的都不可能像两三个节点那样人肉搞了,配置管理,部署管理都需要专门的平台和组件;定期Review用户的作业和使用情况,决定是否扩容,清理数据等等。否则等机器和业务进一步增加,团队可能会死的很惨,疲于奔命,每天事故不断,进入恶性循环。
当然有金钱实力的大户可以找Cloudera,Hortonworks,国内可以找华为星环,会省不少事,适合非互联网土豪。当然互联网公司也有用这些东西的,比如Ebay。
接下去你可能需要一些重量的组件帮你做一些事情。
比如你的数据接入,之前可能找个定时脚本或者爬log发包找个服务器接收写入HDFS,现在可能不行了,这些大概没有高性能,没有异常保障,你需要更强壮的解决方案,比如Flume之类的。
你的业务不断壮大,老板需要看的报表越来越多,需要训练的数据也需要清洗,你就需要任务调度,比如oozie或者azkaban之类的,这些系统帮你管理关键任务的调度和监控。
数据分析人员的数据大概可能渐渐从RDBMS搬迁到集群了,因为传统数据库已经完全hold不住了,但他们不会写代码,所以你上马了Hive。然后很多用户用了Hive觉得太慢,你就又上马交互分析系统,比如Presto,Impala或者SparkSQL。
你的数据科学家需要写ML代码,他们跟你说你需要Mahout或者Spark MLLib,于是你也部署了这些。
至此可能数据平台已经是工程师的日常工作场所了,大多数业务都会迁移过来。这时候你可能面临很多不同的问题。
比如各个业务线数据各种数据表多的一塌糊涂,不管是你还是写数据的人大概都不知道数据从哪儿来,接下去到哪儿去。你就自己搞了一套元数据管理的系统。
你分析性能,发现你们的数据都是上百Column,各种复杂的Query,裸存的Text格式即便压缩了也还是慢的要死,于是你主推用户都使用列存,Parquet,ORC之类的。
又或者你发现你们的ETL很长,中间生成好多临时数据,于是你下狠心把pipeline改写成Spark了。
再接下来也许你会想到花时间去维护一个门户,把这些零散的组件都整合到一起,提供统一的用户体验,比如一键就能把数据从数据库chua一下拉到HDFS导入Hive,也能一键就chua一下再搞回去;点几下就能设定一个定时任务,每天跑了给老板自动推送报表;或者点一下就能起一个Storm的topology;或者界面上写几个Query就能查询Hbase的数据。这时候你的数据平台算是成型了。
当然,磕磕碰碰免不了。每天你都有新的问题和挑战,否则你就要失业了不是?
你发现社区不断在解决你遇到过的问题,于是你们架构师每天分出很多时间去看社区的进展,有了什么新工具,有什么公司发布了什么项目解决了什么问题,兴许你就能用上。
上了这些乱七八糟的东西,你以为就安生了?Hadoop平台的一个大特点就是坑多。尤其是新做的功能新起的项目。对于平台组的人,老板如果知道这是天然坑多的平台,那他也许会很高兴,因为跟进社区,帮忙修bug,一起互动其实是很提升公司影响力的实情。当然如果老板不理解,你就自求多福吧,招几个老司机,出了问题能马上带路才是正道。当然团队的技术积累不能不跟上,因为数据平台还是乱世,三天不跟进你就不知道世界是什么样了。任何一个新技术,都是坑啊坑啊修啊修啊才完善的。如果是关键业务换技术,那需要小心再小心,技术主管也要有足够的积累,能够驾驭,知道收益和风险。
F. 如何正确建立大数据结构
如何正确建立大数据结构
大数据各行各业的企业都提供了潜力。正确使用这些大数据信息可能将增加商业价值,帮助您的企业从市场竞争中脱颖而出。如下是几个企业成功应用大数据的案例:
大数据的例子
汽车制造商已经开始使用大数据来了解汽车何时需要返回到车库进行维修。使用汽车发动机的数百个传感器,可以为汽车制造商发送实时的数据信息,这使得制造商甚至比驾驶汽车的司机还要提前知道汽车何时会出现故障。卡车制造商开始使用大数据,基于实时交通条件和客户的需求来改进他们的路由,从而节约燃料和时间。
零售业也开始越来越多的使用大数据,鉴于越来越多的产品均有一个RFID标签能帮助零售商跟踪产品,知道很少某种产品库存缺货,并及时向供货商订购新产品。沃尔玛便是这正确利用大数据这方面的一个很好的例子。当零售商开始识别他们的客户时,就能够更好地建立商店,更好的满足客户的需求。
当然,上述这些只是几个浅显的例子,大数据的可能性几乎是无止境的。不久的将来,我们将讨论在大数据平台上的最佳实践。知道大数据能够提供商业价值是一回事;而企业要知道如何创建正确的架构则又是另一回事了。
大数据结构
大数据有三个特征,使得大数据不同于现有的数据仓库和商业智能。大数据的这三大特点是:
数据量庞大:大数据的数据量相当庞大,更多的时候大数据的数据量可以达到比数TB到PB级字节。
高速度传递:所有这些TB和PB字节的数据能够实时交付,数据仓库每天都需要应付如此高速的数据流。
种类繁杂:大数据比使用现有的商业智能中正常数据的种类更繁杂。大数据还包括非结构化社交数据,如Twitter或Facebook网的社会信息、日志文件、电子邮件等。
根据这些特性,建立您企业的体系结构是非常重要的。一个很好的出发点是以企业现有的数据仓库为基础。高密度数据的数据仓库,其中包含用于当前商业智能的仪表板。重要的是,该企业是为了之后再移动到大数据。把大数据转移到您的企业有如下四个步骤:
1)进一步分析当前的数据:从仪表板和ad-hoc查询,到诸如空间分析和图形分析或更高级先进的分析。您可以专注于客户忠诚度、客户流失率、分析本地情况(如何接近您的客户),并开始建立社交网络(与您的客户建立社交联系)。这些分析将为您的企业带来更多的商业价值。
2)建立正确的架构,用于存储数据的种类和数量:这一切大数据是如何存储在您的企业的。把这些原始数据直接转化到数据仓库中,每兆字节以低成本优化存储大量低密度数据是十分重要的。这便是Hadoop本身已被证明是非常有效的。Hadoop是开源的,与现有的数据库兼容。它集合了所有可用的数据,您可以用它来寻找新的关系和新的潜在的商业价值。
3)为数据传输速度建立体系结构:一旦您有合适的设备来存储大量的不同的数据,您就可以开始实时处理数据。例如如果您有数据流从传感器传输而来,存储在Hadoop,您想看看正在发生的事件,并需要确定是否需要采取行动。您可以使用一切历史数据,以确定在实时条件下进行预期(预测分析),您可以创建模型反应发生模式。如果您已经建立了一个智能的基础设施,您将能够实时响应事件,并进行实时的决策。
4)开始探索新的模式:利用所有可用的数据,您可以在您的数据中发现新的模式。从Hadoop与其他可用的数据汇总数据相匹配。有不同的大数据初创公司开发的工具,在这个平台上分析,可以帮助您可视化,寻求新的关系。我们的目标是找到您要解决的下一个问题,最大限度地帮助您从数据中获取商业价值。
正确发展大数据结构可谓是一个挑战,同时可能成本是相当昂贵的。然而,结果必将物超所值的让您成功收回投资。
G. 如何建立大数据数据仓库
BI领域注重统计分析,传统的数据库注重在线事务。。 统计分析的数据量一般都比较大,注重的是查询,一次查询大批量的数据,但是传统的数据库一般都是为了支持在线事务的,所以插入更新较多,查询往往只根据条件查询。。
H. 怎样建立一个大型数据库
建立一个数据库当你想建立一个表时,你必须按照以下的步骤先建立一个数据库:在SQL Enterprise Manager中,选择你的数据库的名字。从Manage菜单中选择Databases选项。管理数据库的窗口就出现了。在工具条上点击新建数据库的按钮,就会出现新建数据库的对话框(如图3.5所示)。注意</B>现在版本的SQL Server(version 6.5)最多能有32,767个数据库。每个数据库的最小容量是1MB,最大容量是ITB。在SQL Enterprise Manager对话框中的新建数据库对话框。 填写你的数据库所要使用的名字(不能有空格)。 然后,填写你要建立的数据库所在的数据库设备(例如,他就是你在前面一步建立的数据库设备)。 这个新建数据库的对话框会以图形的方式显示所有数据库设备的已经使用和没有使用的空间。 当你建立一个数据库时,你可以选择去建立事务日志。为了建立事务日志,你需要指定一个log device(日志数据库设备)。在新建数据库对话框中,打开标有LogDevice的下拉式框,然后选择一个数据库设备和用于日志的空间大小。注意</B>每个数据库都有它自己的事务处理日志,它记录了对数据库每一个请求(modify,insert,delete)。日志文件是对数据库的内部处理过程的一种监视。它允许你对数据库执行updates, inserts, deletes等操作。所以在需要的时候,你也可以取消这些操作的结果。在系统没有正确地关闭,而只是停机或重新启动时,这些事务处理的日志是很有用的-在重新启动时,SQL Server会根据事务处理日志来恢复数据。注意</B>当你把事务处理日志向一个mp 数据库倾倒时,你的事务处理日志会被截短。你也可以强制地使你的事务日志缩短。如果你想知道有关事务日志的更多的信息,请查询SQL 在线帮助文件,用关键字transaction log查找。6当你完成在新建数据库的对话框中的这些问题的回答,点击Create Now 按钮。你的数据库就会在Databases文件夹下显示出来。
I. 大数据量的系统的数据库结构如何设计
1、把你表中经常查询的和不常用的分开几个表,也就是横向切分
2、把不同类型的分成几个表,纵向切分
3、常用联接的建索引
4、服务器放几个硬盘,把数据、日志、索引分盘存放,这样可以提高IO吞吐率
5、用优化器,优化你的查询
6、考虑冗余,这样可以减少连接
7、可以考虑建立统计表,就是实时生成总计表,这样可以避免每次查询都统计一次
mrzxc 等说的好,考虑你的系统,注意负载平衡,查询优化,25 万并不大,可以建一个表,然后按mrzxc 的3 4 5 7 优化。 速度,影响它的因数太多了,且数据量越大越明显。
1、存储 将硬盘分成NTFS格式,NTFS比FAT32快,并看你的数据文件大小,1G以上你可以采用多数据库文件,这样可以将存取负载分散到多个物理硬盘或磁盘阵列上。
2、tempdb tempdb也应该被单独的物理硬盘或磁盘阵列上,建议放在RAID 0上,这样它的性能最高,不要对它设置最大值让它自动增长
3、日志文件 日志文件也应该和数据文件分开在不同的理硬盘或磁盘阵列上,这样也可以提高硬盘I/O性能。
4、分区视图 就是将你的数据水平分割在集群服务器上,它适合大规模OLTP,SQL群集上,如果你数据库不是访问特别大不建议使用。
5、簇索引 你的表一定有个簇索引,在使用簇索引查询的时候,区块查询是最快的,如用between,应为他是物理连续的,你应该尽量减少对它的updaet,应为这可以使它物理不连续。
6、非簇索引 非簇索引与物理顺序无关,设计它时必须有高度的可选择性,可以提高查询速度,但对表update的时候这些非簇索引会影响速度,且占用空间大,如果你愿意用空间和修改时间换取速度可以考虑。
7、索引视图 如果在视图上建立索引,那视图的结果集就会被存储起来,对与特定的查询性能可以提高很多,但同样对update语句时它也会严重减低性能,一般用在数据相对稳定的数据仓库中。
8、维护索引 你在将索引建好后,定期维护是很重要的,用dbcc showcontig来观察页密度、扫描密度等等,及时用dbcc indexdefrag来整理表或视图的索引,在必要的时候用dbcc dbreindex来重建索引可以受到良好的效果。 不论你是用几个表1、2、3点都可以提高一定的性能,5、6、8点你是必须做的,至于4、7点看你的需求,我个人是不建议的。打了半个多小时想是在写论文,希望对你有帮助。
J. 大型数据库建表有啥规范和要求
关键是科学的建表大数据库一般只能主键,也无外。你不信看年discuz.
如果是mysql,可以不设约束。
记住,把表规划好。设一个主键即楞。