分析型数据库
1. 数据分析用什么数据库
数据分析用Access数据库、MYsql数据库、SQLServer数据库和Oracle数据库;这些是数据库是一个关系型数据库管理系统,支持多种操作系统,具有安装简单、使用管理都非常简单,而且也非常容易上手。
2. 大数据从百万级别数据的分析角度,数据库如何选择哪位大大告诉yunmar下,谢谢!!
百万级的数据,无论侧重OLTP还是OLAP,当然就是MySql了。
过亿级的数据,侧重OLTP可以继续Mysql,侧重OLAP,就要分场景考虑了。
实时计算场景:强调实时性,常用于实时性要求较高的地方,可以选择Storm;
批处理计算场景:强调批处理,常用于数据挖掘、分析,可以选择Hadoop;
实时查询场景:强调查询实时响应,常用于把DB里的数据转化索引文件,通过搜索引擎来查询,可以选择solr/elasticsearch;
企业级ODS/EDW/数据集市场景:强调基于关系性数据库的大数据实时分析,常用于业务数据集成,可以选择Greenplum;
数据库系统一般分为两种类型:
一种是面向前台应用的,应用比较简单,但是重吞吐和高并发的OLTP类型;
一种是重计算的,对大数据集进行统计分析的OLAP类型。
传统数据库侧重交易处理,即OLTP,关注的是多用户的同时的双向操作,在保障即时性的要求下,系统通过内存来处理数据的分配、读写等操作,存在IO瓶颈。
OLTP(On-Line Transaction Processing,联机事务处理)系统也称为生产系统,它是事件驱动的、面向应用的,比如电子商务网站的交易系统就是一个典型的OLTP系统。
OLTP的基本特点是:
数据在系统中产生;
基于交易的处理系统(Transaction-Based);
每次交易牵涉的数据量很小;
对响应时间要求非常高;
用户数量非常庞大,主要是操作人员;
数据库的各种操作主要基于索引进行。
分析型数据库是以实时多维分析技术作为基础,即侧重OLAP,对数据进行多角度的模拟和归纳,从而得出数据中所包含的信息和知识。
OLAP(On-Line Analytical Processing,联机分析处理)是基于数据仓库的信息分析处理过程,是数据仓库的用户接口部分。OLAP系统是跨部门的、面向主题的,其基本特点是:
本身不产生数据,其基础数据来源于生产系统中的操作数据(OperationalData);
基于查询的分析系统;
复杂查询经常使用多表联结、全表扫描等,牵涉的数据量往往十分庞大;
响应时间与具体查询有很大关系;
用户数量相对较小,其用户主要是业务人员与管理人员;
3. 传统数据库与新型数据库的优缺点
一:传统数据库
(1)传统索引不适于海量数据
传统行存数据库索引需要手工设定,对应用不完全透明,随场景和需求的变化需要不断调整,人工维护成本很高。并且传统索引占用存储空间很大,甚至高于数据本身,造成查询效率的下降。
(2)数据装载速度慢
因为索引需要重新创建,加载性能会变的很糟糕。分析型架构系统要解决这些个问题,必须最大限度地减少磁盘 I/O ,提升查询效率,减小人工维护成本。南大通用分析型数据库GBase8a (以下简称GBase 8a)通过列存储模式、数据压缩、智能化的索引、并行处理、并发控制、高效的查询优化器等技术,使得上述问题得到有效解决。以下各节将描述 GBase 8a 的创新架构如何实现这些目标。
二:新型数据库
新型数据库采用分布式并行计算架构,部署于X86通用服务器,满足大数据实时交易需求,成本低、扩展性高,突破了传统数据库性能瓶颈。
分布式非关系型数据库技术创新
非关系型数据库即NoSQL,抛弃了关系数据库复杂的关系操作、事务处理等功能,仅提供简单的键值对(Key, Value)数据的存储与查询,换取高扩展性和高性能,满足论坛、博客、SNS、微博等互联网类应用场景下针对海量数据的简单操作需求。主要技术创新为:
(1) 简单的数据操作换取高效响应。NoSQL仅支持按照Key(关键字)来存储和查询Value(数据),不支持对非关键字数据列的高效查询;因数据操作简单、数据间一般不需要关联操作,故系统可支持高并发和较快的响应速度。
(2) 多种一致性策略满足业务需求。不同于传统关系型数据库仅支持强一致性策略,NoSQL还支持弱一致性和最终一致性等多种策略,可根据应用场景进行对应配置。例如,对写入操作频繁,但数据读取最新版本要求并不严格的应用,如互联网网页数据的存储和分析应用,可以采用最终一致性策略;而对订购关系存储的应用,则必须用强一致性策略,保证总是读取最新版本数据
4. odps 和 分析性数据库的区别
1,oracle支持多种操作系统,sql server只支持windows。
2,oracle给dba更多的灵活性,可以根据实际情况调整参数,使你的应用的性能最佳,因而带来一个缺点是很难上手;sql server则相反,当然很容易上手。 体系结构 oracle的文件体系结构为: 数
5. GBase 8t数据库提供支持的应用类型有哪些
GBase 是南大通用数据技术有限公司推出的自主品牌的数据库产品,目前在国内数据库市场具有较高的品牌知名度。GBase系列产品包括:新型分析型数据库GBase 8a、分布式并行数据库集群GBase 8a Cluster、高端事务型数据库GBase 8t、高速内存数据库GBase 8m/AltiBase、可视化商业智能GBaseBI、大型目录服务体系GBase 8d、硬加密安全数据库GBase 8。
6. 现在国产数据库有哪些品牌
据我网上找的资料,目前国产数据库主要有3个1、南京大学通用newsql数据库——gbase2、达梦新1代云数据库——dm73、人大金仓分析型数据库kingbasees但个人观点,在国外多个知名商业化数据库oracle,sqlserver,db2等和开源的数据库如mysql,postgresql等眼前,这些基本没有甚么市场
7. 分析数据库系统的主要类型和代表产品
分析数据库系统的主要类型为参考数据库、源数据库及混合型数据库,代表产品分别为SCI、中国生物医学文献数据库、IBM的DB29。
上述分类采用国际通用的分类方法,即分为参考数据库、源数据库及混合型数据库。
参考数据库指包含各种信息、数据或知识原始来源和属性的数据库。数据库中的记录是通过对信息、数据或知识的再加工和过滤(如编目、索引、要、分类等)所形成的二次文献。参考数据库主要包括书目数据库、文摘数据库、索引数据库。
8. 对于维度建模的理解
维度模型是数据仓库领域大师Ralph Kimball 所倡导,以分析决策的需求出发构建模型,构建的数据模型为分析需求服务,因此它重点解决用户如何更快速完成分析需求,同时还有较好的大规模复杂查询的响应性能。
维度建模是 数据仓库/商业智能 项目成功的关键,为什么这么说,因为不管我们的数据量从GB到TG还是到PB,虽然数据量越来越大,但是数据展现要获得成功,就必须建立在简单性的基础之上,而维度建模就是时刻考虑如何能够提供简单性,以业务为驱动,以用户理解性和查询性能为目标。
维度建模:维度建模是专门应用于分析型数据库、数据仓库、数据市集建模的方法。数据市集可以理解为一种“小型的数据仓库” 维度建模指导我们在数据仓库中如何建表
维度建模分为两种表:事实表和维度表
事实表:必然存在的一些数据,像采集的日志文件,订单表,都可以作为事实表
特征:是一堆主键的集合,每个主键对应维度表中的一条记录,客观存在的,根据主题确定出需要使用的数据维度表:维度就是所分析的数据的一个量,维度表就是以合适的角度来创建的表,分析问题的一个角度:时间、地域、终端、用户等角度
星形模式:以事实表为中心,所有的维度表直接连在事实表上,最简单最常用的一种
星座模型:基于多张事实表,而且共享维度信息,即事实表之间可以共享某些维度表
维度建模的三种模式
9. 事务型数据库与分析型数据库的特征及二者区别
事务型数据库主要是实时的,面向应用的数据库,响应及时性要求很高,只关注最近一段时间的数据。就是平时搭建的服务都叫事务型数据库。
分析型数据库主要是用于在大量数据中分析规律的,一般存储的数据时间跨度长,数据量大,对实时性要求不高,通过查询分析规律趋势,用于产品决策等。
两者所面向的目标不一样。
10. 数据库未来的发展前景怎么样
在信息化时代,数据库成为企业经营管理必不可少的工具。经过了一个世纪的发展,目前数据库行业已经进入到快速发展阶段,非关系型的数据库盛行,“数据上云”新模式诞生,市场规模达到665亿美元。未来,随着海量数据的爆发,全球数据库行业市场规模有望突破2000亿美元。
数据库成为企业经营管理必不可少的工具
在全球信息化的时代,数据库已经逐渐成为了众多企业经营管理必不可少的工具。数据库指的是一种用于存储和管理拥有固定格式和结构数据的仓库型数据管理系统。
数据库这一行业技术发源并兴起于美国,如今已经广泛应用于全世界各企业之中。数据库一般可分为关系型数据库和非关系型数据库。
关系型数据库的基层单位是由二维的行列分部组成的表格,一个关系型数据库往往可以涵盖多个行列分部表格。表格中每一行分布代表了一条独特的数据记录,而各列则代表了同一数据记录的不同特性。通过多种来源获取的数据最后会通过抽取、转化、加载后整合进一个数据仓库之中。关系型数据库根据其数据处理技术的不同又可以分为联机事务型数据库与联机分析型数据库。
非关系型数据库是一个用于概括一切可供替代传统关系型数据库的开放式术语。非关系型数据库同样也可以通过嵌套类的方式将互有关系的数据存储在同一结构当中。非关系型数据库采用了更为灵活的数据结构,并且可以横向到达多个处理器。以功能划分,非关系型数据库可以分为文档型数据库、键值型数据库、列存储数据库、图形数据库四种。
—— 更多数据及分析请参考前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》。