数据库响应时间

1. 数据仓库与数据库的主要区别有

首先我们来了解数据仓库和数据库分别是什么：
1、数据库:是一种逻辑概念，用来存放数据的仓库，通过数据库软件来实现。数据库由很多表组成，表是二维的，一张表里面有很多字段。字段一字排开，对数据就一行一行的写入表中。数据库的表，在于能够用二维表现多维的关系。如：oracle、DB2、Mysql、Sybase、MSSQL Server等。
2、数据仓库：是数据库概念的升级。从逻辑上理解，数据库和数据仓库没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析，辅助领导做决策；
区别主要总结为以下几点：

1.数据库只存放在当前值，数据仓库存放历史值；
2.数据库内数据是动态变化的，只要有业务发生，数据就会被更新，而数据仓库则是静态的历史数据，只能定期添加、刷新；
3.数据库中的数据结构比较复杂，有各种结构以适合业务处理系统的需要，而数据仓库中的数据结构则相对简单；
4.数据库中数据访问频率较高，但访问量较少，而数据仓库的访问频率低但访问量却很高；
5.数据库中数据的目标是面向业务处理人员的，为业务处理人员提供信息处理的支持，而数据仓库则是面向高层管理人员的，为其提供决策支持；
6.数据库在访问数据时要求响应速度快，其响应时间一般在几秒内，而数据仓库的响应时间则可长达数几小时

2. 数据库和大数据的区别

在大数据处理当中，数据库提供底层支持，实现了稳固的大数据存储，才能更好地支持下一步的大数据计算。今天的大数据基础知识分享，我们来聊聊大数据当中，数据库和数据仓库的区别，怎么去理解这两者，又该怎么去应用？ 首先，数据库是什么？

从定义上来说，数据库是用来存放数据的仓库，数据库由很多表组成，表是二维的，一张表里面有很多字段。字段一字排开，对数据就一行一行的写入表中。

数据库的表，在于能够用二维表现多维的关系，如：oracle、DB2、MySQL、Sybase、MSSQL Server等，都是典型的数据库。

那么，数据仓库又是什么？

数据仓库，可以理解为是数据库概念的升级。从逻辑上理解，数据库和数据仓库没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大。

数据库和数据仓库的区别：

1.数据库只存放在当前值，数据仓库存放历史值；

2.数据库内数据是动态变化的，只要有业务发生，数据就会被更新，而数据仓库则是静态的历史数据，只能定期添加、刷新；

3.数据库中的数据结构比较复杂，有各种结构以适合业务处理系统的需要，而数据仓库中的数据结构则相对简单；

4.数据库中数据访问频率较高，但访问量较少，而数据仓库的访问频率低但访问量却很高；

5.数据库中数据的目标是面向业务处理人员的，为业务处理人员提供信息处理的支持，而数据仓库则是面向高层管理人员的，为其提供决策支持；

6.数据库在访问数据时要求响应速度快，其响应时间一般在几秒内，而数据仓库的响应时间则可长达数几小时。

关于，数据库基础，大数据数据库和数据仓库的区别，以上就是详细的介绍了。在大数据当中，数据库和数据仓库的知识的，都是值得关注的，也是在学习当中需要去重视的。

3. 如何查看数据库响应时间

SELECT SUBSTRING(qt.text, ( qs.statement_start_offset / 2 ) + 1,
( ( CASE qs.statement_end_offset
WHEN -1 THEN DATALENGTH(qt.text)
ELSE qs.statement_end_offset
END - qs.statement_start_offset ) / 2 ) + 1) ,
qs.execution_count ,
qs.total_worker_time as total_worker_time_in_s,
qs.last_worker_time as last_worker_time_in_ms,
(qs.total_worker_time /qs.execution_count)/1000 as avg_execution_time_ms,
qs.last_execution_time
FROM sys.dm_exec_query_stats qs
CROSS APPLY sys.dm_exec_sql_text(qs.sql_handle) qt
ORDER BY qs.last_execution_time DESC
--这个里面的total_worker_time在不考虑网络传输的情况下，可以看为是响应时间。
--测试结果：total_worker_time=编译时间+等待时间+执行时间+返回时间

4. 哪些因素影响了数据库性能

网络宽带，磁盘IO，查询速度都会影响到数据库的性能。

具体问题具体分析，举例来说明为什么磁盘IO成瓶颈数据库的性能急速下降了。

为什么当磁盘IO成瓶颈之后, 数据库的性能不是达到饱和的平衡状态，而是急剧下降。为什么数据库的性能有非常明显的分界点，原因是什么？

相信大部分做数据库运维的朋友，都遇到这种情况。 数据库在前一天性能表现的相当稳定，数据库的响应时间也很正常，但就在今天，在业务人员反馈业务流量没有任何上升的情况下，数据库的变得不稳定了，有时候一个最简单的insert操作， 需要几十秒，但99%的insert却又可以在几毫秒完成，这又是为什么了？

dba此时心中有无限的疑惑，到底是什么原因呢? 磁盘IO性能变差了？还是业务运维人员反馈的流量压根就不对？ 还是数据库内部出问题？昨天不是还好好的吗？

当数据库出现响应时间不稳定的时候，我们在操作系统上会看到磁盘的利用率会比较高，如果观察仔细一点，还可以看到，存在一些读的IO. 数据库服务器如果存在大量的写IO,性能一般都是正常跟稳定的，但只要存在少量的读IO,则性能开始出现抖动，存在大量的读IO时（排除配备非常高速磁盘的机器），对于在线交易的数据库系统来说，大概性能就雪崩了。为什么操作系统上看到的磁盘读IO跟写IO所带来的性能差距这么大呢？

如果亲之前没有注意到上述的现象，亲对上述的结论也是怀疑。但请看下面的分解。

在写这个文章之前，作者阅读了大量跟的IO相关的代码，如异步IO线程的相关的，innodb_buffer池相关的，以及跟读数据块最相关的核心函数buf_page_get_gen函数以及其调用的相关子函数。为了将文章写得通俗点，看起来不那么累，因此不再一行一行的将代码解析写出来。

咱们先来提问题。buf_page_get_gen函数的作用是从Buffer bool里面读数据页，可能存在以下几种情况。

提问. 数据页不在buffer bool 里面该怎么办？

回答：去读文件，将文件中的数据页加载到buffer pool里面。下面是函数buffer_read_page的函数，作用是将物理数据页加载到buffer pool, 图片中显示

buffer_read_page函数栈的顶层是pread64(),调用了操作系统的读函数。

通过解析buf_wait_for_read函数的下层函数，我们知道其实通过首先自旋加锁pin的方式，超过设定的自旋次数之后，进入等待，等待IO完成被唤醒。这样节省不停自旋pin时消耗的cpu,但需要付出被唤起时的开销。

再继续扩展问题： 如果会话线程A 经过物理IO将数据页1001读入buffer之后，他需要修改这个页，而在会话线程A之后的其他的同样需要访问数据页1001的会话线程，即使在数据页1001被入读buffer pool之后，将仍然处于等待中。因为在数据页上读取或者更新的时候，同样需要上锁，这样才能保证数据页并发读取/更新的一致性。

由此可见，当一个高并发的系统，出现了热点数据页需要从磁盘上加载到buffer pool中时，造成的延迟，是难以想象的。因此排在等待热点页队列最后的会话线程最后才得到需要的页，响应时间也就越长，这就是造成了一个简单的sql需要执行几十秒的原因。

再回头来看上面的问题，mysql数据库出现性能下降时，可以看到操作系统有读IO。 原因是，在数据库对数据页的更改，是在内存中的，然后通过检查点线程进行异步写盘，这个异步的写操作是不堵塞执行sql的会话线程的。所以，即使看到操作系统上有大量的写IO，数据库的性能也是很平稳的。但当用户线程需要查找的数据页不在buffer pool中时，则会从磁盘上读取，在一个热点数据页不是非常多的情况下，我们设置足够大的innodb_buffer_pool的size, 基本可以缓存所有的数据页，因此一般都不会出现缺页的情况，也就是在操作系统上基本看不到读的IO。 当出现读的IO时，原因时在执行buf_read_page_low函数，从磁盘上读取数据页到buffer pool, 则数据库的性能则开始下降，当出现大量的读IO，数据库的性能会非常差。

5. 如何极大地减少数据库的响应时间

我们发现，有时一个简单合理的优化配置就可以极大地减少数据库的响应时间，提高数据库的吞吐量。另外，我们还需要关注系统的状态（比如CPU、内存、磁盘的利用率）、操作系统是否存在问题、Oracle Server性能问题的成因以及应用程序的SQL质量是否合理等等。但是这些问题的合理解决需要对数据库底层原理有深入的理解、经验和判断力。课程目标掌握数据库调优的思路和技巧掌握多种优化工具的使用和优化方法能够进行性能故障分析掌握各种优化算法的优劣，根据应用需求选择合适的算法等等课程大纲时间上午下午第一天Oracle体系结构组件q理解Oracle的物理结构q理解Oracle的内存结构q理解Oracle的进程结构q理解Oracle的逻辑结构qSql语句的处理过程qOracle 数据库，服务器，例程的定义管理Oracle例程q创建管理和使用参数文件q实例启动的过程和阶段q实例关闭的过程和阶段q监控警告和跟踪文件Oracle性能调优概述q调优的问题和目标q调优的步骤q度量调优目标的例子q常见的性能问题q常见的性能问题的结果q开发过程中前摄性的调优考虑q性能与安全的平衡诊断和调优的工具q维护警报日志文件q使用警报日志文件调优q后台进程跟踪文件q使用跟踪文件q动态排错和性能视图q收集系统范围的统计信息q收集会话相关的统计信息qSTATSPACK和UTLBSTATqV$EVENT_NAME、V$EVENT_EVENT和V$EVENT_WAIT视图q性能管理器q第二天调整共享池的大小q系统全局区（SGA）q共享池q类库缓存I.调优类库缓存的诊断工具II.类库缓存的重新加载III.调整类库缓存的大小q缓存执行计划q查看支持的执行计划q全局空间分配q大内存需求q调优共享池保留空间q维护大对象q其它影响类库缓存的参数q数据字典缓存、术语和调优q测量字典缓存统计qUGA和Oracle共享服务器qUGA的大小控制调整缓冲缓存的大小qOracle 9i中的缓冲缓存的大小参数q动态SGA特征q动态SGA的分配单位q粒度的考虑q多缓冲池q计算多池的点击率q缓冲池的字典视图q缓存数据表q自动的空间管理调整其它SGA结构qRedo日志缓存大小控制和效率诊断q使用动态视图分析Redo日志缓存的效率qRedo日志缓存调优准则q监控java池内存q控制针对Java的SGA大小q多DBWR进程q调优DBWn I/O第三天数据库配置和I/O问题qOracle进程和文件q跨设备的分布式文件q表空间的用法qI/O统计和诊断q完整数据表扫描操作的性能调优q检查点的性能调优q定义和监控FASTSTART检查点q在线Redo日志文件配置q归档日志文件配置q自动的空间管理优化排序操作q排序过程q排序区域和参数q新的排序区域参数q排序调优q排序过程和临时空间q临时空间片段q操作必须的排序q需要避免的排序q监控临时表空间q临时表空间配置调优回滚段q回滚段的用法q回滚段的增长q对手动管理的回滚段调优q控制事务回滚的数据的大小q自动撤销的管理q改变、删除和切换撤销的表空间q自动撤销管理的参数q监控自动撤销管理监控和检测锁q锁的机制和类型qDML锁q表锁模式qDDL锁q监控锁活动的诊断工具和应用实例调试Oracle共享服务器qOracle共享服务器特征q监控共享服务器和进程用法q共享服务器和内存使用q错误处理第四天应用程序调优q数据库管理员角色q数据存储结构q选择物理结构q数据访问方法q簇类型及应用分析q索引调优q索引组织表q使用和维护映射表q创建和使用物化视图q物化视图和查询重写示例q启用、控制和禁用查询重写qOLTP系统、需求和应用问题q决策支持系统和商业智能q数据仓库要求和应用问题有效地使用Oracle块q数据库存储的阶层结构qExtent的分配及注意事项q本地管理Extentq表统计qDBMS_SPACE包q迁移和链接q索引重组q监控索引空间q重建索引还是融合索引的问题q监控和识别索引的使用SQL语句调优q优化器模式概述q设置优化器模式q衡量计划q创建、编辑和维护存储概要q使用SQL跟踪和TKPROFq禁用和启用SQL跟踪q使用TKPROF格式化跟踪文件qSQL*Plus的AUTOTRACEq管理统计信息I.表统计II.索引统计III.列统计

6. 100m数据存储响应时间

对Oracle数据库进行压力测试，9600并发线程进行数据库操作，每两次访问数据库的操作之间sleep 550m

7. 数据库，数据仓库和数据挖掘技术之间的区别

先说说数据仓库和数据挖掘的关系，再说说数据库与数据仓库的关系

数据仓库与数据挖掘的联系

(1) 数据仓库为数据挖掘提供了更好的、更广泛的数据源。

(2) 数据仓库为数据挖掘提供了新的支持平台。

(3) 数据仓库为更好地使用数据挖掘这个工具提供了方便。

(4) 数据挖掘为数据仓库提供了更好的决策支持。

(5) 数据挖掘对数据仓库的数据组织提出了更高的要求。

(6) 数据挖掘还为数据仓库提供了广泛的技术支持。

数据仓库与数据挖掘的差别

(1) 数据仓库是一种数据存储和数据组织技术, 提供数据源。

(2) 数据挖掘是一种数据分析技术, 可针对数据仓库中的数据进行分析。

1、数据库:是一种逻辑概念，用来存放数据的仓库，通过数据库软件来实现。数据库由很多表组成，表是二维的，一张表里面有很多字段。字段一字排开，对数据就一行一行的写入表中。数据库的表，在于能够用二维表现多维的关系。如：oracle、DB2、MySQL、Sybase、MSSQL Server等。
2、数据仓库：是数据库概念的升级。从逻辑上理解，数据库和数据仓库没有区别，都是通过数据库软件实现存放数据的地方，只不过从数据量来说，数据仓库要比数据库更庞大德多。数据仓库主要用于数据挖掘和数据分析，辅助领导做决策；

区别主要总结为以下几点：

1.数据库只存放在当前值，数据仓库存放历史值；
2.数据库内数据是动态变化的，只要有业务发生，数据就会被更新，而数据仓库则是静态的历史数据，只能定期添加、刷新；
3.数据库中的数据结构比较复杂，有各种结构以适合业务处理系统的需要，而数据仓库中的数据结构则相对简单；
4.数据库中数据访问频率较高，但访问量较少，而数据仓库的访问频率低但访问量却很高；
5.数据库中数据的目标是面向业务处理人员的，为业务处理人员提供信息处理的支持，而数据仓库则是面向高层管理人员的，为其提供决策支持；
6.数据库在访问数据时要求响应速度快，其响应时间一般在几秒内，而数据仓库的响应时间则可长达数几小时

8. oracle数据库响应时间是多少合适

我们发现，有时一个简单合理的优化配置就可以极大地减少数据库的响应时间，提高数据库的吞吐量。另外，我们还需要关注系统的状态（比如CPU、内存、磁盘的利用率）、操作系统是否存在问题、Oracle Server性能问题的成因以及应用程序的SQL质量是否合理等等。但是这些问题的合理解决需要对数据库底层原理有深入的理解、经验和判断力

9. 怎么计算服务器响应时间(java)

其实你有思路了啊。
问题简化一下：对一个ip，一个线程请求100次。该次请求的响应时间为调用httpclient前的响应时间减去接收到httpclient响应的时间。注意，本次请求是否有效要判断。平均响应时间和最大响应时间只不过是响应时间的统计而已，可以用数据库来做。
就是说数据库记录每次测试请求的响应时间，成功与否。统计数据最后出来。
只所以用多线程，是因为单线程顺序请求100次，不能模拟服务器真正的情况。