图数据库测试

㈠ 关于数据库的问题，画ERD图

分析3.1】 重点：软件开发方法、CMM、成本估算、风险分析、进度管理、人员管理、软件开发环境 3.2 系统分析基础知识 · 系统分析的目的和任务 · 结构化分析方法（数据流图（DFD）、数据字典（DD）、实体关系图（ERD）、描述加工处理的结构化语言） · 统一建模语言（UML） · 系统规格说明书 【分析3.2】 高度重视UML在系统分析中的应用 重点：数据流图（DFD）、数据字典（DD）、实体关系图（ERD） 考点：UML的各类图 3.3 系统设计知识 · 系统设计的目的和任务 · 结构化设计方法和工具（系统流程图、HIPO图、控制流程图） · 系统总体结构设计（总体布局、设计原则、模块结构设计、数据存储设计、系统配置方案） · 系统详细设计（代码设计、数据库设计、用户界面设计、处理过程设计） · 系统设计说明书 【分析3.3】 重点：系统流程图、HIPO图、控制流程图 3.4 系统实施知识 · 系统实施的主要任务 · 结构化程序设计、面向对象程序设计、可视化程序设计 · 程序设计风格 · 程序设计语言的选择 · 系统测试的目的、类型，系统测试方法（黑盒测试、白盒测试、灰盒测试） · 测试设计和管理（错误曲线、错误排除、收敛、注入故障、测试用例设计、系统测试报告） · 系统转换基础知识 3.5 系统运行和维护知识 · 系统运行管理基础知识 · 系统维护基础知识 · 系统评价基础知识 【分析3.4/3.5】 重点：结构化设计中信息流、变换分析、系统结构设计原则、系统划分、模块设计、数据存储设计、面向对象程序设计、测试方法、系统维护的分类 难点：系统测试方法、测试分类、系统可维护性评价指标 3.6 面向对象开发方法 · 面向对象开发概念（类、对象、属性、封装性、继承性、多态性、对象之间的引用） · 面向对象开发方法的优越性以及有效领域 · 面向对象设计方法（体系结构、类的设计、用户接口设计） · 面向对象实现方法（选择程序设计语言、类的实现、方法的实现、用户接口的实现、准备测试数据） · 面向对象程序设计语言（如C++、Java、Visual、Bsasic、Visual C++）的基本机制 · 面向对象数据库、分布式对象的概念 【分析3.6】 重点：面向对象开发：类、对象、属性、封装性、继承性、多态性、OMT方法 难点：建议在数据流图、结构化分析方法上多加掌握。 【分析3】 考试题型一般分布在：DFD、软件的生存周期；数据流图；模块间的关系；软件测试的分类、软件质量管理（标准）软件的特性、主要的软件开发方法、系统测试、软件能力成熟评估 考试出现频率较高的内容：数据流图、黑盒/白盒测试、面向对象技术的概念 4．安全性知识 · 安全性基本概念 · 防治计算机病毒、防范计算机犯罪 · 存取控制、防闯入、安全管理措施 · 加密与解密机制 · 风险分析、风险类型、抗风险措施和内部控制 【分析4】 系统安全问题是目前社会关注的问题，也是应用价值较高的知识，可结合现实中的相关问题来加深理解。 考试出现频率较高的内容：加密与解密算法、 5．标准化知识 · 标准化意识、标准化的发展、标准制订过程 · 国际标准、国家标准、行业标准、企业标准基本知识 · 代码标准、文件格式标准、安全标准、软件开发规范和文档标准知识 · 标准化机构 6．信息化基础知识 · 信息化意识 · 全球信息化趋势、国家信息化战略、企业信息化战略和策略 · 有关的法律、法规 · 远程教育、电子商务、电子政务等基础知识 · 企业信息资源管理基础知识 【分析5/6】 信息化、标准化知识是新增考点。标准化方面有标准标识，标准修订等是对基本素质的考查，也要重视。 考试出现频率较高的内容 7．计算机专业英语 · 掌握计算机技术的基本词汇 · 能正确阅读和理解计算机领域的英文资料 【分析7】 专业英语，是对专业知识和英语水平的考查，考前需有意识阅读点英文专业资料。 考试题型一般分布在：软件行业标准，计算机安全基础知识，信息化基础知识。 考试出现频率较高的内容：行业标准的类别；计算机安全，CMM分类，计算机软件着作权问题。 考试科目2：软件设计 本部分具体内容如下： l 外部设计 l 内部设计 l 程序设计 l 系统实施 l 软件工程 本部分所涉及内容为软件设计的日常工作，这些内容同样出现在上午考试试题中。 1．外部设计 1.1 理解系统需求说明 1.2 系统开发的准备 · 选择开发方法、准备开发环境、制订开发计划 1.3 设计系统功能 · 选择系统结构，设计各子系统的功能和接口，设计安全性策略、需求和实现方法，制订详细的工作流和数据流 1.4 设计数据模型 · 设计ER模型、数据模型 1.5 编写外部设计文档 · 系统配置图、各子系统关系图、系统流程图、系统功能说明书、输入输出规格说明、数据规格说明、用户手册框架 · 设计系统测试要求 1.6 设计评审 应能由考试说明内容，来阅读 2．内部设计 2.1 设计软件结构 · 按构件分解，确定构件功能规格以及构件之间的接口 · 采用中间件和工具 2.2 设计输入输出 · 屏幕界面设计、设计输入输出检查方法和检查信息 2.3 设计物理数据 · 分析数据特性，确定逻辑数据组织方式、存储介质，设计记录格式和处理方式 · 将逻辑数据结构换成物理数据结构，计算容量，进行优化 2.4 构件的创建和重用 · 创建、重用构件的概念 · 使用子程序库或类库 2.5 编写内部设计文档 · 构件划分图、构件间的接口、构件处理说明、屏幕设计文档、报表设计文档、文件设计文档、数据库设计文档 2.6 设计评审 3．程序设计 3.1 模块划分（原则、方法、标准） 3.2 编写程序设计文档 · 模块规格说明书（功能和接口说明、程序处理逻辑的描述、输入输出数据格式的描述） · 测试要求说明书（测试类型和目标、测试用例、测试方法） 3.3 程序设计评审 4．系统实施 4.1 配置计算机系统及其环境 4.2 选择合适的程序设计语言 4.3 掌握C程序设计语言，以及C++、Java、Visual Basic、Visual C++中任一种程序设计语言，以便能指导程序员进行编程和测试，并进行必要的优化 4.4 系统测试 · 指导程序员进行模块测试，并进行验收 · 准备系统集成测试环境和测试工具 · 准备测试数据 · 写出测试报告 5．软件工程 · 软件生存期模型（瀑布模型、螺旋模型、喷泉模型）和软件成本模型 · 定义软件需求（系统化的目标、配置、功能、性能和约束） · 描述软件需求的方法（功能层次模型、数据流模型、控制流模型、面向数据的模型、面向对象的模型等） · 定义软件需求的方法（结构化分析方法、面向对象分析方法） · 软件设计（分析与集成、逐步求精、抽象、信息隐蔽） · 软件设计方法（结构化设计方法、Jackson方法、Warnier方法、面向对象设计方法） · 程序设计（结构化程序设计、面向对象程序设计） · 软件测试的原则与方法 · 软件质量（软件质量特性、软件质量控制） · 软件过程评估基本方法、软件能力成熟度评估基本方法 · 软件开发环境和开发工具（分析工具、设计工具、编程工具、测试工具、维护工具、CASE） · 软件工程发展趋势（面向构件，统一建模语言（UML）） · 软件过程改进模型和方法 本部分综合分析： 软件设计师，关键是设计软件的能力。考纲要求：要熟悉软件工程、软件过程改进和软件开发项目管理的基础知识；熟练掌握软件设计的方法和技术；掌握C程序设计语言及指定的四种面向对象语言中的一种。这部分专业能力严重依赖工作实践，要求有一定经验的积累，是具有工程师的实际工作能力和业务水平的体现。如无实践经验，要学会借鉴，以取人之长，补已之短。 这部分主要体现在下午考试中，现就如何应对下午考试进行分析： 近几次考试中下午试题分五个题目，一个数据库，一个程序填空题、一个面向对象的语言题，另两个题目分别为数据流图、UML、或流程图等。 数据库题目，要求补全sql语言，这要求考生熟悉SQL的语言，无论对上午题目还是下午题目都很重要。这是学习和复习的一个重点。 数据流图，DFD是一种分析系统数据流程的图形，意在让用户理解系统的功能、输入、输出和数据存储等。请认真弄清其应用，在画出数据流图的情况下，系统的功能也就确定了，再经过细化，逐步向物理结构迈进。考核时，试题多从父图和子图的平衡来分析。这部分内容，一个解题的关键是高度重视题目说明，务必正确、深入理解其内容，必要时要读几遍，同时对于给出的图表，也要务必看懂。这样答题就轻松了，答案实际就蕴含在说明中。 流程图类题目，是大家再熟悉不过的了，它就一个具体问题的解题思路进行描述，是面向过程的。但所求问题是千差万别的，因此应理解思路，细心作答。 答题形式最简单也是难度最大的是程序填空。为便于阅卷，这类题目以程序填空形式出现，这不仅要求理解问题本质，同时也要弄清作者解题思路，这一点比自己独立完成程序设计要难得的多。针对问题，首先设计自己的思路，如何解决问题，先后顺序怎样；然后试读程序，如何思路大体一致，很好，这题容易解决了。如思路不一致，设法弄清每一段代码的功能，其逻辑结构怎样，进而弄清命题人的解题思路，再顺势解决问题。人们常讲，答案就在题目中，这是对的。在分析问题过程中，找到所求答案。不过前提条件是考生要熟悉这种语言，又要明白解题思路，这样才能正确作答。这个题目比较难，要么不得分，要么得全分。 近年对于统一建模语言UML考查较多，已引起了考生的注意。它代表了软件工程的发展趋势，目前是可视化建模的事实上的工业标准。人们对于图的理解相对其他形式更容易一些，图能更清晰地描述和说明问题的本质，因此，UML体现了这一特点。这类题目难度与数据流图相似，自然解题思想也相同。从形式上看，数据流图更朴实一些，UML类的题目则透出一种新颖、现代的气息。 最后的题目面向对象语言是一个选做题，给考生以自由，可以发挥个人的优势。命题已注意到不同语言的考查难度一致性，要求考生就同一问题回答，实现了形式上的公平，自然是一个进步

㈡ 数据库中视图怎么进行软件测试

从测试过程的角度来说我们也可以把数据库测试分为：

系统测试

传统软件系统测试的测试重点是需求覆盖，而对于我们的数据库测试同样也需要对需求覆盖进行保证。那么数据库在初期设计中也需要对这个进行分析，测试。例如存储过程，视图，触发器，约束，规则等我们都需要进行需求的验证确保这些功能设计是符合需求的.另一方面我们需要确认数据库设计文档和最终的数据库相同，当设计文档变化时我们同样要验证改修改是否落实到数据库上。

这个阶段我们的测试主要通过数据库设计评审来实现。

集成测试

集成测试是主要针对接口进行的测试工作，从数据库的角度来说和普通测试稍微有些区别对于数据库测试来说，需要考虑的是数据项的修改操作、数据项的增加操作、数据项的删除操作、数据表增加满、数据表删除空、删除空表中的记录、数据表的并发操作、针对存储过程的接口测试、结合业务逻辑做关联表的接口测试。

同样我们需要对这些接口考虑采用等价类、边界值、错误猜测等方法进行测试。

单元测试

单元测试侧重于逻辑覆盖，相对对于复杂的代码来说，数据库开发的单元测试相对简单些，可以通过语句覆盖和走读的方式完成。

系统测试相对来说比较困难，这要求有很高的数据库设计能力和丰富的数据库测试经验。而集成测试和单元测试就相对简单了。

而我们也可以从测试关注点的角度对数据库进行分类：

功能测试

对数据库功能的测试我们可以依赖与工具进行：悉陆

DBunit：一款开源的数据库功能测试框架，可以使用类似与Junit的方式对数据库的基本操作进行白盒的单元测试，对输入输出进行校验。

QTP：大名鼎鼎的自动测试工具，通过对对象的捕捉识别，我们可以通过QTP来模拟用户的操作流程，通过其中的校验方法或者结合数据库后台的监控对整个数据库中的数据进行测试。个人觉得比睁汪顷较偏向灰盒。

DataFactory：一款优秀的数据库数据自动生成工具，通过它你可以轻松的生成任意结构数据库，对数据库进行填充，帮助你生成所需要的大量数据从而验证我们数据库中的功能是否正确。这是属于黑盒测试。

数据库性能虽然我们的硬件最近几年进步很快，但是我们需要处理的数据以更快的速度在增加。几亿条记录的表格在现在是司空见惯的，如此庞大的数据量在大量并发连接操作时，我们不能像以前一样随意的使用查询，连接查询，嵌套查询，视图，这陵桥些操作如果不当会给系统带来非常巨大的压力，严重影响系统性能。

性能优化分4部分：

1、物理存储方面

2、逻辑设计方面

3、数据库的参数调整

4、SQL语句优化

性能测试：

我们如何对性能方面进行测试呢，业界也提供了很多工具通过数据库系统的SQL语句分析工具，我们可以分析得到数据库语句执行的瓶颈，从而优化SQL语句。

Loadrunner：这个不用多说，我们可以通过对协议的编程来对数据库做压力测试。

Swingbench：(这是一个重量级别的feature，类似LR，而且非常强大，只不过专门针对oracle而已)数据库厂商也意识到这点，例如oracle11g已经提供了real applicationtest，提供数据库性能测试，分析系统的应用瓶颈。

还有很多第三方公司开发了SQL语句优化工具来帮助你自动的进行语句优化工作从而提高执行效率。

安全测试：

软件日益复杂，而数据又成为了系统中重中之重的核心，从以往对系统的破坏现在更倾向于对数据的获取和破坏。而数据库的安全被提到了最前端自从SQL 注入攻击被发现，冒失万无一失的数据库一下从后台变为了前台，而一旦数据库被攻破，整个系统也会暴露在黑客的手下，通过数据库强大的存储过程，黑客可以轻松的获得整个系统的权限。而SQL的注入看似简单缺很难防范，对于安全测试来说，如何防范系统被注入是测试的难点。

业界也有相关的数据库注入检测工具，来帮助用户对自身系统进行安全检测。

对于这点来说业界也有标准，例如ISO IEC 21827，也叫做SSE CMM 3.0，是CMM和ISO的集成的产物，专门针对系统安全领域的另外一方面，数据库的健壮性，容错性和恢复能力也是我们测试的要点

我们也可以发现功能测试，性能测试，安全测试，是一个由简到繁的过程，也是数据库测试人员需要逐步掌握的技能，这也是以后公司对数据库测试人员的要求。

㈢ 怎么测试数据库的响应速度比如查询速度

有很多种方法可以用来找出哪些SQL语句需要优化，但是很久以来，最简单的方法都是分析保存在V$SQL视图中的缓存的SQL信息。通过V$SQL视图，可以确定具有高消耗时间、CUP和IO读取的SQL语句。

1.查看总消耗时间最多的前10条SQL语句

select*
from(selectv.sql_id,
v.child_number,
v.sql_text,
v.elapsed_time,
v.cpu_time,
v.disk_reads,
rank()over(orderbyv.elapsed_timedesc)elapsed_rank
fromv$sqlv)a
whereelapsed_rank<=10;

2.查看CPU消耗时间最多的前10条SQL语句

select*
from(selectv.sql_id,
v.child_number,
v.sql_text,
v.elapsed_time,
v.cpu_time,
v.disk_reads,
rank()over(orderbyv.cpu_timedesc)elapsed_rank
fromv$sqlv)a
whereelapsed_rank<=10;

3.查看消耗磁盘读取最多的前10条SQL语句

select*
from(selectv.sql_id,
v.child_number,
v.sql_text,
v.elapsed_time,
v.cpu_time,
v.disk_reads,
rank()over(orderbyv.disk_readsdesc)elapsed_rank
fromv$sqlv)a
whereelapsed_rank<=10;

㈣ 这个图里面硬盘有个存取测试，其中有512K有4K有64K，那么用这些不同大小的文件做存储测试是

一个1G的整文件 和 1G的碎小文件 读取速度能一样吗？ 1000个文件就要寻址1000遍

测试不同大小文件 才能综合测试一个硬盘的读写能力

特别是ssd 最重要的是4k的读写能力 因为系统文件全是小文件；谁没事天天读写整个1g 2G的大文件呢

㈤ 如何用 Python 实现一个图数据库（Graph Database）

本文章是 重写 500 Lines or Less 系列的其中一篇，目标是重写 500 Lines or Less 系列的原有项目：Dagoba: an in-memory graph database。

Dagoba 是作者设计用来展示如何从零开始自己实现一个图数据库（ Graph Database ）。该名字似乎来源于作者喜欢的一个乐队，另一个原因是它的前缀 DAG 也正好是有向无环图 （ Directed Acyclic Graph ） 的缩写。本文也沿用了该名称。

图是一种常见的数据结构，它将信息描述为若干独立的节点（ vertex ，为了和下文的边更加对称，本文中称为 node ），以及把节点关联起来的边（ edge ）。我们熟悉的链表以及多种树结构可以看作是符合特定规则的图。图在路径选择、推荐算法以及神经网络等方面都是重要的核心数据结构。

既然图的用途如此广泛，一个重要的问题就是如何存储它。如果在传统的关系数据库中存储图，很自然的做法就是为节点和边各自创建一张表，并用外键把它们关联起来。这样的话，要查找某人所有的子女，就可以写下类似下面的查询：

还好，不算太复杂。但是如果要查找孙辈呢？那恐怕就要使用子查询或者 CTE(Common Table Expression) 等特殊构造了。再往下想，曾孙辈又该怎么查询？孙媳妇呢？

这样我们会意识到，SQL 作为查询语言，它只是对二维数据表这种结构而设计的，用它去查询图的话非常笨拙，很快会变得极其复杂，也难以扩展。针对图而言，我们希望有一种更为自然和直观的查询语法，类似这样：

为了高效地存储和查询图这种数据结构，图数据库（ Graph Database ）应运而生。因为和传统的关系型数据库存在极大的差异，所以它属于新型数据库也就是 NoSql 的一个分支（其他分支包括文档数据库、列数据库等）。图数据库的主要代表包括 Neo4J 等。本文介绍的 Dagoba 则是具备图数据库核心功能、主要用于教学和演示的一个简单的图数据库。

原文代码是使用 JavaScript 编写的，在定义调用接口时大量使用了原型（ prototype ）这种特有的语言构造。对于其他主流语言的用户来说，原型的用法多少显得有些别扭和不自然。

考虑到本系列其他数据库示例大多是用 Python 实现的，本文也按照传统，用 Python 重写了原文的代码。同样延续之前的惯例，为了让读者更好地理解程序是如何逐步完善的，我们用迭代式的方法完成程序的各个组成部分。

原文在 500lines 系列的 Github 仓库中只包含了实现代码，并未包含测试。按照代码注释说明，测试程序位于作者的另一个代码库中，不过和 500lines 版本的实现似乎略有不同。

本文实现的代码参考了原作者的测试内容，但跳过了北欧神话这个例子——我承认确实不熟悉这些神祇之间的亲缘关系，相信中文背景的读者们多数也未必了解，虽然作者很喜欢这个例子，想了想还是不要徒增困惑吧。因此本文在编写测试用例时只参考了原文关于家族亲属的例子，放弃了神话相关的部分，尽管会减少一些趣味性，相信对于入门级的代码来说这样也够用了。

本文实现程序位于代码库的 dagoba 目录下。按照本系列程序的同意规则，要想直接执行各个已完成的步骤，读者可以在根目录下的 main.py 找到相应的代码位置，取消注释并运行即可。

本程序的所有步骤只需要 Python3 ，测试则使用内置的 unittest , 不需要额外的第三方库。原则上 Python3.6 以上版本应该都可运行，但我只在 Python3.8.3 环境下完整测试过。

本文实现的程序从最简单的案例开始，通过每个步骤逐步扩展，最终形成一个完整的程序。这些步骤包括：

接下来依次介绍各个步骤。

回想一下，图数据库就是一些点（ node ）和边（ edge ）的集合。现在我们要做出的一个重大决策是如何对节点/边进行建模。对于边来说，必须指定它的关联关系，也就是从哪个节点指向哪个节点。大多数情况下边是有方向的——父子关系不指明方向可是要乱套的！

考虑到扩展性及通用性问题，我们可以把数据保存为字典（ dict ），这样可以方便地添加用户需要的任何数据。某些数据是为数据库内部管理而保留的，为了明确区分，可以这样约定：以下划线开头的特殊字段由数据库内部维护，类似于私有成员，用户不应该自己去修改它们。这也是 Python 社区普遍遵循的约定。

此外，节点和边存在互相引用的关系。目前我们知道边会引用到两端的节点，后面还会看到，为了提高效率，节点也会引用到边。如果仅仅在内存中维护它们的关系，那么使用指针访问是很直观的，但数据库必须考虑到序列化到磁盘的问题，这时指针就不再好用了。

为此，最好按照数据库的一般要求，为每个节点维护一个主键（ _id ），用主键来描述它们之间的关联关系。

我们第一步要把数据库的模型建立起来。为了测试目的，我们使用一个最简单的数据库模型，它只包含两个节点和一条边，如下所示：

按照 TDD 的原则，首先编写测试：

与原文一样，我们把数据库管理接口命名为 Dagoba 。目前，能够想到的最简单的测试是确认节点和边是否已经添加到数据库中：

assert_item 是一个辅助方法，用于检查字典是否包含预期的字段。相信大家都能想到该如何实现，这里就不再列出了，读者可参考 Github 上的完整源码。

现在，测试是失败的。用最简单的办法实现数据库：

需要注意的是，不管添加节点还是查询，程序都使用了拷贝后的数据副本，而不是直接使用原始数据。为什么要这样做？因为字典是可变的，用户可以在任何时候修改其中的内容，如果数据库不知道数据已经变化，就很容易发生难以追踪的一致性问题，最糟糕的情况下会使得数据内容彻底混乱。

拷贝数据可以避免上述问题，代价则是需要占用更多内存和处理时间。对于数据库来说，通常查询次数要远远多于修改，所以这个代价是可以接受的。

现在测试应该正常通过了。为了让它更加完善，我们可以再测试一些边缘情况，看看数据库能否正确处理异常数据，比如：

例如，如果用户尝试添加重复主键，我们预期应抛出 ValueError 异常。因此编写测试如下：

为了满足以上测试，代码需要稍作修改。特别是按照 id 查找主键是个常用操作，通过遍历的方法效率太低了，最好是能够通过主键直接访问。因此在数据库中再增加一个字典：

完整代码请参考 Github 仓库。

在上个步骤，我们在初始化数据库时为节点明确指定了主键。按照数据库设计的一般原则，主键最好是不具有业务含义的代理主键（ Surrogate key ），用户不应该关心它具体的值是什么，因此让数据库去管理主键通常是更为合理的。当然，在部分场景下——比如导入外部数据——明确指定主键仍然是有用的。

为了同时支持这些要求，我们这样约定：字段 _id 表示节点的主键，如果用户指定了该字段，则使用用户设置的值（当然，用户有责任保证它们不会重复）；否则，由数据库自动为它分配一个主键。

如果主键是数据库生成的，事先无法预知它的值是什么，而边（ edge ）必须指定它所指向的节点，因此必须在主键生成后才能添加。由于这个原因，在动态生成主键的情况下，数据库的初始化会略微复杂一些。还是先写一个测试：

为支持此功能，我们在数据库中添加一个内部字段 _next_id 用于生成主键，并让 add_node 方法返回新生成的主键：

接下来，再确认一下边是否可以正常访问：

运行测试，一切正常。这个步骤很轻松地完成了，不过两个测试（ DbModelTest 和 PrimaryKeyTest ）出现了一些重复代码，比如 get_item 。我们可以把这些公用代码提取出来。由于 get_item 内部调用了 TestCase.assertXXX 等方法，看起来应该使用继承，但从 TestCase 派生基类容易引起一些潜在的问题，所以我转而使用另一个技巧 Mixin ：

实现数据库模型之后，接下来就要考虑如何查询它了。

在设计查询时要考虑几个问题。对于图的访问来说，几乎总是由某个节点（或符合条件的某一类节点）开始，从与它相邻的边跳转到其他节点，依次类推。所以链式调用对查询来说是一种很自然的风格。举例来说，要知道 Tom 的孙子养了几只猫，可以使用类似这样的查询：

可以想象，以上每个方法都应该返回符合条件的节点集合。这种实现是很直观的，不过存在一个潜在的问题：很多时候用户只需要一小部分结果，如果它总是不计代价地给我们一个巨大的集合，会造成极大的浪费。比如以下查询：

为了避免不必要的浪费，我们需要另外一种机制，也就是通常所称的“懒式查询”或“延迟查询”。它的基本思想是，当我们调用查询方法时，它只是把查询条件记录下来，而并不立即返回结果，直到明确调用某些方法时才真正去查询数据库。

如果读者比较熟悉流行的 Python ORM，比如 SqlAlchemy 或者 Django ORM 的话，会知道它们几乎都是懒式查询的，要调用 list(result) 或者 result[0:10] 这样的方法才能得到具体的查询结果。

在 Dagoba 中把触发查询的方法定义为 run 。也就是说，以下查询执行到 run 时才真正去查找数据：

和懒式查询（ Lazy Query ）相对应的，直接返回结果的方法一般称作主动查询（ Eager Query ）。主动查询和懒式查询的内在查找逻辑基本上是相同的，区别只在于触发机制不同。由于主动查询实现起来更加简单，出错也更容易排查，因此我们先从主动查询开始实现。

还是从测试开始。前面测试所用的简单数据库数据太少，难以满足查询要求，所以这一步先来创建一个更复杂的数据模型：

此关系的复杂之处之一在于反向关联：如果 A 是 B 的哥哥，那么 B 就是 A 的弟弟/妹妹，为了查询到他们彼此之间的关系，正向关联和反向关联都需要存在，因此在初始化数据库时需要定义的边数量会很多。

当然，父子之间也存在反向关联的问题，为了让问题稍微简化一些，我们目前只需要向下（子孙辈）查找，可以稍微减少一些关联数量。

因此，我们定义数据模型如下。为了减少重复工作，我们通过 _backward 字段定义反向关联，而数据库内部为了查询方便，需要把它维护成两条边：

然后，测试一个最简单的查询，比如查找某人的所有孙辈：

这里 outcome/income 分别表示从某个节点出发、或到达它的节点集合。在原作者的代码中把上述方法称为 out/in 。当然这样看起来更加简洁，可惜的是 in 在 Python 中是个关键字，无法作为函数名。我也考虑过加个下划线比如 out_.in_ 这种形式，但看起来也有点怪异，权衡之后还是使用了稍微啰嗦一点的名称。

现在我们可以开始定义查询接口了。在前面已经说过，我们计划分别实现两种查询，包括主动查询（ Eager Query ）以及延迟查询（ Lazy Query ）。

它们的内在查询逻辑是相通的，看起来似乎可以使用继承。不过遵循 YAGNI 原则，目前先不这样做，而是只定义两个新类，在满足测试的基础上不断扩展。以后我们会看到，与继承相比，把共同的逻辑放到数据库本身其实是更为合理的。

接下来实现访问节点的方法。由于 EagerQuery 调用查询方法会立即返回结果，我们把结果记录在 _result 内部字段中。虽然 node 方法只返回单个结果，但考虑到其他查询方法几乎都是返回集合，为统一起见，让它也返回集合，这样可以避免同时支持集合与单结果的分支处理，让代码更加简洁、不容易出错。此外，如果查询对象不存在的话，我们只返回空集合，并不视为一个错误。

查询输入/输出节点的方法实现类似这样：

查找节点的核心逻辑在数据库本身定义：

以上使用了内部定义的一些辅助查询方法。用类似的逻辑再定义 income ，它们的实现都很简单，读者可以直接参考源码，此处不再赘述。

在此步骤的最后，我们再实现一个优化。当多次调用查询方法后，结果可能会返回重复的数据，很多时候这是不必要的。就像关系数据库通常支持 unique/distinct 一样，我们也希望 Dagoba 能够过滤重复的数据。

假设我们要查询某人所有孩子的祖父，显然不管有多少孩子，他们的祖父应该是同一个人。因此编写测试如下：

现在来实现 unique 。我们只要按照主键把重复数据去掉即可：

在上个步骤，初始化数据库指定了双向关联，但并未测试它们。因为我们还没有编写代码去支持它们，现在增加一个测试，它应该是失败的：

运行测试，的确失败了。我们看看要如何支持它。回想一下，当从边查找节点时，使用的是以下方法：

这里也有一个潜在的问题：调用 self.edges 意味着遍历所有边，当数据库内容较多时，这是巨大的浪费。为了提高性能，我们可以把与节点相关的边记录在节点本身，这样要查找边只要看节点本身即可。在初始化时定义出入边的集合：

在添加边时，我们要同时把它们对应的关系同时更新到节点，此外还要维护反向关联。这涉及对字典内容的部分复制，先编写一个辅助方法：

然后，将添加边的实现修改如下：

这里的代码同时添加正向关联和反向关联。有的朋友可能会注意到代码略有重复，是的，但是重复仅出现在该函数内部，本着“三则重构”的原则，暂时不去提取代码。

实现之后，前面的测试就可以正常通过了。

在这个步骤中，我们来实现延迟查询（ Lazy Query ）。

延迟查询的要求是，当调用查询方法时并不立即执行，而是推迟到调用特定方法，比如 run 时才执行整个查询，返回结果。

延迟查询的实现要比主动查询复杂一些。为了实现延迟查询，查询方法的实现不能直接返回结果，而是记录要执行的动作以及传入的参数，到调用 run 时再依次执行前面记录下来的内容。

如果你去看作者的实现，会发现他是用一个数据结构记录执行操作和参数，此外还有一部分逻辑用来分派对每种结构要执行的动作。这样当然是可行的，但数据处理和分派部分的实现会比较复杂，也容易出错。

本文的实现则选择了另外一种不同的方法：使用 Python 的内部函数机制，把一连串查询变换成一组函数，每个函数取上个函数的执行结果作为输入，最后一个函数的输出就是整个查询的结果。由于内部函数同时也是闭包，尽管每个查询的参数形式各不相同，但是它们都可以被闭包“捕获”而成为内部变量，所以这些内部函数可以采用统一的形式，无需再针对每种查询设计额外的数据结构，因而执行过程得到了很大程度的简化。

首先还是来编写测试。 LazyQueryTest 和 EagerQueryTest 测试用例几乎是完全相同的（是的，两种查询只在于内部实现机制不同，它们的调用接口几乎是完全一致的）。

因此我们可以把 EagerQueryTest 的测试原样不变拷贝到 LazyQueryTest 中。当然拷贝粘贴不是个好注意，对于比较冗长而固定的初始化部分，我们可以把它提取出来作为两个测试共享的公共函数。读者可参考代码中的 step04_lazy_query/tests/test_lazy_query.py 部分。

程序把查询函数的串行执行称为管道（ pipeline ），用一个变量来记录它：

然后依次实现各个调用接口。每种接口的实现都是类似的：用内部函数执行真正的查询逻辑，再把这个函数添加到 pipeline 调用链中。比如 node 的实现类似下面：

其他接口的实现也与此类似。最后， run 函数负责执行所有查询，返回最终结果；

完成上述实现后执行测试，确保我们的实现是正确的。

在前面我们说过，延迟查询与主动查询相比，最大的优势是对于许多查询可以按需要访问，不需要每个步骤都返回完整结果，从而提高性能，节约查询时间。比如说，对于下面的查询：

以上查询的意思是从孙辈中找到一个符合条件的节点即可。对该查询而言，主动查询会在调用 outcome('son') 时就遍历所有节点，哪怕最后一步只需要第一个结果。而延迟查询为了提高效率，应在找到符合条件的结果后立即停止。

目前我们尚未实现 take 方法。老规矩，先添加测试：

主动查询的 take 实现比较简单，我们只要从结果中返回前 n 条记录：

延迟查询的实现要复杂一些。为了避免不必要的查找，返回结果不应该是完整的列表（ list ），而应该是个按需返回的可迭代对象，我们用内置函数 next 来依次返回前 n 个结果：

写完后运行测试，确保它们是正确的。

从外部接口看，主动查询和延迟查询几乎是完全相同的，所以用单纯的数据测试很难确认后者的效率一定比前者高，用访问时间来测试也并不可靠。为了测试效率，我们引入一个节点访问次数的概念，如果延迟查询效率更高的话，那么它应该比主动查询访问节点的次数更少。

为此，编写如下测试：

我们为 Dagoba 类添加一个成员来记录总的节点访问次数，以及两个辅助方法，分别用于获取和重置访问次数：

然后浏览代码，查找修改点。增加计数主要在从边查找节点的时候，因此修改部分如下：

此外还有 income/outcome 方法，修改都很简单，这里就不再列出。

实现后再次运行测试。测试通过，表明延迟查询确实在效率上优于主动查询。

不像关系数据库的结构那样固定，图的形式可以千变万化，查询机制也必须足够灵活。从原理上讲，所有查询无非是从某个节点出发按照特定方向搜索，因此用 node/income/outcome 这三个方法几乎可以组合出任意所需的查询。

但对于复杂查询，写出的代码有时会显得较为琐碎和冗长，对于特定领域来说，往往存在更为简洁的名称，例如：母亲的兄弟可简称为舅舅。对于这些场景，如果能够类似 DSL （领域特定语言）那样允许用户根据专业要求自行扩展，从而简化查询，方便阅读，无疑会更为友好。

如果读者去看原作者的实现，会发现他是用一种特殊语法 addAlias 来定义自己想要的查询，调用方法时再进行查询以确定要执行的内容，其接口和内部实现都是相当复杂的。

而我希望有更简单的方法来实现这一点。所幸 Python 是一种高度动态的语言，允许在运行时向类中增加新的成员，因此做到这一点可能比预想的还要简单。

为了验证这一点，编写测试如下：

无需 Dagoba 的实现做任何改动，测试就可以通过了！其实我们要做的就是动态添加一个自定义的成员函数，按照 Python 对象机制的要求，成员函数的第一个成员应该是名为 self 的参数，但这里已经是在 UnitTest 的内部，为了和测试类本身的 self 相区分，新函数的参数增加了一个下划线。

此外，函数应返回其所属的对象，这是为了链式调用所要求的。我们看到，动态语言的灵活性使得添加新语法变得非常简单。

到此，一个初具规模的图数据库就形成了。

和原文相比，本文还缺少一些内容，比如如何将数据库序列化到磁盘。不过相信读者都看到了，我们的数据库内部结构基本上是简单的原生数据结构（列表+字典），因此序列化无论用 pickle 或是 JSON 之类方法都应该是相当简单的。有兴趣的读者可以自行完成它们。

我们的图数据库实现为了提高查询性能，在节点内部存储了边的指针（或者说引用）。这样做的好处是，无论数据库有多大，从一个节点到相邻节点的访问是常数时间，因此数据访问的效率非常高。

但一个潜在的问题是，如果数据库规模非常大，已经无法整个放在内存中，或者出于安全性等原因要实现分布式访问的话，那么指针就无法使用了，必须要考虑其他机制来解决这个问题。分布式数据库无论采用何种数据模型都是一个棘手的问题，在本文中我们没有涉及。有兴趣的读者也可以考虑 500lines 系列中关于分布式和集群算法的其他一些文章。

本文的实现和系列中其他数据库类似，采用 Python 作为实现语言，而原作者使用的是 JavaScript ，这应该和作者的背景有关。我相信对于大多数开发者来说， Python 的对象机制比 JavaScript 基于原型的语法应该是更容易阅读和理解的。

当然，原作者的版本比本文版本在实现上其实是更为完善的，灵活性也更好。如果想要更为优雅的实现，我们可以考虑使用 Python 元编程，那样会更接近于作者的实现，但也会让程序的复杂性大为增加。如果读者有兴趣，不妨对照着去读读原作者的版本。

㈥ 如何评估和测试Mysql及oracle数据库性能

1：服务器环境

操作系统：Red Hat Enterprise Linux Server release 5.5 (Tikanga)

CPU：Intel(R) Xeon(R) CPU E5607 @ 2.27GHz 8核

内存：16G

Mysql：Ver 14.14 Distrib 5.5.21, for Linux (x86_64)

Oracle：OracleDatabase 11g Enterprise Edition Release

详细数据测试（操作通过存储过程完成）

数据插入

50并发Mysql插入性能图示（横坐标：当前数据总量，纵坐标：每秒执行次数）{平均值：4841.98}

㈦ 软件开发数据库如何进行测试

比如：数据冗余，功能和性能方面存在的问题已经严重影响应用软件的使用。软件测试人员往往重视对软件功能和编码的测试，而忽略对软件性能，特别是数据库访问并发测试。因为，他们固有的思想中认为数据库设计存在问题对系统性能影响不大，或从根本上忽略了数据库在软件开发中的地位，直到出现了问题，才想到对数据库的测试，但往往也是仅仅通过对编码的测试工作中捎带对数据库进行一定的测试，这远远是不够的。目前，中铁网上订票系统在大用户同时在线订票中系统频频瘫痪，就是最好的佐证。 所以，在应用软件的测试工作中，应该将数据库作为一个独立的部分进行充分的测试，这样才可以得到应用软件所需要的性能优化的数据库。那么，应该对哪些内容进行测试，如何进行测试呢？ 2、数据库设计的测试 数据库是应用的基础，其性能直接影响应用软件的性能。为了使数据库具有较好的性能，需要对数据库中的表进行规范化设计。规范化的范式可分为第一范式、第二范式、第三范式、BCNF范式、第四范式和第五范式。一般来说，逻辑数据库设计应满足第三范式的要求，这是因为满足第三范式的表结构容易维护，且基本满足实际应用的要求。因此，实际应用中一般都按照第三范式的标准进行规范化。但是，规范化也有缺点：由于将一个表拆分成为多个表，在查询时需要多表连接，降低了查询速度。故数据库设计的测试包括前期需求分析产生数据库逻辑模型和后期业务系统开发中的测试两部分（这里指的是后者），我在这里称为实体测试。 数据库是由若干的实体组成的，包括（表，视图，存储过程等），数据库最基本的测试就是实体测试，通过对这些实体的测试，可以发现数据库实体设计得是否充分，是否有遗漏，每个实体的内容是否全面，扩展性如何。 实体测试，可以用来发现应用软件在功能上存在的不足，也可以发现数据冗余的问题。经过测试，测试人员对有异议的问题要及时和数据库的设计人员进行沟通解决。 3、数据一致性测试 在进行实体测试后，应进一步检查下面的内容以保障数据的一致性： 3.1 表的主键测试根据应用系统的实际需求，对每个表的主键进行测试，验证是否存在记录不唯一的情况，如果有，则要重新设置主键，使表中记录唯一。 3.2 表之间主外键关系的测试数据库中主外键字段在名称，数据类型，字段长度上的一致性测试。 3.3 级联表，删除主表数据后，相应从报表数据应同时删除的问题例如学生表和学生成绩表，学生数据已经删除，成绩表中相应学生的成绩记录应同时删除。 3.4 存储过程和触发器的测试存储过程可以人工执行，但触发器不能人工处理，所以在对存储过程和触发器执行的过程中针对SQL SERVER2005及以上版本可以使用Microsoft SQL Server Profiler性能测试工具进行测试。 Microsoft SQL Server Profiler 是 SQL 跟踪的图形用户界面，用于监视数据库引擎或 Analysis Services 的实例。测试人员可以捕获有关每个事件的数据并将其保存到文件或表中供以后分析。例如：可以对生产环境进行监视，了解哪些存储过程由于执行速度太慢影响了性能。 4、数据库的容量测试 随着数据库系统的使用，数据量在飞速增长，如何在使用前对数据容量的增长情况进行初步估算，为最终用户提供参考，这在数据库使用和维护过程中，是非常重要的。可以通过对数据库设计中基本表的数据大小，和每天数据表的数据产生量进行初步估算。 记录数据量=各个字段所占字节数的总和表的数据量=记录数据量*记录数数据库大小=各表数据量的总和 当然，数据库的大小不仅仅只是基本表的大小，还有系统表，视图，存储过程等其它实体所占的容量，但最基本的数据是表的数据。另外，数据库的容量还包括数据库日志文件的容量，一般应预留数据库文件的2倍左右。 5、数据库的性能测试 应用软件除了功能外，很重要的一部分就是软件的性能，而对于数据库系统，数据库性能的好坏会直接影响应用软件的性能，这部分的测试，一般手工测试就显得无能为力了，这时就要借助自动化的测试软件，例如：DataFactory，DataFactory是一种强大的数据产生器，它允许开发人员和测试人员很容易产生百万行有意义的正确的测试数据库，该工具支持DB2、Oracle、Sybase、SQL Server数据库。这样，就可以模拟出应用软件长期使用后，海量数据存储的数据库的性能状况。从而尽早发现问题，进行数据库性能的优化。 这里要注意，进行性能测试的时候，一定要注意测试环境的一致性，包括：操作系统、应用软件的版本以及硬件的配置等，而且在进行数据库方面的测试的时候一定要注意数据库的记录数、配置等要一致，只有在相同条件下进行测试，才可以对结果进行比较。否则无法和用户对软件的性能的观点达成一致。 6、数据库的压力测试 说起测试，我们首先想到的就是软件正确性的测试，即常说的功能测试。软件功能正确仅是软件质量合格指标之一。在实际开发中，还有其它的非功能因素也起着决定性的因素，例如软件的响应速度。影响软件响应速度的因素有很多，有些是因为算法不够高效；还有些可能受用户并发数的影响。 在众多类型的软件测试中，压力测试正是以软件响应速度为测试目标，尤其是针对在较短时间内大量并发用户的访问时，软件的抗压能力。但压力测试往往是手工难以测试的，必须借助自动化测试工具。常用的压力测试有：Web测试、数据库测试等。 数据库在大多数软件项目中是不可缺少的，对于它进行压力测试是为了找出数据库对象是否可以有效地承受来自多个用户的并发访问。这些对象主要是：索引、触发器、存储过程和锁。通过对SQL语句和存储过程的测试，自动化的压力测试工具可以间接的反应数据库对象是否需要优化。 这些自动化的测试工具很多，各有特点，基于Java的项目可以使用JMeter，.Net项目可以采用.Net集成开发环境中提供的测试方案。 7、结束语 总之，在应用系统的测试中，把数据库应当作为独立的系统来测试，这无疑会为应用软件的质量增加可靠的保障，同时还必须结合应用软件进行集成测试，只有二者有机结合起来，才能最大限度的发挥数据库和应用软件的功能。