分布式kv存储引擎排名

❶ 如何评价ku存储引擎

没有数据分析流式计算的经验，根据对kv存储系统的理解，简单答一发，轻拍。。
数据存储的选择上，HBASE和HADOOP在吞吐率、延迟上各有侧重，如果做数据分析，要从HBase导出到hadoop平台再用Hive查询，这就要求系统要混布HBASE和hadoop。
KADU的目标就是要兼顾前两个存储系统，实现对外数据的存储和后台计算的本地化，减少数据传输成本已经部署运维成本。
架构方面，还是延用BIGTABLE的基本架构，元数据和数据分开存储的，但做了一些比较有挑战的优化操作，提升查询和插入的性能
另外的亮点是，多副本间使用了raft保证数据的高可靠性。
性能方面，目前beta版本要略差与HBASE,这也是意料之中的事情。

❷ 分布式数据库对性能测试有没有影响

版本Mysql 3.22MySQL单表限4GBMySQL存储引擎ISAM存储引擎现MyISAM存储引擎MySQL 3.23始MySQL单表限制已经扩64PB（官文档显示）说目前技术环境看MySQL数据库MyISAM存储 引擎单表限制已经MySQL数据库本身决定由所主机OS面文件系统决定 MySQL另外流行存储引擎Innodb存储数据策略两种种共享表空间存储式种独享表空间存储式 使用共享表空间存储式候Innodb所数据保存单独表空间面表空间由文件组表跨文件存所 其限制再文件限制其自身限制Innodb官文档看其表空间限制64TB说Innodb单 表限制基本64TB左右包括表所索引等其相关数据 使用独享表空间存放Innodb表候每表数据单独文件存放候单表限制变文件系统限制

❸ rust可以开发分布式系统吗

rust是可以开发分布式系统的。

引子

构建一个分布式系统 并不是一件容易的事情，我们需要考虑很多的问题，首先就是我们的系统到底需要提供什么样的功能，譬如：

• 一致性：我们是否需要保证整个系统的线性一致性，还是能容忍短时间的数据不一致，只支持最终一致性。

• 稳定性：我们能否保证系统 7 x 24 小时稳定运行。系统的可用性是 4 个 9，还有 5 个 9？如果出现了机器损坏等灾难情况，系统能否做的自动恢复。

• 扩展性：当数据持续增多，能否通过添加机器就自动做到数据再次平衡，并且不影响外部服务。

• 分布式事务：是否需要提供分布式事务支持，事务隔离等级需要支持到什么程度。

上面的问题在系统设计之初，就需要考虑好，作为整个系统的设计目标。为了实现这些特性，我们就需要考虑到底采用哪一种实现方案，取舍各个方面的利弊等。

后面，我将以我们开发的分布式 Key-Value TiKV 作为实际例子，来说明下我们是如何取舍并实现的。

TiKV

TiKV 是一个分布式 Key-Value store，它使用 Rust 开发，采用 Raft 一致性协议保证数据的强一致性，以及稳定性，同时通过 Raft 的 Configuration Change 机制实现了系统的可扩展性。

TiKV 提供了基本的 KV API 支持，也就是通常的 Get，Set，Delete，Scan 这样的 API。TiKV 也提供了支持 ACID 事务的 Transaction API，我们可以使用 Begin 开启一个事务，在事务里面对 Key 进行操作，最后再用 Commit 提交一个事务，TiKV 支持 SI 以及 SSI 事务隔离级别，用来满足用户的不同业务场景。

Rust

在规划好 TiKV 的特性之后，我们就要开始进行 TiKV 的开发。这时候，我们面临的第一个问题就是采用什么样的语言进行开发。当时，摆在我们眼前的有几个选择：

• Go，Go 是我们团队最擅长的一门语言，而且 Go 提供的 goroutine，channel 这些机制，天生的适合大规模分布式系统的开发，但灵活方便的同时也有一些甜蜜的负担，首先就是 GC，虽然现在 Go 的 GC 越来越完善，但总归会有短暂的卡顿，另外 goroutine 的调度也会有切换开销，这些都可能会造成请求的延迟增高。

• java，现在世面上面有太多基于 Java 做的分布式系统了，但 Java 一样有 GC 等开销问题，同时我们团队在 Java 上面没有任何开发经验，所以没有采用。

• C++，C++ 可以认为是开发高性能系统的代名词，但我们团队没有特别多的同学能熟练掌握 C++，所以开发大型 C++ 项目并不是一件非常容易的事情。虽然使用现代 C++ 的编程方式能大量减少 data race，dangling pointer 等风险，我们仍然可能犯错。

当我们排除了上面几种主流语言之后，我们发现，为了开发 TiKV，我们需要这门语言具有如下特性：

• 静态语言，这样才能最大限度的保证运行性能。

• 无 GC，完全手动控制内存。

• Memory safe，尽量避免 dangling pointer，memory leak 等问题。

• Thread safe，不会遇到 data race 等问题。

• 包管理，我们可以非常方便的使用第三方库。

• 高效的 C 绑定，因为我们还可能使用一些 C library，所以跟 C 交互不能有开销。

综上，我们决定使用 Rust，Rust 是一门系统编程语言，它提供了我们上面想要的语言特性，但选择 Rust 对我们来说也是很有风险的，主要有两点：

• 我们团队没有任何 Rust 开发经验，全部都需要花时间学习 Rust，而偏偏 Rust 有一个非常陡峭的学习曲线。

• 基础网络库的缺失，虽然那个时候 Rust 已经出了 1.0，但我们发现很多基础库都没有，譬如在网络库上面只有 mio，没有好用的 RPC 框架，HTTP 也不成熟。

但我们还是决定使用 Rust，对于第一点，我们团队花了将近一个月的时间来学习 Rust，跟 Rust 编译器作斗争，而对于第二点，我们就完全开始自己写。

幸运的，当我们越过 Rust 那段阵痛期之后，发现用 Rust 开发 TiKV 异常的高效，这也就是为啥我们能在短时间开发出 TiKV 并在生产环境中上线的原因。

一致性协议

对于分布式系统来说，CAP 是一个不得不考虑的问题，因为 P 也就是 Partition Tolerance 是一定存在的，所以我们就要考虑到底是选择 C - Consistency 还是 A - Availability。

我们在设计 TiKV 的时候就决定 - 完全保证数据安全性，所以自然就会选择 C，但其实我们并没有完全放弃 A，因为多数时候，毕竟断网，机器停电不会特别频繁，我们只需要保证 HA - High Availability，也就是 4 个 9 或者 5 个 9 的可用性就可以了。

既然选择了 C，我们下一个就考虑的是选用哪一种分布式一致性算法，现在流行的无非就是 Paxos 或者 Raft，而 Raft 因为简单，容易理解，以及有很多现成的开源库可以参考，自然就成了我们的首要选择。

在 Raft 的实现上，我们直接参考的 etcd 的 Raft。etcd 已经被大量的公司在生产环境中使用，所以它的 Raft 库质量是很有保障的。虽然 etcd 是用 Go 实现的，但它的 Raft library 是类似 C 的实现，所以非常便于我们用 Rust 直接翻译。在翻译的过程中，我们也给 etcd 的 Raft fix 了一些 bug，添加了一些功能，让其变得更加健壮和易用。

现在 Raft 的代码仍然在 TiKV 工程里面，但我们很快会将独立出去，变成独立的 library，这样大家就能在自己的 Rust 项目中使用 Raft 了。

使用 Raft 不光能保证数据的一致性，也可以借助 Raft 的 Configuration Change 机制实现系统的水平扩展，这个我们会在后面的文章中详细的说明。

存储引擎

选择了分布式一致性协议，下一个就要考虑数据存储的问题了。在 TiKV 里面，我们会存储 Raft log，然后也会将 Raft log 里面实际的客户请求应用到状态机里面。

首先来看状态机，因为它会存放用户的实际数据，而这些数据完全可能是随机的 key - value，为了高效的处理随机的数据插入，自然我们就考虑使用现在通用的 LSM Tree 模型。而在这种模型下，RocksDB 可以认为是现阶段最优的一个选择。

RocksDB 是 Facebook 团队在 LevelDB 的基础上面做的高性能 Key-Value Storage，它提供了很多配置选项，能让大家根据不同的硬件环境去调优。这里有一个梗，说的是因为 RocksDB 配置太多，以至于连 RocksDB team 的同学都不清楚所有配置的意义。

关于我们在 TiKV 中如何使用，优化 RocksDB，以及给 RocksDB 添加功能，fix bug 这些，我们会在后面文章中详细说明。

而对于 Raft Log，因为任意 Log 的 index 是完全单调递增的，譬如 Log 1，那么下一个 Log 一定是 Log 2，所以 Log 的插入可以认为是顺序插入。这种的，最通常的做法就是自己写一个 Segment File，但现在我们仍然使用的是 RocksDB，因为 RocksDB 对于顺序写入也有非常高的性能，也能满足我们的需求。但我们不排除后面使用自己的引擎。

因为 RocksDB 提供了 C API，所以可以直接在 Rust 里面使用，大家也可以在自己的 Rust 项目里面通过 rust-rocksdb 这个库来使用 RocksDB。

分布式事务

要支持分布式事务，首先要解决的就是分布式系统时间的问题，也就是我们用什么来标识不同事务的顺序。通常有几种做法：

• TrueTime，TrueTime 是 Google Spanner 使用的方式，不过它需要硬件 GPS + 原子钟支持，而且 Spanner 并没有在论文里面详细说明硬件环境是如何搭建的，外面要自己实现难度比较大。

• HLC，HLC 是一种混合逻辑时钟，它使用 Physical Time 和 Logical Clock 来确定事件的先后顺序，HLC 已经在一些应用中使用，但 HLC 依赖 NTP，如果 NTP 精度误差比较大，很可能会影响 commit wait time。

• TSO，TSO 是一个全局授时器，它直接使用一个单点服务来分配时间。TSO 的方式很简单，但会有单点故障问题，单点也可能会有性能问题。

TiKV 采用了 TSO 的方式进行全局授时，主要是为了简单。至于单点故障问题，我们通过 Raft 做到了自动 fallover 处理。而对于单点性能问题，TiKV 主要针对的是 PB 以及 PB 以下级别的中小规模集群，所以在性能上面只要能保证每秒百万级别的时间分配就可以了，而网络延迟上面，TiKV 并没有全球跨 IDC 的需求，在单 IDC 或者同城 IDC 情况下，网络速度都很快，即使是异地 IDC，也因为有专线不会有太大的延迟。

解决了时间问题，下一个问题就是我们采用何种的分布式事务算法，最通常的就是使用 2 PC，但通常的 2 PC 算法在一些极端情况下面会有问题，所以业界要不通过 Paxos，要不就是使用 3 PC 等算法。在这里，TiKV 参考 Percolator，使用了另一种增强版的 2 PC 算法。

这里先简单介绍下 Percolator 的分布式事务算法，Percolator 使用了乐观锁，也就是会先缓存事务要修改的数据，然后在 Commit 提交的时候，对要更改的数据进行加锁处理，然后再更新。采用乐观锁的好处在于对于很多场景能提高整个系统的并发处理能力，但在冲突严重的情况下反而没有悲观锁高效。

对于要修改的一行数据，Percolator 会有三个字段与之对应，Lock，Write 和 Data：

• Lock，就是要修改数据的实际 lock，在一个 Percolator 事务里面，有一个 primary key，还有其它 secondary keys， 只有 primary key 先加锁成功，我们才会再去尝试加锁后续的 secondary keys。

• Write，保存的是数据实际提交写入的 commit timestamp，当一个事务提交成功之后，我们就会将对应的修改行的 commit timestamp 写入到 Write 上面。

• Data，保存实际行的数据。

当事务开始的时候，我们会首先得到一个 start timestamp，然后再去获取要修改行的数据，在 Get 的时候，如果这行数据上面已经有 Lock 了，那么就可能终止当前事务，或者尝试清理 Lock。

当我们要提交事务的时候，先得到 commit timestamp，会有两个阶段：

• Prewrite：先尝试给 primary key 加锁，然后尝试给 second keys 加锁。如果对应 key 上面已经有 Lock，或者在 start timestamp 之后，Write 上面已经有新的写入，Prewrite 就会失败，我们就会终止这次事务。在加锁的时候，我们也会顺带将数据写入到 Data 上面。

• Commit：当所有涉及的数据都加锁成功之后，我们就可以提交 primay key，这时候会先判断之前加的 Lock 是否还在，如果还在，则删掉 Lock，将 commit timestamp 写入到 Write。当 primary key 提交成功之后，我们就可以异步提交 second keys，我们不用在乎 primary keys 是否能提交成功，即使失败了，也有机制能保证数据被正常提交。

❹ 全球四个最大的四个开源库

开源世界中的那几个免费数据库发布时间：2011-11-22 09:34:30 来源：CSDN 评论：0 点击：1476 次 【字号：大 中 小】QQ空间 新浪微博 腾讯微博 人人网 豆瓣网 网络空间 网络搜藏 开心网 复制 更多 0开源数据库MySQLMySQL是一个开放源码的小型关联式数据库管理系统，开发者为瑞典MySQL AB公司。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源...开源数据库MySQLMySQL是一个开放源码的小型关联式数据库管理系统，开发者为瑞典MySQL AB公司。目前MySQL被广泛地应用在Internet上的中小型网站中。由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，许多中小型网站为了降低网站总体拥有成本而选择了MySQL作为网站数据库。盘点：开源社区那些免费的数据库软件MySQL为多种编程语言提供了API，包括C、C++、C#、Delphi、Eiffel、Java、Perl、PHP、Python、Ruby和Tcl等。而其自身是采用C和C++编写的，使用了多种编译器进行测试，所以，MySQL能够保证源代码具有很强的可移植性。这样的一款数据库，自然能够支持几乎所有的操作系统，从Unix、Linux到Windows，具体包括AIX、BSDi、FreeBSD、HP-UX、Linux、Mac OS、Novell Netware、NetBSD、OpenBSD、OS/2 Wrap、Solaris、SunOS、Windows等多种操作系统。最重要的是，它是一个可以处理拥有上千万条记录的大型数据库。与此同时，MySQL也产生了很多分支版本的数据库也非常值得推荐。首先是MariaDB，它是一个采用Maria存储引擎的MySQL分支版本，是由原来MySQL的作者 Michael Widenius创办的公司所开发的免费开源的数据库服务器。与MySQL相比较，MariaDB更强的地方在于它拥有更多的引擎，包括Maria存储引擎、PBXT存储引擎、XtraDB存储引擎、FederatedX存储引擎，它能够更快的复制查询处理、运行的速度更快、更好的功能测试以及支持对Unicode的排序等。其次是rcona，它为MySQL数据库服务器进行了改进，在功能和性能上较MySQL有着很显着的提升。该版本提升了在高负载情况下的InnoDB的性能，同时，它还为DBA提供一些非常有用的性能诊断工具，并且提供很多参数和命令来控制服务器行为。第三是Percona Server，它使用了诸如google-mysql-tools、Proven Scaling和 Open Query对MySQL进行改造。并且，它只包含MySQL的服务器版，并没有提供相应对 MySQL的Connector和GUI工具进行改进。非关系型数据库NoSQL从NoSQL的字面上理解，NoSQL就是Not Only SQL，被业界认为是一项全新的数据库革命性运动，早期就有人提出，发展至2009年趋势越发高涨。NoSQL的拥护者们提倡运用非关系型的数据存储，相对于目前铺天盖地的关系型数据库运用，这一概念无疑是一种全新的思维的注入。盘点：开源社区那些免费的数据库软件当然，NoSQL也是随着互联网Web2.0网站的兴起才能取得长足的进步。关键的需求在于，传统的关系数据库在应付Web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。首先推荐的是Oracle NoSQL Database，这是一个社区版。Oracle的这个NoSQL Database， 是在10月4号的甲骨文全球大全上发布的Big Data Appliance的其中一个组件，Big Data Appliance是一个集成了Hadoop、NoSQL Database、Oracle数据库Hadoop适配器、Oracle数据库Hadoop装载器及R语言的系统。其次推荐的是Membase。Membase是NoSQL家族的一个新的重量级的成员。Membase是开源项目，源代码采用了Apache2.0的使用许可。该项目托管在GitHub.Source tarballs上，目前可以下载beta版本的Linux二进制包。该产品主要是由North Scale的memcached核心团队成员开发完成，其中还包括Zynga和NHN这两个主要贡献者的工程师，这两个组织都是很大的在线游戏和社区网络空间的供应商。并且，Membase容易安装、操作，可以从单节点方便的扩展到集群，而且为memcached(有线协议的兼容性)实现了即插即用功能，在应用方面为开 发者和经营者提供了一个比较低的门槛。做为缓存解决方案，Memcached已经在不同类型的领域(特别是大容量的Web应用)有了广泛的使用，其中 Memcached的部分基础代码被直接应用到了Membase服务器的前端。通过兼容多种编程语言和框架，Membase具备了很好的复用性。在安装和配置方面，Membase提供了有效的图形化界面和编程接口，包括可配置 的告警信息。Membase的目标是提供对外的线性扩展能力，包括为了增加集群容量，可以针对统一的节点进行复制。 另外，对存储的数据进行再分配仍然是必要的。第三推荐的是Hibari。Hibari在日语中意思为“云雀”，它是一个专为高可靠性和大数据存储的数据库引擎，可用于云计算环境中，例如 webmail、SNS和其他要求T/P级数据存储的环境中。同时，Hibari也支持Java，C/C++，Python，Ruby和Erlang语言的客户端。第四推荐的是memcachedb。这是一个由新浪网的开发人员开放出来的开源项目，给memcached分布式缓存服务器添加了Berkeley DB的持久化存储机制和异步主辅复制机制，让memcached具备了事务恢复能力、持久化能力和分布式复制能力，非常适合于需要超高性能读写速度，但是 不需要严格事务约束，能够被持久化保存的应用场景，例如memcachedb被应用在新浪博客上面。第五推荐的是Leveldb。这是一个Google实现的非常高效的kv数据库，目前的版本1.2能够支持billion级别的数据量了。 在这个数量级别下还有着非常高的性能，主要归功于它的良好的设计，特别是LSM算法。LevelDB是单进程的服务，性能非常之高，在一台4个Q6600的CPU机器上，每秒钟写数据超过40w，而随机读的性能每秒钟超过10w。XML数据库的优势XML数据库是一种支持对XML格式文档进行存储和查询等操作的数据管理系统。在系统中，开发人员可以对数据库中的XML文档进行查询、导出和指定格式的序列化。目前XML数据库有三种类型：XMLEnabledDatabase(XEDB)，即能处理XML的数据库;NativeXMLDatabase(NXD)，即纯XML数据库;HybridXMLDatabase(HXD)，即混合XML数据库。关系数据库中的第一代XML支持是切分(或分解)文档，以适应关系表格或将文档原封不动地存储为字符或二进制大对象(CLOB 或 BLOB)。这两个方法中的任一种都尝试将XML模型强制转换成关系模型。然而，这两种方法在功能和性能上都有很大的局限性。混合型模型将XML存储在类似于DOM的模型中。XML数据被格式化为缓冲数据页，以便快速导航和执行查询以及简化索引编制。在这里，首要要推荐的XML数据库是Sedna。它号称是一款原生态的XML数据库，提供了全功能的核心数据库服务，包括持久化存储、ACID事务、索引、安全、热备、UTF8等。实现了 W3C XQuery 规范，支持全文搜索以及节点级别的更新操作。第二款XML数据库是BaseX。这款数据库用来存储紧缩的XML数据，提供了高效的 XPath和XQuery的实现，同时，它还提供一个前端操作界面。盘点：开源社区那些免费的数据库软件第三款推荐的是XMLDB。这款数据库使用了关系型数据库来存储任意的XML文档，因为所采用的存储机制，所以文档的搜索速度特别快，同时执行XSL转换也相当快。XMLDB同时还提供了一个PHP的模块，可以应用在Web应用中。第四块推荐的是X-Hive/DB。它是一个为需要高级XML数据处理和存储功能的软件开发者设计的强大的专属XML数据库。X-Hive/DB Java API包含存储、查询、检索、转换和发表XML数据的方法。与传统关系型数据库相比，XML数据库具有以下优势：第一，XML数据库能够对半结构化数据进行有效的存取和管理。如网页内容就是一种半结构化数据，而传统的关系数据库对于类似网页内容这类半结构化数据无法进行有效的管理。第二，提供对标签和路径的操作。传统数据库语言允许对数据元素的值进行操作，不能对元素名称操作，半结构化数据库提供了对标签名称的操作，还包括了对路径的操作。第三，当数据本身具有层次特征时，由于XML数据格式能够清晰表达数据的层次特征，因此XML数据库便于对层次化的数据进行操作。XML数据库适合管理复杂数据结构的数据集，如果己经以XML格式存储信息，则XML数据库利于文档存储和检索;可以用方便实用的方式检索文档，并能够提供高质量的全文搜索引擎。另外XML数据库能够存储和查询异种的文档结构，提供对异种信息存取的支持。

❺ 存储引擎的Mysql存储引擎

MyISAM： 拥有较高的插入，查询速度，但不支持事务
InnoDB ：5.5版本后Mysql的默认数据库，事务型数据库的首选引擎，支持ACID事务，支持行级锁定
BDB： 源自Berkeley DB，事务型数据库的另一种选择，支持COMMIT和ROLLBACK等其他事务特性
Memory ：所有数据置于内存的存储引擎，拥有极高的插入，更新和查询效率。但是会占用和数据量成正比的内存空间。并且其内容会在Mysql重新启动时丢失
Merge ：将一定数量的MyISAM表联合而成一个整体，在超大规模数据存储时很有用
Archive ：非常适合存储大量的独立的，作为历史记录的数据。因为它们不经常被读取。Archive拥有高效的插入速度，但其对查询的支持相对较差
Federated： 将不同的Mysql服务器联合起来，逻辑上组成一个完整的数据库。非常适合分布式应用
Cluster/NDB ：高冗余的存储引擎，用多台数据机器联合提供服务以提高整体性能和安全性。适合数据量大，安全和性能要求高的应用
CSV： 逻辑上由逗号分割数据的存储引擎。它会在数据库子目录里为每个数据表创建一个.CSV文件。这是一种普通文本文件，每个数据行占用一个文本行。CSV存储引擎不支持索引。
BlackHole ：黑洞引擎，写入的任何数据都会消失，一般用于记录binlog做复制的中继
另外，Mysql的存储引擎接口定义良好。有兴趣的开发者通过阅读文档编写自己的存储引擎。

❻ 什么是kv数据库

kv数据库是指Key-value数据库，是一种以键值对存储数据的一种数据库，类似java中的map。可以将整个数据库理解为一个大的map，每个键都会对应一个唯一的值。

key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。

如果辅以实时搜索引擎进行复杂条件检索、全文检索，就可以替代并发性能较低的MySQL等关系型数据库，达到高并发、高性能，节省几十倍服务器数 量的目的。以MemcacheDB、Tokyo Tyrant为代表的key-value分布式存储，在上万并发连接下，轻松地完成高速查询。

(6)分布式kv存储引擎排名扩展阅读：

数据库的安全直接关系到整个数据库系统的安全，其防护手段主要有以下八点：

1、使用正版数据库管理系统并及时安装相关补丁。

2、做好用户账户管理，禁用默认超级管理员账户或者为超级管理员账户设置复杂密码；为应用程序分别分配专用账户进行访问；设置用户登录时间及登录失败次数限制， 防止暴力破解用户密码。

3、分配用户访问权限时，坚持最小权限分配原则，并限制用户只能访问特定数据库，不能同时访问其他数据库。

4、修改数据库默认访问端口，使用防火墙屏蔽掉对 外开放的其他端口，禁止一切外部的端口探测行为。

5、对数据库内存储的重要数据、敏感数据进行加密存储，防止数据库备份或数据文件被盗而造成数据泄露。

6、设置好数据库的备份策略，保证数据库被破坏后能迅速恢复。

7、对数据库内的系统存储过程进行合理管理，禁用掉不必要的存储过程，防止利用存储过程进行数据库探测与攻击。

8、启用数据库审核功能，对数据库进行全面的事件跟踪和日志记录。

参考资料来源：

网络-Key-Value

网络-数据库

❼ hive使用hadoop的分布式文件系统什么作为存储引擎

使用hdfs作为分布式存储

❽ 大规模分布式存储系统的作品目录

前言第1章概述1.1分布式存储概念1.2分布式存储分类第一篇基础篇第2章单机存储系统2.1硬件基础2.1.1CPU架构2.1.2IO总线2.1.3网络拓扑2.1.4性能参数2.1.5存储层次架构2.2单机存储引擎2.2.1哈希存储引擎2.2.2B树存储引擎2.2.3LSM树存储引擎2.3数据模型2.3.1文件模型2.3.2关系模型2.3.3键值模型2.3.4SQL与NoSQL2.4事务与并发控制2.4.1事务2.4.2并发控制2.5故障恢复2.5.1操作日志2.5.2重做日志2.5.3优化手段2.6数据压缩2.6.1压缩算法2.6.2列式存储第3章分布式系统3.1基本概念3.1.1异常3.1.2一致性3.1.3衡量指标3.2性能分析3.3数据分布3.3.1哈希分布3.3.2顺序分布3.3.3负载均衡3.4复制3.4.1复制的概述3.4.2一致性与可用性3.5容错3.5.1常见故障3.5.2故障检测3.5.3故障恢复3.6可扩展性3.6.1总控节点3.6.2数据库扩容3.6.3异构系统3.7分布式协议3.7.1两阶段提交协议3.7.2Paxos协议3.7.3Paxos与2PC3.8跨机房部署第二篇范型篇第4章分布式文件系统4.1Google文件系统4.1.1系统架构4.1.2关键问题4.1.3Master设计4.1.4ChunkServer设计4.1.5讨论4.2Taobao File System4.2.1系统架构4.2.2讨论4.3Facebook Haystack4.3.1系统架构4.3.2讨论4.4内容分发网络4.4.1CDN架构4.4.2讨论第5章分布式键值系统5.1Amazon Dynamo5.1.1数据分布5.1.2一致性与复制5.1.3容错5.1.4负载均衡5.1.5读写流程5.1.6单机实现5.1.7讨论5.2淘宝Tair5.2.1系统架构5.2.2关键问题5.2.3讨论第6章分布式表格系统6.1Google Bigtable6.1.1架构6.1.2数据分布6.1.3复制与一致性6.1.4容错6.1.5负载均衡6.1.6分裂与合并6.1.7单机存储6.1.8垃圾回收6.1.9讨论6.2Google Megastore6.2.1系统架构6.2.2实体组6.2.3并发控制6.2.4复制6.2.5索引6.2.6协调者6.2.7读取流程6.2.8写入流程6.2.9讨论6.3Windows Azure Storage6.3.1整体架构6.3.2文件流层6.3.3分区层6.3.4讨论第7章分布式数据库7.1数据库中间层7.1.1架构7.1.2扩容7.1.3讨论7.2Microsoft SQL Azure7.2.1数据模型7.2.2架构7.2.3复制与一致性7.2.4容错7.2.5负载均衡7.2.6多租户7.2.7讨论7.3Google Spanner7.3.1数据模型7.3.2架构7.3.3复制与一致性7.3.4TrueTime7.3.5并发控制7.3.6数据迁移7.3.7讨论第三篇实践篇第8章OceanBase架构初探8.1背景简介8.2设计思路8.3系统架构8.3.1整体架构图8.3.2客户端8.3.3RootServer8.3.4MergeServer8.3.5ChunkServer8.3.6UpdateServer8.3.7定期合并&数据分发8.4架构剖析8.4.1一致性选择8.4.2数据结构8.4.3可靠性与可用性8.4.4读写事务8.4.5单点性能8.4.6SSD支持8.4.7数据正确性8.4.8分层结构第9章分布式存储引擎9.1公共模块9.1.1内存管理9.1.2基础数据结构9.1.3锁9.1.4任务队列9.1.5网络框架9.1.6压缩与解压缩9.2RootServer实现机制9.2.1数据结构9.2.2子表复制与负载均衡9.2.3子表分裂与合并9.2.4UpdateServer选主9.2.5RootServer主备9.3UpdateServer实现机制9.3.1存储引擎9.3.2任务模型9.3.3主备同步9.4ChunkServer实现机制9.4.1子表管理9.4.2SSTable9.4.3缓存实现9.4.4IO实现9.4.5定期合并&数据分发9.4.6定期合并限速9.5消除更新瓶颈9.5.1读写优化回顾9.5.2数据旁路导入9.5.3数据分区第10章数据库功能10.1整体结构10.2只读事务10.2.1物理操作符接口10.2.2单表操作10.2.3多表操作10.2.4SQL执行本地化10.3写事务10.3.1写事务执行流程10.3.2多版本并发控制10.4OLAP业务支持10.4.1并发查询10.4.2列式存储10.5特色功能10.5.1大表左连接10.5.2数据过期与批量删除第11章质量保证、运维及实践11.1质量保证11.1.1RD开发11.1.2QA测试11.1.3试运行11.2使用与运维11.2.1使用11.2.2运维11.3应用11.3.1收藏夹11.3.2天猫评价11.3.3直通车报表11.4最佳实践11.4.1系统发展路径11.4.2人员成长11.4.3系统设计11.4.4系统实现11.4.5使用与运维11.4.6工程现象11.4.7经验法则第四篇专题篇第12章云存储12.1云存储的概念12.2云存储的产品形态12.3云存储技术12.4云存储的核心优势12.5云平台整体架构12.5.1Amazon云平台12.5.2Google云平台12.5.3Microsoft云平台12.5.4云平台架构12.6云存储技术体系12.7云存储安全第13章大数据13.1大数据的概念13.2MapRece13.3MapRece扩展13.3.1Google Tenzing13.3.2Microsoft Dryad13.3.3Google Pregel13.4流式计算13.4.1原理13.4.2Yahoo S413.4.3Twitter Storm13.5实时分析13.5.1MPP架构13.5.2EMC Greenplum13.5.3HP Vertica13.5.4Google Dremel参考资料

❾ mysql uuid什么存储引擎

在mysql中可以把UUID作为逻辑主键，物理主键依然使用自增ID 一、UUID定义 UUID含义是通用唯一识别码 (Universally Unique Identifier)，这 是一个软件建构的标准，也是被开源软件基金会 (Open Software Foundation, OSF) 的组织应用在分布式计算..

❿ Mysql数据库3种存储引擎有什么区别

MySQL常见的三种存储引擎为InnoDB、MyISAM和MEMORY。其区别体现在事务安全、存储限制、空间使用、内存使用、插入数据的速度和对外键的支持。具体如下：

1、事务安全：

InnoDB支持事务安全，MyISAM和MEMORY两个不支持。

2、存储限制：

InnoDB有64TB的存储限制，MyISAM和MEMORY要是具体情况而定。

3、空间使用：

InnoDB对空间使用程度较高，MyISAM和MEMORY对空间使用程度较低。

4、内存使用：

InnoDB和MEMORY对内存使用程度较高，MyISAM对内存使用程度较低。

5、插入数据的速度：

InnoDB插入数据的速度较低，MyISAM和MEMORY插入数据的速度较高。

6、对外键的支持：

InnoDB对外键支持情况较好，MyISAM和MEMORY两个不支持外键。

三种引擎特点如下：

1、InnoDB存储引擎

InnoDB是事务型数据库的首选引擎，支持事务安全表（ACID），其它存储引擎都是非事务安全表，支持行锁定和外键，MySQL5.5以后默认使用InnoDB存储引擎。

InnoDB特点： 支持事务处理，支持外键，支持崩溃修复能力和并发控制。如果需要对事务的完整性要求比较高（比如银行），要求实现并发控制（比如售票），那选择InnoDB有很大的优势。

如果需要频繁的更新、删除操作的数据库，也可以选择InnoDB，因为支持事务的提交（commit）和回滚（rollback）。

2、MyISAM存储引擎

MyISAM基于ISAM存储引擎，并对其进行扩展。它是在Web、数据仓储和其他应用环境下最常使用的存储引擎之一。MyISAM拥有较高的插入、查询速度，但不支持事务，不支持外键。

MyISAM特点： 插入数据快，空间和内存使用比较低。如果表主要是用于插入新记录和读出记录，那么选择MyISAM能实现处理高效率。如果应用的完整性、并发性要求比较低，也可以使用

3、MEMORY存储引擎

MEMORY存储引擎将表中的数据存储到内存中，为查询和引用其他表数据提供快速访问。

MEMORY特点： 所有的数据都在内存中，数据的处理速度快，但是安全性不高。如果需要很快的读写速度，对数据的安全性要求较低，可以选择MEMOEY。

它对表的大小有要求，不能建立太大的表。所以，这类数据库只使用在相对较小的数据库表。

(10)分布式kv存储引擎排名扩展阅读：

mysql其余不太常见的存储引擎如下：

1、BDB： 源自Berkeley DB，事务型数据库的另一种选择，支持COMMIT和ROLLBACK等其他事务特性

2、Merge ：将一定数量的MyISAM表联合而成一个整体，在超大规模数据存储时很有用

3、Archive ：非常适合存储大量的独立的，作为历史记录的数据。因为它们不经常被读取。Archive拥有高效的插入速度，但其对查询的支持相对较差

4、Federated： 将不同的Mysql服务器联合起来，逻辑上组成一个完整的数据库。非常适合分布式应用

5、Cluster/NDB ：高冗余的存储引擎，用多台数据机器联合提供服务以提高整体性能和安全性。适合数据量大，安全和性能要求高的应用

6、CSV： 逻辑上由逗号分割数据的存储引擎。它会在数据库子目录里为每个数据表创建一个.CSV文件。这是一种普通文本文件，每个数据行占用一个文本行。CSV存储引擎不支持索引。

7、BlackHole ：黑洞引擎，写入的任何数据都会消失，一般用于记录binlog做复制的中继