mysql分布式数据存储

A. 什么数据存储软件的兼容性比较高

1. Ceph
Ceph是一个强大的存储系统，它在同一个系统中同时提供了对象，块（通过RBD）和文件存储。无论您是希望在虚拟机中使用块设备，还是将非结构化数据存储在对象存储中，Ceph都可以在一个平台上提供所有功能，并且还能获得出色的灵活性。 Ceph中的所有内容都以对象的形式存储，不管原始的数据类型是什么，RADOS（reliable autonomic distributed object store）都会把它们当做对象来进行存储。

RADOS层确保数据始终保持一致状态并且可靠。Ceph会通过数据复制，故障检测和恢复，以及跨群集节点进行数据迁移和重新平衡来实现数据一致性。 Ceph提供了一个符合POSIX的网络文件系统（CephFS），旨在实现高性能，大数据存储以及与传统应用程序的最大兼容。Ceph可以通过各种编程语言或者radosgw（RGW）实现无缝的访问对象存储，（RGW）这是一种REST接口，它与为S3和Swift编写的应用程序兼容。另一方面，Ceph的RADOS块设备（RBD）可以访问在整个存储集群中条带化和复制的块设备映像。

Ceph的特性
独立、开放和统一的平台：将块，对象和文件存储组合到一个平台中，包括最新添加的CephFS

兼容性：您可以使用Ceph 存储对外提供最兼容Amazon Web Services（AWS）S3的对象存储。

精简配置模式：分配存储空间时，只是虚拟分配容量，在跟进使用情况占用实际磁盘空间。这种模式提供了更多的灵活性和磁盘空间利用率。

副本：在Ceph Storage中，所有存储的数据都会自动从一个节点复制到多个其他节点。默认任何时间群集中的都有三份数据。

自我修复：Ceph Monitors会不断监控你的数据集。一旦出现一个副本丢失，Ceph会自动生成一个新副本，以确保始终有三份副本。

高可用：在Ceph Storage中，所有存储的数据会自动从一个节点复制到多个其他的节点。这意味着，任意节点中的数据集被破坏或被意外删除，在其他节点上都有超过两个以上副本可用，保证您的数据具有很高的可用性。

Ceph很强大：您的集群可以用于任何场景。无论您希望存储非结构化数据或为数据提供块存储或提供文件系统，或者希望您的应用程序直接通过librados使用您的存储，而这些都已经集成在一个Ceph平台上了。

可伸缩性：C

B. 什么是区块链技术区块链技术的核心构成是什么

从技术的角度，架构的角度，用通俗的语言来跟大家讲讲，我对区块链的一些理解。

究竟啥是区块链？Block chain，一句话来说，区块链是一个存储系统，存储系统更细一点，区块链是一个没有管理员，每个节点都拥有全部数据的分布式存储系统。

那常见的存储系统，是什么样子的呢？

首先看一下如何保证高可用？

普通的存储系统通常是用“冗余”的方式来解决高可用问题的。图上图所示如果能够把数据复制成几份，冗余到多个地方，就能够保证高可用。一个地方的数据挂了，另外的地方还存有数据，例如Mysql的主从集群就是这个原理，磁盘的RAID也是这个原理。

这个地方需要强调的两点是：数据冗余，往往会引发一致性的问题

1、例如MySQL的主从集群中中其实读写会有延时的，它其实就是有一个短的时间内读写不一致。这个是数据冗余，带来的一个副作用。

2、第二个点是数据冗余往往会降低写入的效率，因为数据同步也是需要消耗资源的。你看单点写入，如果加了两个从库之后，其实写入的效率会受影响。普通的存储系统，就是采用冗余的方式，保证数据的高可用的。

那么第二个问题，普通的存储系统，能否多点写入呢？

答案是可以的，比如说以这个图为例：

其实MySQL的话可以做一个双主的主从同步，双主的主从同步，两个节点，同时可以写入。如果要做多机房多活的数据中心，其实多机房多活也是进行数据同步的。这里要强调的是多点写入，往往会引发写写冲突的一致性问题，以MySQl为例，假设有一个表的属性是自增ID，那么现在数据库中的数据是1234，那么其中一个节点写入，插入了一条数据，那它可能变成5了，然后这5条数据，向另外一个主节点进行数据同步，同步完成之前，如果另外一个写入节点，也插入了一条数据，也生成了一条这个自增id为5的数据。那么，生成之后，往另外一个节点同步，然后同步数据到达之后会与本地的这两条5冲突，就会同步失败，会引发写写的一致性冲突问题。这个多点写入的话都会出现这个问题。

多点写入，如何保证一致？

维新“天鹅大咖课”给你更多的技术干活

C. Mysql变成分布式数据库

1、amoeba相当于一个SQL请求的路由器，目的是为负载均衡、读写分离、高可用性提供机制，而不是完全实现它们。用户需要结合使用MySQL的Replication等机制来实现副本同步等功能。amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制，第三方可以开发更高级的策略类来替代作者的实现。这个程序总体上比较符合KISS的思想。
2、由上一条，建议使用MySQL的Replication机制建立Master-Slave来做副本。我一开始理解有误，使用了amoeba的virtual DB（负载均衡pool）做writePool，结果使得本应插入同一个表中的数据被拆分地写入了不同的物理数据库中。这样自然与副本的语义不符了。
3、amoeba已经实现了数据的垂直切分与水平切分。水平切分方面，粒度是行。使用SQLJEP语句可以设计出复杂的切分规则，个人认为是比较强大的。垂直切分的粒度是表，可以把针对不同表的请求发送到不同的节点上执行，但不能以列作为分片粒度。从作者的说法看，amoeba不做SQL解析和重写。在目前的机制下似乎是难以实现同一个表不同的列在不同节点上的分布。不过对开发人员来说，设计良好的表结构应该可以实现简单的基于关系属性的负载均衡的。

D. php mysql分布式数据库如何实现

当前做分布式的厂商有几家，我知道比较出名的有“华为云分布式数据库DDM”和“阿里云分布式数据库”，感兴趣可以自行搜素了解下。

分布式数据库的几点概念可以了解一下。

数据分库：

以表为单位，把原有数据库切分成多个数据库。切分后不同的表存储在不同的数据库上。

以表中的数据行记录为单位，把原有逻辑数据库切分成多个物理数据库分片，表数据记录分布存储在各个分片上。

路由分发：

在分布式数据库中，路由的作用即将SQL语句进行解析，并转发到正确的分片上，保证SQL执行后得到正确的结果，并且节约QPS资源。

读写分离：

数据库中对计算和缓存资源消耗较多的往往是密集或复杂的SQL查询。当系统资源被查询语句消耗，反过来会影响数据写入操作，进而导致数据库整体性能下降，响应缓慢。因此，当数据库CPU和内存资源占用居高不下，且读写比例较高时，可以为数据库添加只读数据库。

E. 一个数据库有两张表，同步两张表的数据

如果是同一个mysql服务端的两个数据库同步可考虑下触发器，如果是不同端口的两个mysql服务端跟在两台服务器同步配置上没有区别。
数据库最好不要做主从，不然性能会降低很多的。
可以采取其他的方法撒，比如分布式存储。可以考虑下memcachedb，实现持久存储。
表结构一致的话，可以考虑映射表去实现来的（shell脚本定时同步，触发器），不过shell脚本会将环境搞的复杂一点，维护也会相对麻烦.
映射表具体实现（在要同步的数据库下创建相同的表结构）：
CREATE TABLE table_name
(
column_name column_type ....
....
key ....
)
ENGINE=MYISAM DEFAULT CHARSET=utf8
CONNECTION="mysql://user:pwd@ip_address/db_name/table_name";