mysql分布式數據存儲

A. 什麼數據存儲軟體的兼容性比較高

1. Ceph
Ceph是一個強大的存儲系統，它在同一個系統中同時提供了對象，塊（通過RBD）和文件存儲。無論您是希望在虛擬機中使用塊設備，還是將非結構化數據存儲在對象存儲中，Ceph都可以在一個平台上提供所有功能，並且還能獲得出色的靈活性。 Ceph中的所有內容都以對象的形式存儲，不管原始的數據類型是什麼，RADOS（reliable autonomic distributed object store）都會把它們當做對象來進行存儲。

RADOS層確保數據始終保持一致狀態並且可靠。Ceph會通過數據復制，故障檢測和恢復，以及跨群集節點進行數據遷移和重新平衡來實現數據一致性。 Ceph提供了一個符合POSIX的網路文件系統（CephFS），旨在實現高性能，大數據存儲以及與傳統應用程序的最大兼容。Ceph可以通過各種編程語言或者radosgw（RGW）實現無縫的訪問對象存儲，（RGW）這是一種REST介面，它與為S3和Swift編寫的應用程序兼容。另一方面，Ceph的RADOS塊設備（RBD）可以訪問在整個存儲集群中條帶化和復制的塊設備映像。

Ceph的特性
獨立、開放和統一的平台：將塊，對象和文件存儲組合到一個平台中，包括最新添加的CephFS

兼容性：您可以使用Ceph 存儲對外提供最兼容Amazon Web Services（AWS）S3的對象存儲。

精簡配置模式：分配存儲空間時，只是虛擬分配容量，在跟進使用情況佔用實際磁碟空間。這種模式提供了更多的靈活性和磁碟空間利用率。

副本：在Ceph Storage中，所有存儲的數據都會自動從一個節點復制到多個其他節點。默認任何時間群集中的都有三份數據。

自我修復：Ceph Monitors會不斷監控你的數據集。一旦出現一個副本丟失，Ceph會自動生成一個新副本，以確保始終有三份副本。

高可用：在Ceph Storage中，所有存儲的數據會自動從一個節點復制到多個其他的節點。這意味著，任意節點中的數據集被破壞或被意外刪除，在其他節點上都有超過兩個以上副本可用，保證您的數據具有很高的可用性。

Ceph很強大：您的集群可以用於任何場景。無論您希望存儲非結構化數據或為數據提供塊存儲或提供文件系統，或者希望您的應用程序直接通過librados使用您的存儲，而這些都已經集成在一個Ceph平台上了。

可伸縮性：C

B. 什麼是區塊鏈技術區塊鏈技術的核心構成是什麼

從技術的角度，架構的角度，用通俗的語言來跟大家講講，我對區塊鏈的一些理解。

究竟啥是區塊鏈？Block chain，一句話來說，區塊鏈是一個存儲系統，存儲系統更細一點，區塊鏈是一個沒有管理員，每個節點都擁有全部數據的分布式存儲系統。

那常見的存儲系統，是什麼樣子的呢？

首先看一下如何保證高可用？

普通的存儲系統通常是用「冗餘」的方式來解決高可用問題的。圖上圖所示如果能夠把數據復製成幾份，冗餘到多個地方，就能夠保證高可用。一個地方的數據掛了，另外的地方還存有數據，例如Mysql的主從集群就是這個原理，磁碟的RAID也是這個原理。

這個地方需要強調的兩點是：數據冗餘，往往會引發一致性的問題

1、例如MySQL的主從集群中中其實讀寫會有延時的，它其實就是有一個短的時間內讀寫不一致。這個是數據冗餘，帶來的一個副作用。

2、第二個點是數據冗餘往往會降低寫入的效率，因為數據同步也是需要消耗資源的。你看單點寫入，如果加了兩個從庫之後，其實寫入的效率會受影響。普通的存儲系統，就是採用冗餘的方式，保證數據的高可用的。

那麼第二個問題，普通的存儲系統，能否多點寫入呢？

答案是可以的，比如說以這個圖為例：

其實MySQL的話可以做一個雙主的主從同步，雙主的主從同步，兩個節點，同時可以寫入。如果要做多機房多活的數據中心，其實多機房多活也是進行數據同步的。這里要強調的是多點寫入，往往會引發寫寫沖突的一致性問題，以MySQl為例，假設有一個表的屬性是自增ID，那麼現在資料庫中的數據是1234，那麼其中一個節點寫入，插入了一條數據，那它可能變成5了，然後這5條數據，向另外一個主節點進行數據同步，同步完成之前，如果另外一個寫入節點，也插入了一條數據，也生成了一條這個自增id為5的數據。那麼，生成之後，往另外一個節點同步，然後同步數據到達之後會與本地的這兩條5沖突，就會同步失敗，會引發寫寫的一致性沖突問題。這個多點寫入的話都會出現這個問題。

多點寫入，如何保證一致？

維新「天鵝大咖課」給你更多的技術幹活

C. Mysql變成分布式資料庫

1、amoeba相當於一個SQL請求的路由器，目的是為負載均衡、讀寫分離、高可用性提供機制，而不是完全實現它們。用戶需要結合使用MySQL的Replication等機制來實現副本同步等功能。amoeba對底層資料庫連接管理和路由實現也採用了可插撥的機制，第三方可以開發更高級的策略類來替代作者的實現。這個程序總體上比較符合KISS的思想。
2、由上一條，建議使用MySQL的Replication機制建立Master-Slave來做副本。我一開始理解有誤，使用了amoeba的virtual DB（負載均衡pool）做writePool，結果使得本應插入同一個表中的數據被拆分地寫入了不同的物理資料庫中。這樣自然與副本的語義不符了。
3、amoeba已經實現了數據的垂直切分與水平切分。水平切分方面，粒度是行。使用SQLJEP語句可以設計出復雜的切分規則，個人認為是比較強大的。垂直切分的粒度是表，可以把針對不同表的請求發送到不同的節點上執行，但不能以列作為分片粒度。從作者的說法看，amoeba不做SQL解析和重寫。在目前的機制下似乎是難以實現同一個表不同的列在不同節點上的分布。不過對開發人員來說，設計良好的表結構應該可以實現簡單的基於關系屬性的負載均衡的。

D. php mysql分布式資料庫如何實現

當前做分布式的廠商有幾家，我知道比較出名的有「華為雲分布式資料庫DDM」和「阿里雲分布式資料庫」，感興趣可以自行搜素了解下。

分布式資料庫的幾點概念可以了解一下。

數據分庫：

以表為單位，把原有資料庫切分成多個資料庫。切分後不同的表存儲在不同的資料庫上。

以表中的數據行記錄為單位，把原有邏輯資料庫切分成多個物理資料庫分片，表數據記錄分布存儲在各個分片上。

路由分發：

在分布式資料庫中，路由的作用即將SQL語句進行解析，並轉發到正確的分片上，保證SQL執行後得到正確的結果，並且節約QPS資源。

讀寫分離：

資料庫中對計算和緩存資源消耗較多的往往是密集或復雜的SQL查詢。當系統資源被查詢語句消耗，反過來會影響數據寫入操作，進而導致資料庫整體性能下降，響應緩慢。因此，當資料庫CPU和內存資源佔用居高不下，且讀寫比例較高時，可以為資料庫添加只讀資料庫。

E. 一個資料庫有兩張表，同步兩張表的數據

如果是同一個mysql服務端的兩個資料庫同步可考慮下觸發器，如果是不同埠的兩個mysql服務端跟在兩台伺服器同步配置上沒有區別。
資料庫最好不要做主從，不然性能會降低很多的。
可以採取其他的方法撒，比如分布式存儲。可以考慮下memcachedb，實現持久存儲。
表結構一致的話，可以考慮映射表去實現來的（shell腳本定時同步，觸發器），不過shell腳本會將環境搞的復雜一點，維護也會相對麻煩.
映射表具體實現（在要同步的資料庫下創建相同的表結構）：
CREATE TABLE table_name
(
column_name column_type ....
....
key ....
)
ENGINE=MYISAM DEFAULT CHARSET=utf8
CONNECTION="mysql://user:pwd@ip_address/db_name/table_name";