分布式kv存儲引擎排名

❶ 如何評價ku存儲引擎

沒有數據分析流式計算的經驗，根據對kv存儲系統的理解，簡單答一發，輕拍。。
數據存儲的選擇上，HBASE和HADOOP在吞吐率、延遲上各有側重，如果做數據分析，要從HBase導出到hadoop平台再用Hive查詢，這就要求系統要混布HBASE和hadoop。
KADU的目標就是要兼顧前兩個存儲系統，實現對外數據的存儲和後台計算的本地化，減少數據傳輸成本已經部署運維成本。
架構方面，還是延用BIGTABLE的基本架構，元數據和數據分開存儲的，但做了一些比較有挑戰的優化操作，提升查詢和插入的性能
另外的亮點是，多副本間使用了raft保證數據的高可靠性。
性能方面，目前beta版本要略差與HBASE,這也是意料之中的事情。

❷ 分布式資料庫對性能測試有沒有影響

版本Mysql 3.22MySQL單表限4GBMySQL存儲引擎ISAM存儲引擎現MyISAM存儲引擎MySQL 3.23始MySQL單表限制已經擴64PB（官文檔顯示）說目前技術環境看MySQL資料庫MyISAM存儲 引擎單表限制已經MySQL資料庫本身決定由所主機OS面文件系統決定 MySQL另外流行存儲引擎Innodb存儲數據策略兩種種共享表空間存儲式種獨享表空間存儲式 使用共享表空間存儲式候Innodb所數據保存單獨表空間面表空間由文件組表跨文件存所 其限制再文件限制其自身限制Innodb官文檔看其表空間限制64TB說Innodb單 表限制基本64TB左右包括表所索引等其相關數據 使用獨享表空間存放Innodb表候每表數據單獨文件存放候單表限制變文件系統限制

❸ rust可以開發分布式系統嗎

rust是可以開發分布式系統的。

引子

構建一個分布式系統 並不是一件容易的事情，我們需要考慮很多的問題，首先就是我們的系統到底需要提供什麼樣的功能，譬如：

• 一致性：我們是否需要保證整個系統的線性一致性，還是能容忍短時間的數據不一致，只支持最終一致性。

• 穩定性：我們能否保證系統 7 x 24 小時穩定運行。系統的可用性是 4 個 9，還有 5 個 9？如果出現了機器損壞等災難情況，系統能否做的自動恢復。

• 擴展性：當數據持續增多，能否通過添加機器就自動做到數據再次平衡，並且不影響外部服務。

• 分布式事務：是否需要提供分布式事務支持，事務隔離等級需要支持到什麼程度。

上面的問題在系統設計之初，就需要考慮好，作為整個系統的設計目標。為了實現這些特性，我們就需要考慮到底採用哪一種實現方案，取捨各個方面的利弊等。

後面，我將以我們開發的分布式 Key-Value TiKV 作為實際例子，來說明下我們是如何取捨並實現的。

TiKV

TiKV 是一個分布式 Key-Value store，它使用 Rust 開發，採用 Raft 一致性協議保證數據的強一致性，以及穩定性，同時通過 Raft 的 Configuration Change 機制實現了系統的可擴展性。

TiKV 提供了基本的 KV API 支持，也就是通常的 Get，Set，Delete，Scan 這樣的 API。TiKV 也提供了支持 ACID 事務的 Transaction API，我們可以使用 Begin 開啟一個事務，在事務裡面對 Key 進行操作，最後再用 Commit 提交一個事務，TiKV 支持 SI 以及 SSI 事務隔離級別，用來滿足用戶的不同業務場景。

Rust

在規劃好 TiKV 的特性之後，我們就要開始進行 TiKV 的開發。這時候，我們面臨的第一個問題就是採用什麼樣的語言進行開發。當時，擺在我們眼前的有幾個選擇：

• Go，Go 是我們團隊最擅長的一門語言，而且 Go 提供的 goroutine，channel 這些機制，天生的適合大規模分布式系統的開發，但靈活方便的同時也有一些甜蜜的負擔，首先就是 GC，雖然現在 Go 的 GC 越來越完善，但總歸會有短暫的卡頓，另外 goroutine 的調度也會有切換開銷，這些都可能會造成請求的延遲增高。

• java，現在世面上面有太多基於 Java 做的分布式系統了，但 Java 一樣有 GC 等開銷問題，同時我們團隊在 Java 上面沒有任何開發經驗，所以沒有採用。

• C++，C++ 可以認為是開發高性能系統的代名詞，但我們團隊沒有特別多的同學能熟練掌握 C++，所以開發大型 C++ 項目並不是一件非常容易的事情。雖然使用現代 C++ 的編程方式能大量減少 data race，dangling pointer 等風險，我們仍然可能犯錯。

當我們排除了上面幾種主流語言之後，我們發現，為了開發 TiKV，我們需要這門語言具有如下特性：

• 靜態語言，這樣才能最大限度的保證運行性能。

• 無 GC，完全手動控制內存。

• Memory safe，盡量避免 dangling pointer，memory leak 等問題。

• Thread safe，不會遇到 data race 等問題。

• 包管理，我們可以非常方便的使用第三方庫。

• 高效的 C 綁定，因為我們還可能使用一些 C library，所以跟 C 交互不能有開銷。

綜上，我們決定使用 Rust，Rust 是一門系統編程語言，它提供了我們上面想要的語言特性，但選擇 Rust 對我們來說也是很有風險的，主要有兩點：

• 我們團隊沒有任何 Rust 開發經驗，全部都需要花時間學習 Rust，而偏偏 Rust 有一個非常陡峭的學習曲線。

• 基礎網路庫的缺失，雖然那個時候 Rust 已經出了 1.0，但我們發現很多基礎庫都沒有，譬如在網路庫上面只有 mio，沒有好用的 RPC 框架，HTTP 也不成熟。

但我們還是決定使用 Rust，對於第一點，我們團隊花了將近一個月的時間來學習 Rust，跟 Rust 編譯器作斗爭，而對於第二點，我們就完全開始自己寫。

幸運的，當我們越過 Rust 那段陣痛期之後，發現用 Rust 開發 TiKV 異常的高效，這也就是為啥我們能在短時間開發出 TiKV 並在生產環境中上線的原因。

一致性協議

對於分布式系統來說，CAP 是一個不得不考慮的問題，因為 P 也就是 Partition Tolerance 是一定存在的，所以我們就要考慮到底是選擇 C - Consistency 還是 A - Availability。

我們在設計 TiKV 的時候就決定 - 完全保證數據安全性，所以自然就會選擇 C，但其實我們並沒有完全放棄 A，因為多數時候，畢竟斷網，機器停電不會特別頻繁，我們只需要保證 HA - High Availability，也就是 4 個 9 或者 5 個 9 的可用性就可以了。

既然選擇了 C，我們下一個就考慮的是選用哪一種分布式一致性演算法，現在流行的無非就是 Paxos 或者 Raft，而 Raft 因為簡單，容易理解，以及有很多現成的開源庫可以參考，自然就成了我們的首要選擇。

在 Raft 的實現上，我們直接參考的 etcd 的 Raft。etcd 已經被大量的公司在生產環境中使用，所以它的 Raft 庫質量是很有保障的。雖然 etcd 是用 Go 實現的，但它的 Raft library 是類似 C 的實現，所以非常便於我們用 Rust 直接翻譯。在翻譯的過程中，我們也給 etcd 的 Raft fix 了一些 bug，添加了一些功能，讓其變得更加健壯和易用。

現在 Raft 的代碼仍然在 TiKV 工程裡面，但我們很快會將獨立出去，變成獨立的 library，這樣大家就能在自己的 Rust 項目中使用 Raft 了。

使用 Raft 不光能保證數據的一致性，也可以藉助 Raft 的 Configuration Change 機制實現系統的水平擴展，這個我們會在後面的文章中詳細的說明。

存儲引擎

選擇了分布式一致性協議，下一個就要考慮數據存儲的問題了。在 TiKV 裡面，我們會存儲 Raft log，然後也會將 Raft log 裡面實際的客戶請求應用到狀態機裡面。

首先來看狀態機，因為它會存放用戶的實際數據，而這些數據完全可能是隨機的 key - value，為了高效的處理隨機的數據插入，自然我們就考慮使用現在通用的 LSM Tree 模型。而在這種模型下，RocksDB 可以認為是現階段最優的一個選擇。

RocksDB 是 Facebook 團隊在 LevelDB 的基礎上面做的高性能 Key-Value Storage，它提供了很多配置選項，能讓大家根據不同的硬體環境去調優。這里有一個梗，說的是因為 RocksDB 配置太多，以至於連 RocksDB team 的同學都不清楚所有配置的意義。

關於我們在 TiKV 中如何使用，優化 RocksDB，以及給 RocksDB 添加功能，fix bug 這些，我們會在後面文章中詳細說明。

而對於 Raft Log，因為任意 Log 的 index 是完全單調遞增的，譬如 Log 1，那麼下一個 Log 一定是 Log 2，所以 Log 的插入可以認為是順序插入。這種的，最通常的做法就是自己寫一個 Segment File，但現在我們仍然使用的是 RocksDB，因為 RocksDB 對於順序寫入也有非常高的性能，也能滿足我們的需求。但我們不排除後面使用自己的引擎。

因為 RocksDB 提供了 C API，所以可以直接在 Rust 裡面使用，大家也可以在自己的 Rust 項目裡面通過 rust-rocksdb 這個庫來使用 RocksDB。

分布式事務

要支持分布式事務，首先要解決的就是分布式系統時間的問題，也就是我們用什麼來標識不同事務的順序。通常有幾種做法：

• TrueTime，TrueTime 是 Google Spanner 使用的方式，不過它需要硬體 GPS + 原子鍾支持，而且 Spanner 並沒有在論文裡面詳細說明硬體環境是如何搭建的，外面要自己實現難度比較大。

• HLC，HLC 是一種混合邏輯時鍾，它使用 Physical Time 和 Logical Clock 來確定事件的先後順序，HLC 已經在一些應用中使用，但 HLC 依賴 NTP，如果 NTP 精度誤差比較大，很可能會影響 commit wait time。

• TSO，TSO 是一個全局授時器，它直接使用一個單點服務來分配時間。TSO 的方式很簡單，但會有單點故障問題，單點也可能會有性能問題。

TiKV 採用了 TSO 的方式進行全局授時，主要是為了簡單。至於單點故障問題，我們通過 Raft 做到了自動 fallover 處理。而對於單點性能問題，TiKV 主要針對的是 PB 以及 PB 以下級別的中小規模集群，所以在性能上面只要能保證每秒百萬級別的時間分配就可以了，而網路延遲上面，TiKV 並沒有全球跨 IDC 的需求，在單 IDC 或者同城 IDC 情況下，網路速度都很快，即使是異地 IDC，也因為有專線不會有太大的延遲。

解決了時間問題，下一個問題就是我們採用何種的分布式事務演算法，最通常的就是使用 2 PC，但通常的 2 PC 演算法在一些極端情況下面會有問題，所以業界要不通過 Paxos，要不就是使用 3 PC 等演算法。在這里，TiKV 參考 Percolator，使用了另一種增強版的 2 PC 演算法。

這里先簡單介紹下 Percolator 的分布式事務演算法，Percolator 使用了樂觀鎖，也就是會先緩存事務要修改的數據，然後在 Commit 提交的時候，對要更改的數據進行加鎖處理，然後再更新。採用樂觀鎖的好處在於對於很多場景能提高整個系統的並發處理能力，但在沖突嚴重的情況下反而沒有悲觀鎖高效。

對於要修改的一行數據，Percolator 會有三個欄位與之對應，Lock，Write 和 Data：

• Lock，就是要修改數據的實際 lock，在一個 Percolator 事務裡面，有一個 primary key，還有其它 secondary keys， 只有 primary key 先加鎖成功，我們才會再去嘗試加鎖後續的 secondary keys。

• Write，保存的是數據實際提交寫入的 commit timestamp，當一個事務提交成功之後，我們就會將對應的修改行的 commit timestamp 寫入到 Write 上面。

• Data，保存實際行的數據。

當事務開始的時候，我們會首先得到一個 start timestamp，然後再去獲取要修改行的數據，在 Get 的時候，如果這行數據上面已經有 Lock 了，那麼就可能終止當前事務，或者嘗試清理 Lock。

當我們要提交事務的時候，先得到 commit timestamp，會有兩個階段：

• Prewrite：先嘗試給 primary key 加鎖，然後嘗試給 second keys 加鎖。如果對應 key 上面已經有 Lock，或者在 start timestamp 之後，Write 上面已經有新的寫入，Prewrite 就會失敗，我們就會終止這次事務。在加鎖的時候，我們也會順帶將數據寫入到 Data 上面。

• Commit：當所有涉及的數據都加鎖成功之後，我們就可以提交 primay key，這時候會先判斷之前加的 Lock 是否還在，如果還在，則刪掉 Lock，將 commit timestamp 寫入到 Write。當 primary key 提交成功之後，我們就可以非同步提交 second keys，我們不用在乎 primary keys 是否能提交成功，即使失敗了，也有機制能保證數據被正常提交。

❹ 全球四個最大的四個開源庫

開源世界中的那幾個免費資料庫發布時間：2011-11-22 09:34:30 來源：CSDN 評論：0 點擊：1476 次 【字型大小：大 中 小】QQ空間 新浪微博 騰訊微博 人人網 豆瓣網 網路空間 網路搜藏 開心網 復制 更多 0開源資料庫MySQLMySQL是一個開放源碼的小型關聯式資料庫管理系統，開發者為瑞典MySQL AB公司。目前MySQL被廣泛地應用在Internet上的中小型網站中。由於其體積小、速度快、總體擁有成本低，尤其是開放源...開源資料庫MySQLMySQL是一個開放源碼的小型關聯式資料庫管理系統，開發者為瑞典MySQL AB公司。目前MySQL被廣泛地應用在Internet上的中小型網站中。由於其體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，許多中小型網站為了降低網站總體擁有成本而選擇了MySQL作為網站資料庫。盤點：開源社區那些免費的資料庫軟體MySQL為多種編程語言提供了API，包括C、C++、C#、Delphi、Eiffel、Java、Perl、PHP、Python、Ruby和Tcl等。而其自身是採用C和C++編寫的，使用了多種編譯器進行測試，所以，MySQL能夠保證源代碼具有很強的可移植性。這樣的一款資料庫，自然能夠支持幾乎所有的操作系統，從Unix、Linux到Windows，具體包括AIX、BSDi、FreeBSD、HP-UX、Linux、Mac OS、Novell Netware、NetBSD、OpenBSD、OS/2 Wrap、Solaris、SunOS、Windows等多種操作系統。最重要的是，它是一個可以處理擁有上千萬條記錄的大型資料庫。與此同時，MySQL也產生了很多分支版本的資料庫也非常值得推薦。首先是MariaDB，它是一個採用Maria存儲引擎的MySQL分支版本，是由原來MySQL的作者 Michael Widenius創辦的公司所開發的免費開源的資料庫伺服器。與MySQL相比較，MariaDB更強的地方在於它擁有更多的引擎，包括Maria存儲引擎、PBXT存儲引擎、XtraDB存儲引擎、FederatedX存儲引擎，它能夠更快的復制查詢處理、運行的速度更快、更好的功能測試以及支持對Unicode的排序等。其次是rcona，它為MySQL資料庫伺服器進行了改進，在功能和性能上較MySQL有著很顯著的提升。該版本提升了在高負載情況下的InnoDB的性能，同時，它還為DBA提供一些非常有用的性能診斷工具，並且提供很多參數和命令來控制伺服器行為。第三是Percona Server，它使用了諸如google-mysql-tools、Proven Scaling和 Open Query對MySQL進行改造。並且，它只包含MySQL的伺服器版，並沒有提供相應對 MySQL的Connector和GUI工具進行改進。非關系型資料庫NoSQL從NoSQL的字面上理解，NoSQL就是Not Only SQL，被業界認為是一項全新的資料庫革命性運動，早期就有人提出，發展至2009年趨勢越發高漲。NoSQL的擁護者們提倡運用非關系型的數據存儲，相對於目前鋪天蓋地的關系型資料庫運用，這一概念無疑是一種全新的思維的注入。盤點：開源社區那些免費的資料庫軟體當然，NoSQL也是隨著互聯網Web2.0網站的興起才能取得長足的進步。關鍵的需求在於，傳統的關系資料庫在應付Web2.0網站，特別是超大規模和高並發的SNS類型的web2.0純動態網站顯得力不從心，暴露了很多難以克服的問題，而非關系型的資料庫則由於其本身的特點得到了非常迅速的發展。首先推薦的是Oracle NoSQL Database，這是一個社區版。Oracle的這個NoSQL Database， 是在10月4號的甲骨文全球大全上發布的Big Data Appliance的其中一個組件，Big Data Appliance是一個集成了Hadoop、NoSQL Database、Oracle資料庫Hadoop適配器、Oracle資料庫Hadoop裝載器及R語言的系統。其次推薦的是Membase。Membase是NoSQL家族的一個新的重量級的成員。Membase是開源項目，源代碼採用了Apache2.0的使用許可。該項目託管在GitHub.Source tarballs上，目前可以下載beta版本的Linux二進制包。該產品主要是由North Scale的memcached核心團隊成員開發完成，其中還包括Zynga和NHN這兩個主要貢獻者的工程師，這兩個組織都是很大的在線游戲和社區網路空間的供應商。並且，Membase容易安裝、操作，可以從單節點方便的擴展到集群，而且為memcached(有線協議的兼容性)實現了即插即用功能，在應用方面為開 發者和經營者提供了一個比較低的門檻。做為緩存解決方案，Memcached已經在不同類型的領域(特別是大容量的Web應用)有了廣泛的使用，其中 Memcached的部分基礎代碼被直接應用到了Membase伺服器的前端。通過兼容多種編程語言和框架，Membase具備了很好的復用性。在安裝和配置方面，Membase提供了有效的圖形化界面和編程介面，包括可配置 的告警信息。Membase的目標是提供對外的線性擴展能力，包括為了增加集群容量，可以針對統一的節點進行復制。 另外，對存儲的數據進行再分配仍然是必要的。第三推薦的是Hibari。Hibari在日語中意思為「雲雀」，它是一個專為高可靠性和大數據存儲的資料庫引擎，可用於雲計算環境中，例如 webmail、SNS和其他要求T/P級數據存儲的環境中。同時，Hibari也支持Java，C/C++，Python，Ruby和Erlang語言的客戶端。第四推薦的是memcachedb。這是一個由新浪網的開發人員開放出來的開源項目，給memcached分布式緩存伺服器添加了Berkeley DB的持久化存儲機制和非同步主輔復制機制，讓memcached具備了事務恢復能力、持久化能力和分布式復制能力，非常適合於需要超高性能讀寫速度，但是 不需要嚴格事務約束，能夠被持久化保存的應用場景，例如memcachedb被應用在新浪博客上面。第五推薦的是Leveldb。這是一個Google實現的非常高效的kv資料庫，目前的版本1.2能夠支持billion級別的數據量了。 在這個數量級別下還有著非常高的性能，主要歸功於它的良好的設計，特別是LSM演算法。LevelDB是單進程的服務，性能非常之高，在一台4個Q6600的CPU機器上，每秒鍾寫數據超過40w，而隨機讀的性能每秒鍾超過10w。XML資料庫的優勢XML資料庫是一種支持對XML格式文檔進行存儲和查詢等操作的數據管理系統。在系統中，開發人員可以對資料庫中的XML文檔進行查詢、導出和指定格式的序列化。目前XML資料庫有三種類型：XMLEnabledDatabase(XEDB)，即能處理XML的資料庫;NativeXMLDatabase(NXD)，即純XML資料庫;HybridXMLDatabase(HXD)，即混合XML資料庫。關系資料庫中的第一代XML支持是切分(或分解)文檔，以適應關系表格或將文檔原封不動地存儲為字元或二進制大對象(CLOB 或 BLOB)。這兩個方法中的任一種都嘗試將XML模型強制轉換成關系模型。然而，這兩種方法在功能和性能上都有很大的局限性。混合型模型將XML存儲在類似於DOM的模型中。XML數據被格式化為緩沖數據頁，以便快速導航和執行查詢以及簡化索引編制。在這里，首要要推薦的XML資料庫是Sedna。它號稱是一款原生態的XML資料庫，提供了全功能的核心資料庫服務，包括持久化存儲、ACID事務、索引、安全、熱備、UTF8等。實現了 W3C XQuery 規范，支持全文搜索以及節點級別的更新操作。第二款XML資料庫是BaseX。這款資料庫用來存儲緊縮的XML數據，提供了高效的 XPath和XQuery的實現，同時，它還提供一個前端操作界面。盤點：開源社區那些免費的資料庫軟體第三款推薦的是XMLDB。這款資料庫使用了關系型資料庫來存儲任意的XML文檔，因為所採用的存儲機制，所以文檔的搜索速度特別快，同時執行XSL轉換也相當快。XMLDB同時還提供了一個PHP的模塊，可以應用在Web應用中。第四塊推薦的是X-Hive/DB。它是一個為需要高級XML數據處理和存儲功能的軟體開發者設計的強大的專屬XML資料庫。X-Hive/DB Java API包含存儲、查詢、檢索、轉換和發表XML數據的方法。與傳統關系型資料庫相比，XML資料庫具有以下優勢：第一，XML資料庫能夠對半結構化數據進行有效的存取和管理。如網頁內容就是一種半結構化數據，而傳統的關系資料庫對於類似網頁內容這類半結構化數據無法進行有效的管理。第二，提供對標簽和路徑的操作。傳統資料庫語言允許對數據元素的值進行操作，不能對元素名稱操作，半結構化資料庫提供了對標簽名稱的操作，還包括了對路徑的操作。第三，當數據本身具有層次特徵時，由於XML數據格式能夠清晰表達數據的層次特徵，因此XML資料庫便於對層次化的數據進行操作。XML資料庫適合管理復雜數據結構的數據集，如果己經以XML格式存儲信息，則XML資料庫利於文檔存儲和檢索;可以用方便實用的方式檢索文檔，並能夠提供高質量的全文搜索引擎。另外XML資料庫能夠存儲和查詢異種的文檔結構，提供對異種信息存取的支持。

❺ 存儲引擎的Mysql存儲引擎

MyISAM： 擁有較高的插入，查詢速度，但不支持事務
InnoDB ：5.5版本後Mysql的默認資料庫，事務型資料庫的首選引擎，支持ACID事務，支持行級鎖定
BDB： 源自Berkeley DB，事務型資料庫的另一種選擇，支持COMMIT和ROLLBACK等其他事務特性
Memory ：所有數據置於內存的存儲引擎，擁有極高的插入，更新和查詢效率。但是會佔用和數據量成正比的內存空間。並且其內容會在Mysql重新啟動時丟失
Merge ：將一定數量的MyISAM表聯合而成一個整體，在超大規模數據存儲時很有用
Archive ：非常適合存儲大量的獨立的，作為歷史記錄的數據。因為它們不經常被讀取。Archive擁有高效的插入速度，但其對查詢的支持相對較差
Federated： 將不同的Mysql伺服器聯合起來，邏輯上組成一個完整的資料庫。非常適合分布式應用
Cluster/NDB ：高冗餘的存儲引擎，用多台數據機器聯合提供服務以提高整體性能和安全性。適合數據量大，安全和性能要求高的應用
CSV： 邏輯上由逗號分割數據的存儲引擎。它會在資料庫子目錄里為每個數據表創建一個.CSV文件。這是一種普通文本文件，每個數據行佔用一個文本行。CSV存儲引擎不支持索引。
BlackHole ：黑洞引擎，寫入的任何數據都會消失，一般用於記錄binlog做復制的中繼
另外，Mysql的存儲引擎介面定義良好。有興趣的開發者通過閱讀文檔編寫自己的存儲引擎。

❻ 什麼是kv資料庫

kv資料庫是指Key-value資料庫，是一種以鍵值對存儲數據的一種資料庫，類似java中的map。可以將整個資料庫理解為一個大的map，每個鍵都會對應一個唯一的值。

key-value分布式存儲系統查詢速度快、存放數據量大、支持高並發，非常適合通過主鍵進行查詢，但不能進行復雜的條件查詢。

如果輔以實時搜索引擎進行復雜條件檢索、全文檢索，就可以替代並發性能較低的MySQL等關系型資料庫，達到高並發、高性能，節省幾十倍伺服器數 量的目的。以MemcacheDB、Tokyo Tyrant為代表的key-value分布式存儲，在上萬並發連接下，輕松地完成高速查詢。

(6)分布式kv存儲引擎排名擴展閱讀：

資料庫的安全直接關繫到整個資料庫系統的安全，其防護手段主要有以下八點：

1、使用正版資料庫管理系統並及時安裝相關補丁。

2、做好用戶賬戶管理，禁用默認超級管理員賬戶或者為超級管理員賬戶設置復雜密碼；為應用程序分別分配專用賬戶進行訪問；設置用戶登錄時間及登錄失敗次數限制， 防止暴力破解用戶密碼。

3、分配用戶訪問許可權時，堅持最小許可權分配原則，並限制用戶只能訪問特定資料庫，不能同時訪問其他資料庫。

4、修改資料庫默認訪問埠，使用防火牆屏蔽掉對 外開放的其他埠，禁止一切外部的埠探測行為。

5、對資料庫內存儲的重要數據、敏感數據進行加密存儲，防止資料庫備份或數據文件被盜而造成數據泄露。

6、設置好資料庫的備份策略，保證資料庫被破壞後能迅速恢復。

7、對資料庫內的系統存儲過程進行合理管理，禁用掉不必要的存儲過程，防止利用存儲過程進行資料庫探測與攻擊。

8、啟用資料庫審核功能，對資料庫進行全面的事件跟蹤和日誌記錄。

參考資料來源：

網路-Key-Value

網路-資料庫

❼ hive使用hadoop的分布式文件系統什麼作為存儲引擎

使用hdfs作為分布式存儲

❽ 大規模分布式存儲系統的作品目錄

前言第1章概述1.1分布式存儲概念1.2分布式存儲分類第一篇基礎篇第2章單機存儲系統2.1硬體基礎2.1.1CPU架構2.1.2IO匯流排2.1.3網路拓撲2.1.4性能參數2.1.5存儲層次架構2.2單機存儲引擎2.2.1哈希存儲引擎2.2.2B樹存儲引擎2.2.3LSM樹存儲引擎2.3數據模型2.3.1文件模型2.3.2關系模型2.3.3鍵值模型2.3.4SQL與NoSQL2.4事務與並發控制2.4.1事務2.4.2並發控制2.5故障恢復2.5.1操作日誌2.5.2重做日誌2.5.3優化手段2.6數據壓縮2.6.1壓縮演算法2.6.2列式存儲第3章分布式系統3.1基本概念3.1.1異常3.1.2一致性3.1.3衡量指標3.2性能分析3.3數據分布3.3.1哈希分布3.3.2順序分布3.3.3負載均衡3.4復制3.4.1復制的概述3.4.2一致性與可用性3.5容錯3.5.1常見故障3.5.2故障檢測3.5.3故障恢復3.6可擴展性3.6.1總控節點3.6.2資料庫擴容3.6.3異構系統3.7分布式協議3.7.1兩階段提交協議3.7.2Paxos協議3.7.3Paxos與2PC3.8跨機房部署第二篇范型篇第4章分布式文件系統4.1Google文件系統4.1.1系統架構4.1.2關鍵問題4.1.3Master設計4.1.4ChunkServer設計4.1.5討論4.2Taobao File System4.2.1系統架構4.2.2討論4.3Facebook Haystack4.3.1系統架構4.3.2討論4.4內容分發網路4.4.1CDN架構4.4.2討論第5章分布式鍵值系統5.1Amazon Dynamo5.1.1數據分布5.1.2一致性與復制5.1.3容錯5.1.4負載均衡5.1.5讀寫流程5.1.6單機實現5.1.7討論5.2淘寶Tair5.2.1系統架構5.2.2關鍵問題5.2.3討論第6章分布式表格系統6.1Google Bigtable6.1.1架構6.1.2數據分布6.1.3復制與一致性6.1.4容錯6.1.5負載均衡6.1.6分裂與合並6.1.7單機存儲6.1.8垃圾回收6.1.9討論6.2Google Megastore6.2.1系統架構6.2.2實體組6.2.3並發控制6.2.4復制6.2.5索引6.2.6協調者6.2.7讀取流程6.2.8寫入流程6.2.9討論6.3Windows Azure Storage6.3.1整體架構6.3.2文件流層6.3.3分區層6.3.4討論第7章分布式資料庫7.1資料庫中間層7.1.1架構7.1.2擴容7.1.3討論7.2Microsoft SQL Azure7.2.1數據模型7.2.2架構7.2.3復制與一致性7.2.4容錯7.2.5負載均衡7.2.6多租戶7.2.7討論7.3Google Spanner7.3.1數據模型7.3.2架構7.3.3復制與一致性7.3.4TrueTime7.3.5並發控制7.3.6數據遷移7.3.7討論第三篇實踐篇第8章OceanBase架構初探8.1背景簡介8.2設計思路8.3系統架構8.3.1整體架構圖8.3.2客戶端8.3.3RootServer8.3.4MergeServer8.3.5ChunkServer8.3.6UpdateServer8.3.7定期合並&數據分發8.4架構剖析8.4.1一致性選擇8.4.2數據結構8.4.3可靠性與可用性8.4.4讀寫事務8.4.5單點性能8.4.6SSD支持8.4.7數據正確性8.4.8分層結構第9章分布式存儲引擎9.1公共模塊9.1.1內存管理9.1.2基礎數據結構9.1.3鎖9.1.4任務隊列9.1.5網路框架9.1.6壓縮與解壓縮9.2RootServer實現機制9.2.1數據結構9.2.2子表復制與負載均衡9.2.3子表分裂與合並9.2.4UpdateServer選主9.2.5RootServer主備9.3UpdateServer實現機制9.3.1存儲引擎9.3.2任務模型9.3.3主備同步9.4ChunkServer實現機制9.4.1子表管理9.4.2SSTable9.4.3緩存實現9.4.4IO實現9.4.5定期合並&數據分發9.4.6定期合並限速9.5消除更新瓶頸9.5.1讀寫優化回顧9.5.2數據旁路導入9.5.3數據分區第10章資料庫功能10.1整體結構10.2隻讀事務10.2.1物理操作符介面10.2.2單表操作10.2.3多表操作10.2.4SQL執行本地化10.3寫事務10.3.1寫事務執行流程10.3.2多版本並發控制10.4OLAP業務支持10.4.1並發查詢10.4.2列式存儲10.5特色功能10.5.1大表左連接10.5.2數據過期與批量刪除第11章質量保證、運維及實踐11.1質量保證11.1.1RD開發11.1.2QA測試11.1.3試運行11.2使用與運維11.2.1使用11.2.2運維11.3應用11.3.1收藏夾11.3.2天貓評價11.3.3直通車報表11.4最佳實踐11.4.1系統發展路徑11.4.2人員成長11.4.3系統設計11.4.4系統實現11.4.5使用與運維11.4.6工程現象11.4.7經驗法則第四篇專題篇第12章雲存儲12.1雲存儲的概念12.2雲存儲的產品形態12.3雲存儲技術12.4雲存儲的核心優勢12.5雲平台整體架構12.5.1Amazon雲平台12.5.2Google雲平台12.5.3Microsoft雲平台12.5.4雲平台架構12.6雲存儲技術體系12.7雲存儲安全第13章大數據13.1大數據的概念13.2MapRece13.3MapRece擴展13.3.1Google Tenzing13.3.2Microsoft Dryad13.3.3Google Pregel13.4流式計算13.4.1原理13.4.2Yahoo S413.4.3Twitter Storm13.5實時分析13.5.1MPP架構13.5.2EMC Greenplum13.5.3HP Vertica13.5.4Google Dremel參考資料

❾ mysql uuid什麼存儲引擎

在mysql中可以把UUID作為邏輯主鍵，物理主鍵依然使用自增ID 一、UUID定義 UUID含義是通用唯一識別碼 (Universally Unique Identifier)，這 是一個軟體建構的標准，也是被開源軟體基金會 (Open Software Foundation, OSF) 的組織應用在分布式計算..

❿ Mysql資料庫3種存儲引擎有什麼區別

MySQL常見的三種存儲引擎為InnoDB、MyISAM和MEMORY。其區別體現在事務安全、存儲限制、空間使用、內存使用、插入數據的速度和對外鍵的支持。具體如下：

1、事務安全：

InnoDB支持事務安全，MyISAM和MEMORY兩個不支持。

2、存儲限制：

InnoDB有64TB的存儲限制，MyISAM和MEMORY要是具體情況而定。

3、空間使用：

InnoDB對空間使用程度較高，MyISAM和MEMORY對空間使用程度較低。

4、內存使用：

InnoDB和MEMORY對內存使用程度較高，MyISAM對內存使用程度較低。

5、插入數據的速度：

InnoDB插入數據的速度較低，MyISAM和MEMORY插入數據的速度較高。

6、對外鍵的支持：

InnoDB對外鍵支持情況較好，MyISAM和MEMORY兩個不支持外鍵。

三種引擎特點如下：

1、InnoDB存儲引擎

InnoDB是事務型資料庫的首選引擎，支持事務安全表（ACID），其它存儲引擎都是非事務安全表，支持行鎖定和外鍵，MySQL5.5以後默認使用InnoDB存儲引擎。

InnoDB特點： 支持事務處理，支持外鍵，支持崩潰修復能力和並發控制。如果需要對事務的完整性要求比較高（比如銀行），要求實現並發控制（比如售票），那選擇InnoDB有很大的優勢。

如果需要頻繁的更新、刪除操作的資料庫，也可以選擇InnoDB，因為支持事務的提交（commit）和回滾（rollback）。

2、MyISAM存儲引擎

MyISAM基於ISAM存儲引擎，並對其進行擴展。它是在Web、數據倉儲和其他應用環境下最常使用的存儲引擎之一。MyISAM擁有較高的插入、查詢速度，但不支持事務，不支持外鍵。

MyISAM特點： 插入數據快，空間和內存使用比較低。如果表主要是用於插入新記錄和讀出記錄，那麼選擇MyISAM能實現處理高效率。如果應用的完整性、並發性要求比較低，也可以使用

3、MEMORY存儲引擎

MEMORY存儲引擎將表中的數據存儲到內存中，為查詢和引用其他表數據提供快速訪問。

MEMORY特點： 所有的數據都在內存中，數據的處理速度快，但是安全性不高。如果需要很快的讀寫速度，對數據的安全性要求較低，可以選擇MEMOEY。

它對表的大小有要求，不能建立太大的表。所以，這類資料庫只使用在相對較小的資料庫表。

(10)分布式kv存儲引擎排名擴展閱讀：

mysql其餘不太常見的存儲引擎如下：

1、BDB： 源自Berkeley DB，事務型資料庫的另一種選擇，支持COMMIT和ROLLBACK等其他事務特性

2、Merge ：將一定數量的MyISAM表聯合而成一個整體，在超大規模數據存儲時很有用

3、Archive ：非常適合存儲大量的獨立的，作為歷史記錄的數據。因為它們不經常被讀取。Archive擁有高效的插入速度，但其對查詢的支持相對較差

4、Federated： 將不同的Mysql伺服器聯合起來，邏輯上組成一個完整的資料庫。非常適合分布式應用

5、Cluster/NDB ：高冗餘的存儲引擎，用多台數據機器聯合提供服務以提高整體性能和安全性。適合數據量大，安全和性能要求高的應用

6、CSV： 邏輯上由逗號分割數據的存儲引擎。它會在資料庫子目錄里為每個數據表創建一個.CSV文件。這是一種普通文本文件，每個數據行佔用一個文本行。CSV存儲引擎不支持索引。

7、BlackHole ：黑洞引擎，寫入的任何數據都會消失，一般用於記錄binlog做復制的中繼