伺服器搭建分布式

A. 基於mogileFS搭建分布式文件系統--海量小文件的存儲利器

1.簡介

分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點相連。分布式文件系統的設計基於客戶機/伺服器模式。一個典型的網路可能包括多個供多用戶訪問的伺服器。另外，對等特性允許一些系統扮演客戶機和伺服器的雙重角色。例如，用戶可以「發表」一個允許其他客戶機訪問的目錄，一旦被訪問，這個目錄對客戶機來說就像使用本地驅動器一樣。

當下我們處在一個互聯網飛速發展的信息 社會 ，在海量並發連接的驅動下每天所產生的數據量必然以幾何方式增長，隨著信息連接方式日益多樣化，數據存儲的結構也隨著發生了變化。在這樣的壓力下使得人們不得不重新審視大量數據的存儲所帶來的挑戰，例如：數據採集、數據存儲、數據搜索、數據共享、數據傳輸、數據分析、數據可視化等一系列問題。

傳統存儲在面對海量數據存儲表現出的力不從心已經是不爭的事實，例如：縱向擴展受陣列空間限制、橫向擴展受交換設備限制、節點受文件系統限制。

然而分布式存儲的出現在一定程度上有效的緩解了這一問題，之所以稱之為緩解是因為分布式存儲在面對海量數據存儲時也並非十全十美毫無壓力，依然存在的難點與挑戰例如：節點間通信、數據存儲、數據空間平衡、容錯、文件系統支持等一系列問題仍處在不斷摸索和完善中。

2.分布式文件系統的一些解決方案

Google Filesystem適合存儲海量大個文件，元數據存儲與內存中

HDFS（Hadoop Filesystem）GFS的山寨版，適合存儲大量大個文件

TFS（Taobao Filesystem）淘寶的文件系統，在名稱節點上將元數據存儲與關系資料庫中，文件數量不在受限於名稱節點的內容空間，可以存儲海量小文件LustreOracle開發的企業級分布式系統，較重量級MooseFS基於FUSE的格式，可以進行掛載使用MogileFS

擅長存儲海量的小數據，元數據存儲與關系型資料庫中

1.簡介

MogileFS是一個開源的分布式文件系統，用於組建分布式文件集群，由LiveJournal旗下DangaInteractive公司開發，Danga團隊開發了包括 Memcached、MogileFS、Perlbal等不錯的開源項目：(註：Perlbal是一個強大的Perl寫的反向代理伺服器)。MogileFS是一個開源的分布式文件系統。

目前使用 MogileFS 的公司非常多,比如國外的一些公司,日本前幾名的公司基本都在使用這個.

國內所知道的使用 MogileFS 的公司有圖片託管網站 yupoo又拍,digg, 土豆, 豆瓣,1 號店, 大眾點評,搜狗,安居客等等網站.基本很多網站容量，圖片都超過 30T 以上。

2.MogileFS特性

1) 應用層提供服務，不需要使用核心組件

2）無單點失敗，主要有三個組件組成，分為tracker（跟蹤節點）、mogstore（存儲節點）、database（資料庫節點）

3）自動復制文件，復制文件的最小單位不是文件，而是class

4）傳輸中立，無特殊協議，可以通過NFS或HTTP實現通信

5）簡單的命名空間：沒有目錄，直接存在與存儲空間上，通過域來實現

6）不用共享任何數據

3.MogileFS的組成

1）Tracker--跟蹤器，調度器

MogileFS的核心，是一個調度器，mogilefsd進程就是trackers進程程序,trackers的主要職責有：刪除數據、復制數據、監控、查詢等等.這個是基於事件的( event-based ) 父進程/消息匯流排來管理所有來之於客戶端應用的交互(requesting operations to be performed), 包括將請求負載平衡到多個"query workers"中,然後讓 mogilefs的子進程去處理.

mogadm,mogtool的所有操作都要跟trackers打交道,Client的一些操作也需要定義好trackers,因此最好同時運行多個trackers來做負載均衡.trackers也可以只運行在一台機器上，使用負載均衡時可以使用搞一些簡單的負載均衡解決方案，如haproxy，lvs，nginx等，

tarcker的配置文件為/etc/mogilefs/mogilefsd.conf，監聽在TCP的7001埠

2）Database--資料庫部分

主要用來存儲mogilefs的元數據，所有的元數據都存儲在資料庫中，因此，這個數據相當重要，如果資料庫掛掉，所有的數據都不能用於訪問，因此，建議應該對資料庫做高可用

3）mogstored--存儲節點

數據存儲的位置，通常是一個HTTP（webDAV）伺服器，用來做數據的創建、刪除、獲取，任何 WebDAV 伺服器都可以, 不過推薦使用 mogstored . mogilefsd可以配置到兩個機器上使用不同埠… mogstored 來進行所有的 DAV 操作和流量,IO監測, 並且你自己選擇的HTTP伺服器(默認為 perlbal)用來做 GET 操作給客戶端提供文件.

典型的應用是一個掛載點有一個大容量的SATA磁碟. 只要配置完配置文件後mogstored程序的啟動將會使本機成為一個存儲節點.當然還需要mogadm這個工具增加這台機器到Cluster中.

配置文件為/etc/mogilefs/mogstored.conf，監聽在TCP的7500埠

4.基本工作流程

應用程序請求打開一個文件 (通過RPC 通知到 tracker, 找到一個可用的機器). 做一個 「create_open」 請求.

tracker 做一些負載均衡(load balancing)處理，決定應該去哪兒，然後給應用程序一些可能用的位置。

應用程序寫到其中的一個位置去 (如果寫失敗，他會重新嘗試並寫到另外一個位置去）.

應用程序 (client) 通過」create_close」 告訴tracker文件寫到哪裡去了.

tracker 將該名稱和域命的名空間關聯 (通過資料庫來做的)

tracker, 在後台, 開始復制文件，知道他滿足該文件類別設定的復制規則

然後,應用程序通過 「get_paths」 請求 domain+key (key == 「filename」) 文件, tracker基於每一位置的I/O繁忙情況回復(在內部經過 database/memcache/etc 等的一些抉擇處理), 該文件可用的完整 URLs地址列表.

應用程序然後按順序嘗試這些URL地址. (tracker』持續監測主機和設備的狀態，因此不會返回死連接,默認情況下他對返回列表中的第一個元素做雙重檢查，除非你不要他這么做..)

1.拓撲圖

說明：1.用戶通過URL訪問前端的nginx

2.nginx根據特定的挑選演算法，挑選出後端一台tracker來響應nginx請求

3.tracker通過查找database資料庫，獲取到要訪問的URL的值，並返回給nginx

4.nginx通過返回的值及某種挑選演算法挑選一台mogstored發起請求

5.mogstored將結果返回給nginx

6.nginx構建響應報文返回給客戶端

2.ip規劃

角色運行軟體ip地址反向代理nginx192.168.1.201存儲節點與調度節點1

mogilefs192.168.1.202存儲節點與調度節點2

mogilefs192.168.1.203資料庫節點

MariaDB192.168.1.204

3.資料庫的安裝操作並為授權

關於資料庫的編譯安裝，請參照本人相關博文http://wangfeng7399.blog.51cto.com/3518031/1393146，本處將不再累贅，本處使用的為yum源的安裝方式安裝mysql

4.安裝mogilefs. 安裝mogilefs，可以使用yum安裝，也可以使用編譯安裝，本處通過yum安裝

5.初始化資料庫

可以看到在資料庫中創建了一些表

6.修改配置文件，啟動服務

7.配置mogilefs

添加存儲主機

添加存儲設備

添加域

添加class

8.配置192.168.1.203的mogilefs 。切記不要初始化資料庫，配置應該與192.168.1.202一樣

9.嘗試上傳數據，獲取數據，客戶端讀取數據

上傳數據，在任何一個節點上傳都可以

獲取數據

客戶端查看數據

我們可以通過任何一個節點查看到數據

要想nginx能夠實現對後端trucker的反向代理，必須結合第三方模塊來實現

1.編譯安裝nginx

2.准備啟動腳本

3.nginx與mofilefs互聯

查看效果

5.配置後端truckers的集群

查看效果

大功告成了，後續思路，前段的nginx和資料庫都存在單點故障，可以實現高可用集群

B. hadoop分布式部署（轉載）--賊靠譜

原文地址：https://blog.csdn.net/sjmz30071360/article/details/79889055

1. 集群搭建形式

Hadoop環境搭建分為三種形式：單機模式、偽分布式模式、完全分布模式

單機模式—— 在一台單機上運行，沒有分布式文件系統，而是直接讀寫本地操作系統的文件系統。

偽分布式—— 也是在一台單機上運行，但不同的是java進程模仿分布式運行中的各類節點。即一台機器上，既當NameNode，又當DataNode，或者說既是JobTracker又是TaskTracker。沒有所謂的在多台機器上進行真正的分布式計算，故稱為「偽分布式」。

完全分布式—— 真正的分布式，由3個及以上的實體機或者虛擬機組成的機群。一個Hadoop集群環境中，NameNode，SecondaryName和DataNode是需要分配在不同的節點上，也就需要三台伺服器。

前兩種模式一般用在開發或測試環境下，生產環境下都是搭建完全分布式模式。

從分布式存儲的角度來說，集群中的節點由一個NameNode和若干個DataNode組成，另有一個SecondaryNameNode作為NameNode的備份。

從分布式應用的角度來說，集群中的節點由一個JobTracker和若干個TaskTracker組成。JobTracker負責任務的調度，TaskTracker負責並行執行任務。TaskTracker必須運行在DataNode上，這樣便於數據的本地計算。JobTracker和NameNode則無須在同一台機器上。

2. 環境

    操作系統：CentOS7（紅帽開源版）

    機器：虛擬機3台，（master 192.168.0.104, slave1 192.168.0.102, slave2 192.168.0.101）

    JDK：1.8（jdk-8u162-linux-x64.tar）

    Hadoop：2.9.0（http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz）

3. 搭建步驟

3.1 每台機器安裝&配置JDK（1台做好後，克隆出其它機器）

1) 創建目錄 mkdir /usr/java

2) 上傳jdk安裝包到 /usr/java/

3) 解壓 tar -xvf jdk-8u162-linux-x64.tar

4) 追加環境變數 vi /etc/profile

5) 使環境變數生效 source /etc/profile

6) 檢測jdk正確安裝 java -version

3.2 修改每台機器主機名(hostname)

hostnamectl set-hostname master  （立即生效）

hostnamectl set-hostname slave1    （立即生效）

hostnamectl set-hostname slave2    （立即生效）

確認修改

3.3 修改每台機器/etc/hosts文件

vi /etc/hosts

修改其中1台，然後scp到其它機器

scp 文件名 遠程主機用戶名@遠程主機名或ip:存放路徑

scp hosts [email protected]:/etc/

scp hosts [email protected]:/etc/

修改完之後，互ping其它機器，能互ping則說明修改OK

ping -c 3 slave1 （※ 3表示發送 3 個數據包）

3.4 配置ssh，實現無密碼登錄

無密碼登錄，效果也就是在master上，通過ssh slave1或者ssh slave2就可以登錄對方機器，而不用輸入密碼。

1） 每台機器執行ssh-keygen -t rsa，接下來一路回車即可

執行ssh-keygen -t rsa主要是生成 密鑰 和 密鑰的存放路徑

我們用的root用戶，公鑰私鑰都會保存在~/.ssh下

2） 在master上將公鑰放到authorized_keys里，命令：cat id_rsa.pub > authorized_keys

3） 將master上的authorized_keys放到其它機器上

scp authorized_keys root@slave1:~/.ssh/

scp authorized_keys root@slave2:~/.ssh/

4） 測試是否成功

3.5 上傳&配置hadoop（配置完master後，將/usr/hadoop/整個目錄內容到其它機器）

1） 創建目錄 mkdir /usr/hadoop

2） 上傳hadoop安裝包hadoop-2.9.0.tar.gz到 /usr/hadoop/

3） 解壓 tar -xvf hadoop-2.9.0.tar.gz

4） 追加環境變數 vi /etc/profile（其它機器也要相應配置一次hadoop環境變數）

5） 使環境變數生效 source /etc/profile

6） 確認環境變數配置OK

7） 創建HDFS存儲目錄

cd /usr/hadoop

mkdir hdfs

cd hdfs

mkdir name data tmp

/usr/hadoop/hdfs/name    --存儲namenode文件

/usr/hadoop/hdfs/data      --存儲數據

/usr/hadoop/hdfs/tmp      --存儲臨時文件

8） 修改/usr/hadoop/hadoop-2.9.0/etc/hadoop/hadoop-env.sh文件，設置JAVA_HOME為實際路徑

否則啟動集群時，會提示路徑找不到

9） 修改/usr/hadoop/hadoop-2.9.0/etc/hadoop/yarn-env.sh文件，設置JAVA_HOME為實際路徑

10） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/core-site.xml

增加hadoop.tmp.dir 和 fs.default.name

11） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/hdfs-site.xml

dfs.replication：默認值3

dfs.permissions：默認值為true，設置為true有時候會遇到數據因為許可權訪問不了；設置為false可以不要檢查許可權就生成dfs上的文件

12） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/mapred-site.xml

cd /usr/hadoop/hadoop-2.9.0/etc/hadoop

cp mapred-site.xml.template mapred-site.xml

maprece.framework.name：指定maprece運行在yarn平台，默認為local

13） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/yarn-site.xml

yarn.resourcemanager.hostname：指定yarn的resourcemanager的地址

yarn.nodemanager.aux-services：recer獲取數據的方式

yarn.nodemanager.vmem-check-enabled：意思是忽略虛擬內存的檢查，如果安裝在虛擬機上，這個配置很有用，配上去之後後續操作不容易出問題。如果是在實體機上，並且內存夠多，可以將這個配置去掉

14） 配置/usr/hadoop/hadoop-2.9.0/etc/hadoop/slaves文件，將裡面的localhost刪除，配置後內容如下：

15） 整個/usr/hadoop/目錄到其它機器

scp -r hadoop root@slave1:/usr/

scp -r hadoop root@slave2:/usr/

3.6 啟動Hadoop

1） 啟動之前需要格式化一下。因為master是namenode，slave1和slave2都是datanode，所以在master上運行

hadoop namenode -format

格式化成功後，可以看到在/usr/hadoop/hdfs/name目錄下多了一個current目錄，而且該目錄下有一系列文件，如下：

2） 執行啟動（namenode只能在master上啟動，因為配置在master上；datanode每個節點上都可以啟動）

執行 start-all.sh

master上執行jps，會看到NameNode, SecondaryNameNode, ResourceManager

其它節點上執行jps，會看到DataNode, NodeManager

3） 在wins上打開網頁，查看HDFS管理頁面 http://192.168.0.104:50070查看，提示無法訪問

在master上，執行以下命令關閉防火牆，即可訪問（為了能夠正常訪問node節點，最好把其它機器的防火牆也stop了）

systemctl stop firewalld.service

HDFS管理首頁

HDFS Datenodes頁

訪問Yarn管理頁： http://192.168.0.104:8088

4）通過主機名也可以訪問的設置

win7為例，需要將以下信息追加到C:\Windows\System32\drivers\etc\hosts文件中

192.168.0.104 master

192.168.0.102 slave1

192.168.0.101 slave2

Over！！！搭建成功！！！

4. 運行實例

cd /usr/hadoop/hadoop-2.9.0/share/hadoop/maprece

hadoop jar hadoop-maprece-examples-2.9.0.jar pi 5 10

。。。。。。

=====================================================

如果不關防火牆，子節點可能出現，輸入jps後只有jps一個進程，或者是缺進程的情況，關閉防火牆就好了。

C. 入門、快速搭建Docker分布式項目環境

1.什麼是Docker

借用下網上傳統虛擬機與Docker的對比圖片。

傳統虛擬化應用程序中，不僅包含應用程序和必要的二進制文件庫，還包含一個完整的操作系統。

而Docker容器僅包含應用程序和相關依賴項，在主機的操作系統用戶空間中作為一個獨立進程運行，與其他容器共享內核，從而實現了虛擬機的資源隔離和分配，具有更高的可移植性和效率提高。

2.為什麼使用Docker

1.更快速的交付和部署

開發者可以使用一個標準的鏡像來構建一套開發容器，開發完成之後，運維人員可以直接 使用這個容器來部署代碼。

2.高效部署和擴容

Docker 容器幾乎可以在任意的平台上運行，包括物理機、虛擬機、公有雲、私有雲、個人電腦、伺服器等。

3.更高的資源利用率

Docker 對系統資源的利用率很高，一台主機上可以同時運行數千個 Docker 容器。容器除了運行其中應用外，基本不消耗額外的系統資源，使得應用的性能很高，同時系統的開銷盡量小。傳統虛擬機方式運行 10 個不同的應用就要起 10 個虛擬機，而Docker 只需要啟動 10 個隔離的應用即可。

4.更簡單的管理

使用 Docker，只需要小小的修改，就可以替代以往大量的更新工作。所有的修改都以增量的方式被分發和更新，從而實現自動化並且高效的管理。

3.Docker的工作原理和概念

自己製作鏡像然後上傳倉庫或使用倉庫已有的鏡像文件拉取到容器中部署。

為了方便Docker的說明，本次例子使用虛擬機安裝CentOS 7來演示。CentOS 7的安裝請等查看下篇文章或自行網路。

1.安裝之前的准備工作

按照順序，執行如下操作

1、安裝必要的一些系統工具

2、添加軟體源信息

3、更新並安裝Docker-CE

安裝准備工作

2.開啟Docker服務

運行docker version 如果出現以下情況，說明當前用戶沒有 root相關操作許可權

無root許可權

解決思路

先查看有多少鏡像

運行docker run hello-world 測試命令，如果出現下方紅框內消息，證明安裝成功

3.查看docker基本信息和版本

1.構建Nginx基礎鏡像

查詢nginx鏡像

鏡像拉取

查看對外的訪問路徑

怎麼才能訪問剛才啟用的nginx

nginx頁面內容

我們可以進入容器，看下這個容器是什麼樣子

查看nginx在哪個位置

我們發現盡管啟動了nginx，但是在外部還是不能訪問，這是因為docker具有隔離機制，要不然怎麼叫做容器化部署呢

Docker內nginx埠

對Nginx進行外網埠映射；

2.構建Tomcat基礎鏡像

打開容器後，默認安裝目錄在 /usr/local/

3.創建自己的專屬鏡像

用Dockerfile來製作鏡像

創建一個新的鏡像，並起名字為nywlw

查看新的鏡像

運行自己創建的容器

4.刪除容器實例

5.刪除鏡像

每天發布更多新鮮有含量的技術文章、總有一款適合你。

D. 怎麼搭建分布式伺服器

如何搭建分布式網站伺服器，比如我有3台伺服器ABC，需要搭建分布式服務。也就需要建立IIS 還由DNS WIN 伺服器的 還有更改主機名 很麻煩的,這個需要專業的IT人員來操作的。

以下資料作為參考：
DNS輪循
首先介紹一個DNS系統:傳統的DNS解析都是一個域名對應一個IP地址,但是通過DNS輪循技術(負載平衡技術)可以做到一個域名對應到多個IP 上. 這樣大家難免就會問,這個技術有什麼用呢?

DNS輪循是指將相同的域名解釋到不同的IP，隨機使用其中某台主機的技術,該項技術可以智能的調整網站的訪問量到不同伺服器上，減輕網站伺服器的壓力，實現負載勻衡;如果您感覺到單一的主機已經不堪負載你網站日益增長的訪問，那麼建議您採用我們的DNS輪循技術。

DNS輪循系統可以根據您的需求設置N台主機作為WEB伺服器。目前已有越來多大型的WEB伺服器使用DNS輪循來實現負載均衡，服務的分布規劃更便捷，擴展性更好，從而提高了網站的穩定性和訪問效率，那些大量數據文件請求的客戶也得到了更快的響應。

DNS輪循還將給您的網站提供這樣的改進，諸如您的網站的數據使用量一直處於不斷的增長當中，當達到伺服器資源運行瓶頸的情況
下，由於採用了DNS輪循技術，您只需要增加伺服器數量就可以平滑升級，而且偶然故障或其他意外情況造成的損失得以避免，7×24小時可靠性的持續的運行
成為可能。

如果您真的希望自己的網站能夠一直穩定的在線運行，盡量的減少宕機的比率，那麼除了採用比較好的網站空間技術支持之外，還可以採用時代互聯域名的DNS輪循功能來實現網站的永久在線負載平衡
負載均衡是由多台伺服器以對稱的方式組成一個伺服器集合，每台伺服器都具有等價的地位，都可以單獨對外提供服務而無須其
他伺服器的輔助。通過某種負載分擔技術，將外部發送來的請求均勻分配到對稱結構中的某一台伺服器上，而接收到請求的伺服器獨立地回應客戶的請求。均衡負載
能夠平均分配客戶請求到伺服器列陣，籍此提供快速獲取重要數據，解決大量並發訪問服務問題。這種群集技術可以用最少的投資獲得接近於大型主機的性能。

網路負載均衡的優點

第一，網路負載均衡能將傳入的請求傳播到多達32台伺服器上，即可以使用最多32台伺服器共同分擔對外的網路請求服務。網路負載均衡技術保證即使是在負載很重的情況下，伺服器也能做出快速響應;

第二，網路負載均衡對外只需提供一個IP地址(或域名);

第三，當網路負載均衡中的一台或幾台伺服器不可用時，服務不會中斷。網路負載均衡自動檢測到伺服器不可用時，能夠迅速在剩餘的
伺服器中重新指派客戶機通訊。這項保護措施能夠幫助你為關鍵的業務程序提供不中斷的服務，並可以根據網路訪問量的增加來相應地增加網路負載均衡伺服器的數
量;

第四，網路負載均衡可在普通的計算機上實現。

網路負載均衡的實現過程

在Windows Server 2003中，網路負載均衡的應用程序包括Internet信息服務(IIS)、ISA
Server 2000防火牆與代理伺服器、VPN虛擬專用網、終端伺服器、Windows Media
Services(Windows視頻點播、視頻廣播)等服務。同時，網路負載均衡有助於改善伺服器的性能和可伸縮性，以滿足不斷增長的基於
Internet客戶端的需求。

網路負載均衡可以讓客戶端用一個邏輯Internet名稱和虛擬IP地址(又稱群集IP地址)訪問群集，同時保留每台計算機各自的名稱。下面，我們將在兩台安裝Windows Server 2003的普通計算機上，介紹網路負載均衡的實現及應用。

這兩台計算機中，一台計算機名稱為A，IP地址為192.168.0.7;另一台名為B，IP地址為192.168.0.8。
規劃網路負載均衡專用虛擬IP地址為192.168.0.9。當正式應用時，客戶機只需要使用IP地址192.168.0.9來訪問伺服器，網路服務均衡
會根據每台伺服器的負載情況自動選擇192.168.0.7或者192.168.0.8對外提供服務。具體實現過程如下：

在實現網路負載均衡的每一台計算機上，只能安裝TCP/IP協議，不要安裝任何其他的協議(如IPX協議或者NetBEUI協議)，這可以從「網路連接屬性」中查看。

第一步，分別以管理員身份登錄A機和B機，打開兩台機的「本地連接」屬性界面，勾選「此連接使用下列項目」中的「負載均衡」項並進入「屬性」對話框，將IP地址都設為192.168.0.9(即負載均衡專用IP)，將子網掩碼設置為255.255.255.0;

第二步，分別進入A機和B機的「Internet協議(TCP/IP)」屬性設置界面，點擊「高級」按鈕後，在彈出的「高級TCP/IP設置」界面中添加IP地址192.168.0.9和子網掩碼設置為255.255.255.0。

第三步，退出兩台計算機的「本地連接屬性」窗口，耐心等一會兒讓系統完成設置。
以後，如果這兩台伺服器不能滿足需求，可以按以上步驟添加第三台、第四台計算機到網路負載均衡系統中以滿足要求。

E. 如何用SQLServer建立分布式資料庫

很多組織機構慢慢的在不同的伺服器和地點部署SQLServer資料庫——為各種應用和目的——開始考慮通過SQLServer集群的方式來合並。

將SQLServer實例和資料庫合並到一個中心的地點可以減低成本，尤其是維護和軟硬體許可證。此外，在合並之後，可以減低所需機器的數量，這些機器就可以用於備用。

當尋找一個備用，比如高可用性的環境，企橡納業常常決定部署Microsoft的集群架構。我常常被問到小的集群(由較少的節點組成)SQLServer實例和作為中心解決方案的大的集群哪一種更好。在我們比較了這兩個集群架構之後，我讓你們自己做決定。

什麼是Microsoft集群伺服器

MSCS是一個WindowsServer企業版中的內建功能。這個軟體支持兩個或者更多伺服器節點連接起來形成一個「集群」，來獲得更高的可用性和對數據和應用更簡便的管理。MSCS可以自動的檢查到伺服器或者應用的失效，並從中恢復。你也可以使用它來(手動)移動伺服器之間的負載來平衡利用率以及無需停機時間來調度計劃中的維護任務。

這種集群設計使用軟體「心跳」來檢測應用或者伺服器的失效。在伺服器失效的事件中，它會自動將資源(比如磁碟和IP地址)的所有權從失效的伺服器轉移到活動的伺服器。注意還有方法可以保持心跳連接的更高的可用性，比如站點全面失效的情況下。

MSCS不要求在客戶計算機上安裝任何特殊軟體，因此用戶在災難恢復的經歷依賴於客戶-伺服器應用中客戶一方的本質。客戶的重新連接常常是透明的，因為MSCS在相同的IP地址上重啟應用、文件共享等等。進一步，為了災難恢復，集群的節點可以處於分離的、遙遠的地點。

在集群伺服器上的SQLServer

SQLServer2000可以配置為最多4個節點的集群，而SQLServer2005可以配置為最多8個節點的集群。當一個SQLServer實例被配置為集群之後，它的磁碟資源、IP地址和服務就形成了集群組來實現災難恢復。

SQLServer2000允許在一個集群上安裝16個實例。根據在線幫助，「SQLServer2005在一個伺服器或者處理器上可以支持最多50個SQLServer實例，」但是，「只能使用25個硬碟驅動器符，因此如果你需要更多的實例，那麼需要預先規劃。」

注意SQLServer實例的災難恢復階段是指SQLServer服務開始所需要的時間，這可能從幾秒鍾到幾分鍾。如果你需要更高的可用性，考慮使用其神拆他的方法，比如logshipping和資料庫鏡像。

單個的大的SQLServer集群還是小的集群

下面是大的、由更多的節點組成的集群的優點：

◆更高的可用新(更多的節點來災難恢復)。

◆更多的負載游如棗均衡選擇(更多的節點)。

◆更低廉的維護成本。

◆增長的敏捷性。多達4個或者8個節點，依賴於SQL版本。

◆增強的管理性和簡化環境(需要管理的少了)。

◆更少的停機時間(災難恢復更多的選擇)。

◆災難恢復性能不受集群中的節點數目影響。

下面是單個大的集群的缺點：

◆集群節點數目有限(如果需要第9個節點怎麼辦)。

◆在集群中SQL實例數目有限。

◆沒有對失效的防護——如果磁碟陣列失效了，就不會發生災難恢復。

◆使用災難恢復集群，無法在資料庫級別或者資料庫對象級別，比如表，創建災難恢復集群。

虛擬化和集群

虛擬機也可以參與到集群中，虛擬和物理機器可以集群在一起，不會發生問題。SQLServer實例可以在虛擬機上，但是性能可能會受用影響，這依賴於實例所消耗的資源。在虛擬機上安裝SQLServer實例之前，你需要進行壓力測試來驗證它是否可以承受必要的負載。

在這種靈活的架構中，如果虛擬機和物理機器集群在一起，你可以在虛擬機和物理機器之間對SQLServer進行負載均衡。比如，使用虛擬機上的SQLServer實例開發應用。然後在你需要對開發實例進行壓力測試的時候，將它災難恢復到集群中更強的物理機器上。

集群伺服器可以用於SQLServer的高可用性、災難恢復、可擴展性和負載均衡。單個更大的、由更多的節點組成的集群往往比小的、只有少數節點的集群更好。大個集群允許更靈活環境，為了負載均衡和維護，實例可以從一個節點移動到另外的節點。

F. 什麼是伺服器分布式部署

1、什麼是數據中心分布式部署

數據中心分布式部署，邊緣數據中心是基礎，是CDN的更下一層，服務對象是IDC及CDN需求的客戶。對於流量大的客戶，可多點分布，就近部署。

2、分布式部署的好處

A:在全國沒有任何一個數據中心可以覆蓋全國的每個角落，數據中心集中在一個點不能更好的服務全國各區域。分布式部署相當於在歐洲很多個國家之間的互聯網關系。二三線城市就近布點，三級城市網路品質提升。針對網游、網路視頻、網路下載等全國分布節點需求較高的客戶，選擇分布式節點託管在降低成本的同時還更好的保障了二、三級城市業務的網路運營品質，提升用戶體驗。
B:二三級城市較低的資源成本直接降低了客戶網路資源投入。在良好品質保障的情況下，以更低價格購入，實現良好性價比。

G. 如何搭建大型網站系統

程序員們都希望能通過自己的努力學習，技術提升，拿到更好的收入，技術提升和高收入雖然不是輕易就能實現的，但總是有章可循。

一個成熟的大型網站（如淘寶、京東等）的系統架構並不是開始設計就具備完整的高性能、高可用、安全等特性，它總是隨著用戶量的增加，業務功能的擴展逐漸演變完善的，在這個過程中，開發模式、技術架構、設計思想也發生了很大的變化，就連技術人員也從幾個人發展到一個部門甚至一條產品線。所以成熟的系統架構是隨業務擴展而完善出來的，並不是一蹴而就；不同業務特徵的系統，會有各自的側重點，例如淘寶，要解決海量的商品信息的搜索、下單、支付，例如騰訊，要解決數億的用戶實時消息傳輸，網路它要處理海量的搜索請求，他們都有各自的業務特性，系統架構也有所不同。盡管如此我們也可以從這些不同的網站背景下，找出其中共用的技術，這些技術和手段可以廣泛運行在大型網站系統的架構中，下面就通過介紹大型網站系統的演化過程，來認識這些技術和手段。

一、最開始的網站架構

最初的架構，應散基用程序、資料庫、文件都部署在一台伺服器上，如圖：

二、應用、數據、文件分離

隨著業務的擴展，一台伺服器已經不能滿足性能需求，故將應用程序、資料庫、文件各自部署在獨立的伺服器上，並且根據伺服器的用途配置不同的硬體，達到最佳的性能效果。

三、利用緩存改善網站性能

在硬體優化性能的同時，同時也通過軟體進行性能優化，在大部分的網站系統中，都會利用緩存技術改善系統的性能，使用緩存主要源於熱點數據的存在，大部分網站訪問都遵循28原則（即80%的訪問請求，最終落在20%的數據上），所以我們可以對熱點數據進行緩存，減少這些數據的訪問路徑，提高用戶體驗。

緩存實現常見的方式是本地緩存、分布式緩存。當然還有CDN、反向代理等，這個後面再講。本地緩存，顧名思義是將數據緩存在應用伺服器本地，可以存在內存中，也可以存在文件，OSCache就是常用的本地緩存組件。本地緩存的特點是速度快，但沖薯謹因為本地空間有限所以緩存數據量也有限。分布式緩存的特點是，可以緩存海量的數據，並且擴展非常容易，在門戶類網站中常常被使用，速度按理沒有本地緩存快，常用的分布式緩存是Memcached、Redis。

四、使用集群改善應用伺服器性能

應用伺服器作為網站的入口，會承擔大量的請求，我們往往通過應用伺服器集群來分擔請求數。應用伺服器前面部署負載均衡伺服器調度用戶請求，根據分發策略將請求分發到多個應用伺服器節點。

常用的負載均衡技術硬體的有F5，價格比較貴，軟體的有LVS、Nginx、HAProxy。LVS是四層負載均衡，根據目標地址和埠選擇內部伺服器，Nginx是七層負載均衡和HAProxy支持四層、七層負載均衡，可以根據報文內容選擇內部伺服器，因此LVS分發路徑優於Nginx和HAProxy，性能要高些，而Nginx和HAProxy則更具配置性，如可以用來做動靜分離（根據請求報文特徵，選擇靜態資源伺服器還是應用伺服器）。

五、資料庫讀寫分離和分庫分表

隨著用戶量的增加，資料庫成為最大的瓶頸，改善資料庫性能常用的手段是進行讀寫分離以及分表，讀寫分離顧名思義就是將資料庫分為讀庫和寫庫，通過主備功能實現數據同步。分庫分表則分為水平切分和垂直切分，水平切換則是對一個資料庫特大的表進行拆分，例如用戶表。垂直切分則是根據業務不同來切換，如用戶業務、商品業務相關的表放在不同的資料庫中。

六、使用CDN和反向代理提高網站性能

假如我們的伺服器都部署在成都的機房，對於四川的用戶來說訪問是較快的，而對於北京的用戶訪問是較慢的，這是由於四川和北京分別屬於電信和聯通的不同發達地區，北京用戶訪問需要通過互聯路由器經過較長的路徑才能訪問到成都的伺服器，返迴路徑也一樣，所以數據傳輸時間比較長。對於這種情況，常常使用CDN解決，CDN將數據內容緩存到運營商的機房，用戶訪問時先從最近的運營商獲取數據，這樣大大減少了網路訪問的路徑。比較專業的CDN運營商有藍汛、網宿。

而反向代理，則是部署在網站的機房，當用戶請求達到時首先訪問反向代理伺服器，反向代理伺服器將緩存的數據返回給用戶，如果沒有沒有緩手冊存數據才會繼續走應用伺服器獲取，也減少了獲取數據的成本。反向代理有Squid，Nginx。

七、使用分布式文件系統

用戶一天天增加，業務量越來越大，產生的文件越來越多，單台的文件伺服器已經不能滿足需求。需要分布式的文件系統支撐。常用的分布式文件系統有NFS。

八、使用NoSql和搜索引擎

對於海量數據的查詢，我們使用nosql資料庫加上搜索引擎可以達到更好的性能。並不是所有的數據都要放在關系型數據中。常用的NOSQL有mongodb和redis，搜索引擎有lucene。

九、將應用伺服器進行業務拆分

隨著業務進一步擴展，應用程序變得非常臃腫，這時我們需要將應用程序進行業務拆分，如網路分為新聞、網頁、圖片等業務。每個業務應用負責相對獨立的業務運作。業務之間通過消息進行通信或者同享資料庫來實現。

十、搭建分布式服務

這時我們發現各個業務應用都會使用到一些基本的業務服務，例如用戶服務、訂單服務、支付服務、安全服務，這些服務是支撐各業務應用的基本要素。我們將這些服務抽取出來利用分部式服務框架搭建分布式服務。淘寶的Dubbo是一個不錯的選擇。

大型網站的架構是根據業務需求不斷完善的，根據不同的業務特徵會做特定的設計和考慮，本文只是講述一個常規大型網站會涉及的一些技術和手段。

如果你還有這些疑問，成熟的網站架構師需要學什麼核心技能？Java程序員如何晉升為互聯網架構師？Java語言在架構搭建中扮演什麼角色？怎樣成為年收入幾十萬的架構師？歡迎來電來訪昌平北大青鳥java培訓。