資料庫集群搭建

1. 如何正確配置基於 oracle 資料庫的 wps v6.12 集群應用系統

本文描述了遠程消息傳遞和遠程支持集群環境的搭建配置過程。這個集群環境由三個集群組成，具體的拓撲結構是：
應用程序集群，不但為應用程序提供工作負載管理以及URL和EJB 請求故障轉移功能，而且還部署了BPC和HTM 容器，提供了對長業務流程和人工業務流程的應用程序的支持。
遠程消息集群，運行WPS默認提供的四個匯流排（SCA應用，SCA系統，BPC和CEI）提供獨立的高效的消息引擎。
遠程支持集群，部署通用事件體系結構和業務規則管理等其他應用程序，提供非同步的事件查詢。
這三個集群配置在兩台機器的不同的節點上，即三個集群的成員水平部署在兩台機器上。在一個集群中的兩個成員是該集群中完全相同的副本。消息傳遞引擎、業務支持和業務流程應用程序分別位於不同的集群上，所以可以根據實際業務負載和硬體環境，靈活調配所需的資源。這種模式，也稱為黃金拓撲，是 WPS 中最復雜的拓撲結構，是大多數企業集成應用用戶的首選，具有如下優點：

可靠性。將所有的應用、消息引擎和通用事件部署在三個集群上面，方便管理和使用。
可擴展性。因為系統中的消息引擎處於的關鍵地位，可能存在之後的訪問需求增長等擴展需要，單獨創建消息引擎集群可以很方便實行這一點。
對於系統運行時可能遇到的處理量非常大和可伸縮性等問題，通過將通用事件基礎架構（CEI）和應用程序分離，可以確保這兩個組件不會爭用相同的資源（內存和CPU）。此拓撲還能幫助創建集中的事件伺服器以處理來自多個源的事件。
所有的應用伺服器由 Deployment Manager 統一管理，降低了系統管理的復雜度。
安裝前的注意事項
在集群環境的安裝過程中，需要同步兩台主機的信息，確保它們之間能夠良好的通信。主要同步的信息包括兩台主機的系統時間、時區設置，並確保兩台機器的時間差在5分鍾之內，如果時間差超過5分鍾，聯合操作將失敗。
更新兩台主機的hosts 文件（默認目錄為/etc/hosts ），確保每台機器均包含對方的host name 和對應的IP 地址，以便主機間的相互訪問。
在使用向導安裝和配置概要時，請按照從上到下的順序輸入配置參數，對於WPS V6.12 ，輸入順序的改變有可能導致未知錯誤。
集群環境的搭建步驟
Informix 資料庫規劃
WPS的集群環境需要後台資料庫的支持。為了提高集群在實際運行中的效率，建議根據功能的不同，創建不同的資料庫。資料庫的詳細信息如下表所示：

資料庫名稱 說明
WPRCSDB 公共資料庫
EVENT 通用事件體系結構資料庫
CEIDB 通用事件體系結構消息傳遞引擎資料庫
SCASYSDB 服務組件系統消息傳遞引擎資料庫
SCAAPPDB 服務組件應用程序消息傳遞引擎資料庫
BPCDB 業務流程編排器資料庫
BPCME 業務流程編排器消息傳遞引擎資料庫
OBSVRDB 業務流程編排器事件收集器資料庫

注意：本文選擇英文語言的資料庫安裝。如果要安裝中文語言的資料庫，請參考本文的：在數據源定製屬性中添加資料庫語言。

安裝WPS的步驟
首先使用圖形化安裝向導在兩台主機上分別安裝WPS v6.1.2 產品，。在安裝產品和搭建集群過程中，步驟如下：
1.選擇「Typical installation」安裝類型。典型安裝也稱為完全安裝，提供了環境的初始化定義，包括通過概要管理工具創建特定了類型的概要文件。
圖2 選擇安裝類型

2.在選擇概要類型界面提供了四種可選擇的概要類型（圖3）。我們選擇「None」，即不創建任何類型的概要，以便在以後的步驟中手動創建概要。
使用Profile Management Tool（PMT） 創建Deployment Manager 概要

Deployment Manager（DM）是管理控制節點，它對集群環境下的所有節點提供了圖形化的管理功能。一個集群環境中一般只需要一個管理概要。下面我們將向您講述創建DM 概要的主要步驟：
1. 在<WPS_HOME>/bin/ProfileManagement/ 下執行命令pmt.sh ，彈出安裝界面。在各種類型的環境選項中選擇 WPS，進入下一步。
2. 在概要類型中提供了三種典型的概要類型，選擇 Deployment manager profile，搭建DM 概要。
3. 在創建方式界面中，默認選項為創建典型的概要文件，在此需要選擇 Advanced profile creation，以便我們在後續步驟中通過管理控制台手動進行集群配置，以滿足特定環境的需求。
4. 填寫要創建的Deployment manager profile的名稱和安裝目錄。
5. 填寫概要的Node Name和Cell name ，指定 Host Name。
6. 在管理安全選項中，如果選中 Enable administrative security 選項，請記住 WPS v 6.1.2
用戶名稱和密碼。這里建議取消 Enable administrative security 選項，不設置安全管理。在後續步驟中可以根據需要手動啟動安全管理選項，設定用戶名密碼。
7. 配置伺服器的埠。
8. 進行資料庫的配置。首先從 Choose a database proct 選擇 Informix Dynamic Server 作為公共資料庫類型，並選擇 Use an existing database。另外，需要指定 Database name，本例中使用先前創建的資料庫 WPRCSDB。不選擇「Deplay execution of database scripts for new or existing database」選項，因為概要文件的安裝過程中會自動創建資料庫 WPRCSDB 中的表。注意：如果創建的資料庫為中文字元集，則需要選擇 「Deplay execution of database scripts for new or existing database「選項，在概要創建完成後，手動執行創建資料庫表（請參考本節內容中的步驟 11）。

9. 在資料庫配置的第2步，需要對 Common DB 參數進行配置。如果是遠程資料庫，則在填寫 Database server host name時，要確保遠程資料庫的host name 已經添加到本地主機（參考本文的第三部分內容「安裝前的注意事項」）；也可以直接在該項填寫遠程資料庫的IP 地址。換句話說，在點擊下一步之前，請確認資料庫的參數信息，否則將在點擊下一步後，會收到不能連接資料庫的錯誤提示。
10. 完成以上步驟後，系統會顯示概要的創建信息。如果發現參數需要調整可以後退向導重新進行輸入。DM 創建成功後，可取消選擇 Launch the First steps console和Create another profile，點擊完成。至此，Deployment Manager 創建完成。如果創建DM 失敗，請查看 <WPS_HOME>/logs/manageprofile 目錄下的日誌文件進行分析。

11. 另外，如果需要手工創建Common DB(WPRCSDB) 相關的表，可執行DM 概要創建生成的資料庫腳本，默認目錄為：
<WPS_HOME>/profiles/Dmgr01/dbscripts/CommonDB/Informix/WPRCSDB 。
請將這些腳本復制到 Informix 資料庫所在機器，並設置如下環境變數：
INFORMIXSERVER=<IFX_INSTANCENAME>
INFORMIXDIR=<IFX_INSTALL_HOME>
之後執行如下命令：
dbaccess – createDatabase_CommonDB.sql
如果WPRCSDB已經創建，可以忽略。
dbaccess WPRCSDB createTable_AppScheler.sql
dbaccess WPRCSDB createTable_CommonDB.sql
dbaccess WPRCSDB createTable_customization.sql
dbaccess WPRCSDB createTable_lockmanager.sql
dbaccess WPRCSDB createTable_mediation.sql
dbaccess WPRCSDB createTable_Recovery.sql
dbaccess WPRCSDB createTable_RelationshipMetadataTable.sql
dbaccess WPRCSDB createTable_EsbLoggerMediation.sql
dbaccess WPRCSDB insertTable_CommonDB.sql
使用PMT 創建自定義概要
接下來，我們手動進行自定義概要的創建。這樣，能夠在創建概要過程中，根據客戶特定的使用需求和環境特點，選擇適合於自己的資料庫，並進行埠、用戶名、密碼等信息的設置。
在創建自定義概要（Custom profile）之前啟動 DeploymentManager（DM）概要，在目錄<WPS_HOME>/profiles/Dmgr01/bin 下，運行startManager.sh 命令。節點概要的創建與 DM 概要的創建類似，在目錄<WPS_HOME>/bin/ProfileManagment 下執行命令pmt.sh，隨即獲得安裝界面，主要步驟如下。
1．選擇 Create 即創建一個新的概要文件。
2．在環境選項中，選擇 WPS，進入下一步。
3．在創建概要的類型中，選擇 Custom Profile，創建一個自定義節點概要。
4．在安裝類型選項中，選擇 Advanced profile creation，以便在後續步驟中通過手動配置相關參數，定製特定的節點概要。

5．輸入節點所對應的DM 概要的主機名稱和埠，默認埠為8879。如果在創建DM時啟動了管理安全性，則需要輸入用戶名和密碼。Federate this node later 選項的選擇取決於是否要在創建節點的同時將其聯合到指定的DM 概要中。這里，我們不選擇該選項，節點會自動與 DM 概要聯合，需要注意的是，要確保 DM 概要此時為啟動狀態。
若選擇創建節點之後手動聯合到 DM 概要中，則需要在創建節點完成後使用<WPS_HOME>/Custom01/bin 目錄下的addNode.sh 命令進行節點與 DM的手動聯合，具體命令如下：
addNode.sh dmgr_hostname<–username username –password password>
6．輸入DM的信息後，進入埠設置頁面，可以自行修改埠號。

7．在資料庫選項中選擇 Informix Dynamic Server 作為資料庫類型，並為Informix JDBC driver 指定正確的路徑。該路徑指向節點所在的本地機器上 ifxjdbc.jar和ifxjdbcx.jar的存儲位置。
8．瀏覽匯總信息無誤後，點擊 Create 開始創建自定義概要。

9．創建成功後，重復以上步驟為另一台機器創建自定義概要。
命令行方式創建Deployment Manager 實例和託管節點實例
創建DM profile 和Custom profile時，除了使用pmt.sh 命令外，還可以選擇命令行方式，即執行<WPS_HOME> /bin/manageprofiles.sh 命令創建概要。創建Deployment manager 概要的命令和腳本如下：
./manageprofiles.sh –create -dbServerPort 8002
–templatePath <WPS_HOME>/profileTemplates/dmgr.wbiserver
–profileName Dmgr01
-dbDelayConfig true –dbCommonForME false
–dbType INFORMIX –dbHostName aix235.cn.ibm.com
–dbInstance IFXTest –hostName aix235.cn.ibm.com
–enableAdminSecurity false –dbName wprcsdb
–dbPassword informix –ndtopology false
-cellName aix235Cell01 –nodeName aix235CellManager01
–dbJDBCClasspath /opt/jdbc/lib –dbUserId Informix
–dbCreateNew false –profilePath <WPS_HOME>/profiles/Dmgr01
創建自定義節點的命令和腳本如下：
./manageprofiles.sh –create –dmgrHost 9.186.111.234
–profileName Custom01 –templatePath <WPS_HOME>/profileTemplates/managed.wbiserver
–dbType INFORMIX –ndtopology false
–cellName aix234Node01Cell –hostName aix234.cn.ibm.com
–nodeName aix234Node01 –dbJDBCClasspath /home/jdbc/lib
–dmgrPort 8879 –profilePath <WPS_HOME>/profiles/Custom01

2. 什麼是MySQL集群帶你全面掌握MySQL集群原理

如果Master收橋瞎到所有 Slave的OK消息，它就會向所有Slave發送提交消息，告訴Slave提交該事務；

如果Slave收到提交請求，它們就會提交事務，並向Master發送事務已提交 的確認；

如果Slave收到取消請求,它們就會撤銷所有改變並釋放所佔有的資源，從而中止事務，然後向Masterv送敏吵空事務已中止的確認。

隨著計算機和信息技術的迅猛發展和普及，行業應用系統的規模迅速擴大，行業應用所產生的數據量量呈爆炸式增長，類似於MySQL集群這樣的技術得到了廣泛的運用，MySQL集群原理的運用就顯得尤其重要。

動力節點的MySQL集群教程 ，對於MySQL集群技術的應用場景有著詳細的介紹，能夠有效幫助我們學以致用， 教程主要從MySQL集群架構解析到架構部署再到集群架構測試，一步步帶你部署企業級的MySQL資料庫集群項目，熟悉各個環節技術點，提升資料庫架構設計能力。

https://www.bilibili.com/video/BV1Rg4y1i7VR

http://www.bjpowernode.com/?toutiao

•001.MySQL集群視頻教程：主從復制介紹

•002.MySQL集群視頻教程：主從復制結構

•003.MySQL集群視頻教程：主從復制流程原碰敗理

•004.MySQL集群視頻教程：多實例安裝

•005.MySQL集群視頻教程：多實例鏈接

•006.MySQL集群視頻教程：一主多從-配置

•007.MySQL集群視頻教程：-一主多從測試

•008.MySQL集群視頻教程：雙主雙從配置

•009.MySQL集群視頻教程：雙主雙從測試

•010.MySQL集群視頻教程：多數據源-環境搭建

•011.MySQL集群視頻教程：多算數據源實現

•012.MySQL集群視頻教程：修復MySLQ主從復制

•013.MySQL集群視頻教程：多數據源的問題

•014.MySQL集群視頻教程：動態數據源

•015.MySQL集群視頻教程：動態數據源執行流程

•016.MySQL集群視頻教程：SpringBoot集成多數據源

•017.MySQL集群視頻教程：SpringBoot集成多數據源問題

•018.MySQL集群視頻教程：SpringBoot集成動態數據源

3. hadoop集群搭建在阿里雲伺服器上 雲伺服器配置要求是多少

如果是集群的話，我考慮需要流暢運行的話，2核4G配置是可以滿足的。因為這個集群形式，用於適用於物聯網、車聯網、監控、安全風控、即時通訊、消息存儲等行業場景，所以數據量是比較大的，所以配置太低了跑不動，會卡死的。
因為hadoop是海量數據的處理能力，所以伺服器一定不能太小配置了，跑不動了就沒實際用途了。最好使用4核8G內存及以上配置。
因為這方面內容較多，這里也寫不開那麼多內容，所以你可以留言或到我的博客上搜索相關內容，老魏有寫過教程，還不止一篇，都挺詳細的內容，可以幫助你入門。

4. mysql分布式集群的搭建方案

不是很理解，比如說你3台搭建分布式，你通過什麼方式區分庫表？假設每台伺服器上部署一個mysql實例，那你怎麼把數據分布到3個mysql裡面？是每個mysql裡面存不同的表么？如果這樣，就還可以接受。這塊問題不是很大。

第二個問題，你的HA主備，意思是說兩個分布式互為主備？那怎麼備份，怎麼切換？

其實按照你想要達到的目標。應該是每兩台互做主備，形成3對主備庫，然後這3對再組建一個分布式集群。

其實和你要做的可能差不多，不過邏輯上還是有差異的。HA你准備怎麼做？keepalived？

另外，咨詢一下，你的分布式是通過什麼來實現，不同業務訪問不同的資料庫，每個庫存不同的表？還是相同的表分布在不同資料庫？

看你伺服器的配置如何，其實我覺得一般來說拿3台來做備機有點浪費，如果配置允許，可以考慮做成6套mysql主備的分布式集群。

通過交叉互備實現硬體的最大利用。下圖是我們之前用4台伺服器做的一套集群方案。

如果還有其他問題可以和我聯系。