数据库集群搭建

1. 如何正确配置基于 oracle 数据库的 wps v6.12 集群应用系统

本文描述了远程消息传递和远程支持集群环境的搭建配置过程。这个集群环境由三个集群组成，具体的拓扑结构是：
应用程序集群，不但为应用程序提供工作负载管理以及URL和EJB 请求故障转移功能，而且还部署了BPC和HTM 容器，提供了对长业务流程和人工业务流程的应用程序的支持。
远程消息集群，运行WPS默认提供的四个总线（SCA应用，SCA系统，BPC和CEI）提供独立的高效的消息引擎。
远程支持集群，部署通用事件体系结构和业务规则管理等其他应用程序，提供异步的事件查询。
这三个集群配置在两台机器的不同的节点上，即三个集群的成员水平部署在两台机器上。在一个集群中的两个成员是该集群中完全相同的副本。消息传递引擎、业务支持和业务流程应用程序分别位于不同的集群上，所以可以根据实际业务负载和硬件环境，灵活调配所需的资源。这种模式，也称为黄金拓扑，是 WPS 中最复杂的拓扑结构，是大多数企业集成应用用户的首选，具有如下优点：

可靠性。将所有的应用、消息引擎和通用事件部署在三个集群上面，方便管理和使用。
可扩展性。因为系统中的消息引擎处于的关键地位，可能存在之后的访问需求增长等扩展需要，单独创建消息引擎集群可以很方便实行这一点。
对于系统运行时可能遇到的处理量非常大和可伸缩性等问题，通过将通用事件基础架构（CEI）和应用程序分离，可以确保这两个组件不会争用相同的资源（内存和CPU）。此拓扑还能帮助创建集中的事件服务器以处理来自多个源的事件。
所有的应用服务器由 Deployment Manager 统一管理，降低了系统管理的复杂度。
安装前的注意事项
在集群环境的安装过程中，需要同步两台主机的信息，确保它们之间能够良好的通信。主要同步的信息包括两台主机的系统时间、时区设置，并确保两台机器的时间差在5分钟之内，如果时间差超过5分钟，联合操作将失败。
更新两台主机的hosts 文件（默认目录为/etc/hosts ），确保每台机器均包含对方的host name 和对应的IP 地址，以便主机间的相互访问。
在使用向导安装和配置概要时，请按照从上到下的顺序输入配置参数，对于WPS V6.12 ，输入顺序的改变有可能导致未知错误。
集群环境的搭建步骤
Informix 数据库规划
WPS的集群环境需要后台数据库的支持。为了提高集群在实际运行中的效率，建议根据功能的不同，创建不同的数据库。数据库的详细信息如下表所示：

数据库名称 说明
WPRCSDB 公共数据库
EVENT 通用事件体系结构数据库
CEIDB 通用事件体系结构消息传递引擎数据库
SCASYSDB 服务组件系统消息传递引擎数据库
SCAAPPDB 服务组件应用程序消息传递引擎数据库
BPCDB 业务流程编排器数据库
BPCME 业务流程编排器消息传递引擎数据库
OBSVRDB 业务流程编排器事件收集器数据库

注意：本文选择英文语言的数据库安装。如果要安装中文语言的数据库，请参考本文的：在数据源定制属性中添加数据库语言。

安装WPS的步骤
首先使用图形化安装向导在两台主机上分别安装WPS v6.1.2 产品，。在安装产品和搭建集群过程中，步骤如下：
1.选择“Typical installation”安装类型。典型安装也称为完全安装，提供了环境的初始化定义，包括通过概要管理工具创建特定了类型的概要文件。
图2 选择安装类型

2.在选择概要类型界面提供了四种可选择的概要类型（图3）。我们选择“None”，即不创建任何类型的概要，以便在以后的步骤中手动创建概要。
使用Profile Management Tool（PMT） 创建Deployment Manager 概要

Deployment Manager（DM）是管理控制节点，它对集群环境下的所有节点提供了图形化的管理功能。一个集群环境中一般只需要一个管理概要。下面我们将向您讲述创建DM 概要的主要步骤：
1. 在<WPS_HOME>/bin/ProfileManagement/ 下执行命令pmt.sh ，弹出安装界面。在各种类型的环境选项中选择 WPS，进入下一步。
2. 在概要类型中提供了三种典型的概要类型，选择 Deployment manager profile，搭建DM 概要。
3. 在创建方式界面中，默认选项为创建典型的概要文件，在此需要选择 Advanced profile creation，以便我们在后续步骤中通过管理控制台手动进行集群配置，以满足特定环境的需求。
4. 填写要创建的Deployment manager profile的名称和安装目录。
5. 填写概要的Node Name和Cell name ，指定 Host Name。
6. 在管理安全选项中，如果选中 Enable administrative security 选项，请记住 WPS v 6.1.2
用户名称和密码。这里建议取消 Enable administrative security 选项，不设置安全管理。在后续步骤中可以根据需要手动启动安全管理选项，设定用户名密码。
7. 配置服务器的端口。
8. 进行数据库的配置。首先从 Choose a database proct 选择 Informix Dynamic Server 作为公共数据库类型，并选择 Use an existing database。另外，需要指定 Database name，本例中使用先前创建的数据库 WPRCSDB。不选择“Deplay execution of database scripts for new or existing database”选项，因为概要文件的安装过程中会自动创建数据库 WPRCSDB 中的表。注意：如果创建的数据库为中文字符集，则需要选择 “Deplay execution of database scripts for new or existing database“选项，在概要创建完成后，手动执行创建数据库表（请参考本节内容中的步骤 11）。

9. 在数据库配置的第2步，需要对 Common DB 参数进行配置。如果是远程数据库，则在填写 Database server host name时，要确保远程数据库的host name 已经添加到本地主机（参考本文的第三部分内容“安装前的注意事项”）；也可以直接在该项填写远程数据库的IP 地址。换句话说，在点击下一步之前，请确认数据库的参数信息，否则将在点击下一步后，会收到不能连接数据库的错误提示。
10. 完成以上步骤后，系统会显示概要的创建信息。如果发现参数需要调整可以后退向导重新进行输入。DM 创建成功后，可取消选择 Launch the First steps console和Create another profile，点击完成。至此，Deployment Manager 创建完成。如果创建DM 失败，请查看 <WPS_HOME>/logs/manageprofile 目录下的日志文件进行分析。

11. 另外，如果需要手工创建Common DB(WPRCSDB) 相关的表，可执行DM 概要创建生成的数据库脚本，默认目录为：
<WPS_HOME>/profiles/Dmgr01/dbscripts/CommonDB/Informix/WPRCSDB 。
请将这些脚本复制到 Informix 数据库所在机器，并设置如下环境变量：
INFORMIXSERVER=<IFX_INSTANCENAME>
INFORMIXDIR=<IFX_INSTALL_HOME>
之后执行如下命令：
dbaccess – createDatabase_CommonDB.sql
如果WPRCSDB已经创建，可以忽略。
dbaccess WPRCSDB createTable_AppScheler.sql
dbaccess WPRCSDB createTable_CommonDB.sql
dbaccess WPRCSDB createTable_customization.sql
dbaccess WPRCSDB createTable_lockmanager.sql
dbaccess WPRCSDB createTable_mediation.sql
dbaccess WPRCSDB createTable_Recovery.sql
dbaccess WPRCSDB createTable_RelationshipMetadataTable.sql
dbaccess WPRCSDB createTable_EsbLoggerMediation.sql
dbaccess WPRCSDB insertTable_CommonDB.sql
使用PMT 创建自定义概要
接下来，我们手动进行自定义概要的创建。这样，能够在创建概要过程中，根据客户特定的使用需求和环境特点，选择适合于自己的数据库，并进行端口、用户名、密码等信息的设置。
在创建自定义概要（Custom profile）之前启动 DeploymentManager（DM）概要，在目录<WPS_HOME>/profiles/Dmgr01/bin 下，运行startManager.sh 命令。节点概要的创建与 DM 概要的创建类似，在目录<WPS_HOME>/bin/ProfileManagment 下执行命令pmt.sh，随即获得安装界面，主要步骤如下。
1．选择 Create 即创建一个新的概要文件。
2．在环境选项中，选择 WPS，进入下一步。
3．在创建概要的类型中，选择 Custom Profile，创建一个自定义节点概要。
4．在安装类型选项中，选择 Advanced profile creation，以便在后续步骤中通过手动配置相关参数，定制特定的节点概要。

5．输入节点所对应的DM 概要的主机名称和端口，默认端口为8879。如果在创建DM时启动了管理安全性，则需要输入用户名和密码。Federate this node later 选项的选择取决于是否要在创建节点的同时将其联合到指定的DM 概要中。这里，我们不选择该选项，节点会自动与 DM 概要联合，需要注意的是，要确保 DM 概要此时为启动状态。
若选择创建节点之后手动联合到 DM 概要中，则需要在创建节点完成后使用<WPS_HOME>/Custom01/bin 目录下的addNode.sh 命令进行节点与 DM的手动联合，具体命令如下：
addNode.sh dmgr_hostname<–username username –password password>
6．输入DM的信息后，进入端口设置页面，可以自行修改端口号。

7．在数据库选项中选择 Informix Dynamic Server 作为数据库类型，并为Informix JDBC driver 指定正确的路径。该路径指向节点所在的本地机器上 ifxjdbc.jar和ifxjdbcx.jar的存储位置。
8．浏览汇总信息无误后，点击 Create 开始创建自定义概要。

9．创建成功后，重复以上步骤为另一台机器创建自定义概要。
命令行方式创建Deployment Manager 实例和托管节点实例
创建DM profile 和Custom profile时，除了使用pmt.sh 命令外，还可以选择命令行方式，即执行<WPS_HOME> /bin/manageprofiles.sh 命令创建概要。创建Deployment manager 概要的命令和脚本如下：
./manageprofiles.sh –create -dbServerPort 8002
–templatePath <WPS_HOME>/profileTemplates/dmgr.wbiserver
–profileName Dmgr01
-dbDelayConfig true –dbCommonForME false
–dbType INFORMIX –dbHostName aix235.cn.ibm.com
–dbInstance IFXTest –hostName aix235.cn.ibm.com
–enableAdminSecurity false –dbName wprcsdb
–dbPassword informix –ndtopology false
-cellName aix235Cell01 –nodeName aix235CellManager01
–dbJDBCClasspath /opt/jdbc/lib –dbUserId Informix
–dbCreateNew false –profilePath <WPS_HOME>/profiles/Dmgr01
创建自定义节点的命令和脚本如下：
./manageprofiles.sh –create –dmgrHost 9.186.111.234
–profileName Custom01 –templatePath <WPS_HOME>/profileTemplates/managed.wbiserver
–dbType INFORMIX –ndtopology false
–cellName aix234Node01Cell –hostName aix234.cn.ibm.com
–nodeName aix234Node01 –dbJDBCClasspath /home/jdbc/lib
–dmgrPort 8879 –profilePath <WPS_HOME>/profiles/Custom01

2. 什么是MySQL集群带你全面掌握MySQL集群原理

如果Master收桥瞎到所有 Slave的OK消息，它就会向所有Slave发送提交消息，告诉Slave提交该事务；

如果Slave收到提交请求，它们就会提交事务，并向Master发送事务已提交 的确认；

如果Slave收到取消请求,它们就会撤销所有改变并释放所占有的资源，从而中止事务，然后向Masterv送敏吵空事务已中止的确认。

随着计算机和信息技术的迅猛发展和普及，行业应用系统的规模迅速扩大，行业应用所产生的数据量量呈爆炸式增长，类似于MySQL集群这样的技术得到了广泛的运用，MySQL集群原理的运用就显得尤其重要。

动力节点的MySQL集群教程 ，对于MySQL集群技术的应用场景有着详细的介绍，能够有效帮助我们学以致用， 教程主要从MySQL集群架构解析到架构部署再到集群架构测试，一步步带你部署企业级的MySQL数据库集群项目，熟悉各个环节技术点，提升数据库架构设计能力。

https://www.bilibili.com/video/BV1Rg4y1i7VR

http://www.bjpowernode.com/?toutiao

•001.MySQL集群视频教程：主从复制介绍

•002.MySQL集群视频教程：主从复制结构

•003.MySQL集群视频教程：主从复制流程原碰败理

•004.MySQL集群视频教程：多实例安装

•005.MySQL集群视频教程：多实例链接

•006.MySQL集群视频教程：一主多从-配置

•007.MySQL集群视频教程：-一主多从测试

•008.MySQL集群视频教程：双主双从配置

•009.MySQL集群视频教程：双主双从测试

•010.MySQL集群视频教程：多数据源-环境搭建

•011.MySQL集群视频教程：多算数据源实现

•012.MySQL集群视频教程：修复MySLQ主从复制

•013.MySQL集群视频教程：多数据源的问题

•014.MySQL集群视频教程：动态数据源

•015.MySQL集群视频教程：动态数据源执行流程

•016.MySQL集群视频教程：SpringBoot集成多数据源

•017.MySQL集群视频教程：SpringBoot集成多数据源问题

•018.MySQL集群视频教程：SpringBoot集成动态数据源

3. hadoop集群搭建在阿里云服务器上 云服务器配置要求是多少

如果是集群的话，我考虑需要流畅运行的话，2核4G配置是可以满足的。因为这个集群形式，用于适用于物联网、车联网、监控、安全风控、即时通讯、消息存储等行业场景，所以数据量是比较大的，所以配置太低了跑不动，会卡死的。
因为hadoop是海量数据的处理能力，所以服务器一定不能太小配置了，跑不动了就没实际用途了。最好使用4核8G内存及以上配置。
因为这方面内容较多，这里也写不开那么多内容，所以你可以留言或到我的博客上搜索相关内容，老魏有写过教程，还不止一篇，都挺详细的内容，可以帮助你入门。

4. mysql分布式集群的搭建方案

不是很理解，比如说你3台搭建分布式，你通过什么方式区分库表？假设每台服务器上部署一个mysql实例，那你怎么把数据分布到3个mysql里面？是每个mysql里面存不同的表么？如果这样，就还可以接受。这块问题不是很大。

第二个问题，你的HA主备，意思是说两个分布式互为主备？那怎么备份，怎么切换？

其实按照你想要达到的目标。应该是每两台互做主备，形成3对主备库，然后这3对再组建一个分布式集群。

其实和你要做的可能差不多，不过逻辑上还是有差异的。HA你准备怎么做？keepalived？

另外，咨询一下，你的分布式是通过什么来实现，不同业务访问不同的数据库，每个库存不同的表？还是相同的表分布在不同数据库？

看你服务器的配置如何，其实我觉得一般来说拿3台来做备机有点浪费，如果配置允许，可以考虑做成6套mysql主备的分布式集群。

通过交叉互备实现硬件的最大利用。下图是我们之前用4台服务器做的一套集群方案。

如果还有其他问题可以和我联系。