oracle存储迁移
① 如何将oracle的数据迁移到mysql
OGG全称为Oracle GoldenGate,是由Oracle官方提供的用于解决异构数据环境中数据复制的一个商业工具。相比于其它迁移工具OGG的优势在于可以直接解析源端Oracle的redo log，因此能够实现在不需要对原表结构做太多调整的前提下完成数据增量部分的迁移。本篇文章将重点介绍如何使用OGG实现Oracle到MySQL数据的平滑迁移，以及讲述个人在迁移过程中所碰到问题的解决方案。
（一）OGG逻辑架构
参照上图简单给大家介绍下OGG逻辑架构，让大家对OGG数据同步过程有个简单了解，后面章节会详细演示相关进程的配置方式，在OGG使用过程中主要涉及以下进程及文件：
Manager进程：需要源端跟目标端同时运行，主要作用是监控管理其它进程，报告错误，分配及清理数据存储空间，发布阈值报告等
Extract进程：运行在数据库源端，主要用于捕获数据的变化，负责全量、增量数据的抽取
Trails文件：临时存放在磁盘上的数据文件
Data Pump进程：运行在数据库源端，属于Extract进程的一个辅助进程，如果不配置Data Pump，Extract进程会将抽取的数据直接发送到目标端的Trail文件，如果配置了Data Pump，Extract进程会将数据抽取到本地Trail文件，然后通过Data Pump进程发送到目标端，配置Data Pump进程的主要好处是即使源端到目标端发生网络中断，Extract进程依然不会终止
Collector进程：接收源端传输过来的数据变化，并写入本地Trail文件中
Replicat进程：读取Trail文件中记录的数据变化，创建对应的DML语句并在目标端回放
确认MySQL端表结构已经存在
MySQL数据库OGG用户创建
mysql> create user 'ogg'@'%' identified by 'ogg';
mysql> grant all on *.* to 'ogg'@'%';
#### 提前创建好ogg存放checkpoint表的数据库
mysql> create database ogg;
shell> cd $OGG_HOME
shell> ggsci
ggsci> edit param ./GLOBALS
checkpointtable ogg.ggs_checkpoint
ggsci> dblogin sourcedb [email protected]:3306 userid ogg
ggsci> add checkpointtable ogg.ggs_checkpoint
#### 切换至ogg软件目录并执行ggsci进入命令行终端
shell> cd $OGG_HOME
shell> ggsci
#### 添加一个回放线程并与源端pump进程传输过来的trail文件关联，并使用checkpoint表确保数据不丢失
ggsci> add replicat r_cms,exttrail /opt/ogg/dirdat/ms,checkpointtable ogg.ggs_checkpoint
#### 增加/编辑回放进程配置文件
ggsci> edit params r_cms
replicat r_cms
targetdb [email protected]:3306,userid ogg,password ogg
sourcedefs /opt/ogg/dirdef/cms.def
discardfile /opt/ogg/dirrpt/r_cms.dsc,append,megabytes 1024
HANDLECOLLISIONS
MAP cms.*,target cms.*;
#### 切换至ogg软件目录并执行ggsci进入命令行终端
shell> cd $OGG_HOME
shell> ggsci
#### 增加/编辑全量抽取进程配置文件
#### 其中RMTFILE指定抽取的数据直接传送到远端对应目录下
#### 注意：RMTFILE参数指定的文件只支持2位字符，如果超过replicat则无法识别
ggsci> edit params ei_cms
SOURCEISTABLE
SETENV (NLS_LANG = "AMERICAN_AMERICA.AL32UTF8")
SETENV (ORACLE_SID=cms)
SETENV (ORACLE_HOME=/data/oracle/11.2/db_1)
USERID ogg@appdb,PASSWORD ogg
RMTHOST 17X.1X.84.121,MGRPORT 7809
RMTFILE /opt/ogg/dirdat/ms,maxfiles 100,megabytes 1024,purge
TABLE cms.*;
#### 启动并查看抽取进程正常
shell> nohup ./extract paramfile ./dirprm/ei_cms.prm reportfile ./dirrpt/ei_cms.rpt &
## 查看日志是否正常进行全量抽取
shell> tail -f ./dirrpt/ei_cms.rpt
#### 切换至ogg软件目录并执行ggsci进入命令行终端
shell> cd $OGG_HOME
shell> ggsci
ggsci> edit params ri_cms
SPECIALRUN
END RUNTIME
TARGETDB [email protected]:3306,USERID ogg,PASSWORD ogg
EXTFILE /opt/ogg/dirdat/ms
DISCARDFILE ./dirrpt/ri_cms.dsc,purge
MAP cms.*,TARGET cms.*;
#### 启动并查看回放进程正常
shell> nohup ./replicat paramfile ./dirprm/ri_cms.prm reportfile ./dirrpt/ri_cms.rpt &
#### 查看日志是否正常进行全量回放
shell> tail -f ./dirrpt/ri_cms.rpt
根据实际存储数据的长度，对超长的varchar列进行收缩；
对于无法收缩的列转换数据类型为text，但这在使用过程中可能导致一些性能问题；
- mysql>set global foreign_key_checks=off;
目标端不存在delete语句的记录，忽略该问题并不记录到discardfile
目标端丢失update记录
- 更新的是主键值，update转换成insert
- 更新的键值是非主键，忽略该问题并不记录到discardfile
目标端重复insert已存在的主键值，这将被replicat进程转换为UPDATE现有主键值的行
报错信息
- 2019-03-08 06:15:22 ERROR OGG-01201 Error reported by MGR : Access denied.
报错原因
解决办法
- ## 表示该mgr节点允许(ALLOW)10.186网段(IPADDR)的所有类型程序(PROG *)进行连接访问ACCESSRULE, PROG *, IPADDR 10.186.*.*, ALLOW
报错信息
- 2019-03-15 14:49:04 ERROR OGG-01192 Trying to use RMTTASK on data types which may be written as LOB chunks (Table: 'UNIONPAYCMS.CMS_OT_CONTENT_RTF').
报错原因
解决方法
二、迁移方案
（一）环境信息
OGG版本 OGG 12.2.0.2.2 For Oracle OGG 12.2.0.2.2 For MySQL
数据库版本 Oracle 11.2.0.4 MySQL 5.7.21
OGG_HOME /home/oracle/ogg /opt/ogg
（二）表结构迁移
表结构迁移属于难度不高但内容比较繁琐的一步，我们在迁移表结构时使用了一个叫sqlines的开源工具，对于sqlines工具在MySQL端创建失败及不符合预期的表结构再进行特殊处理，以此来提高表结构转换的效率。
注意：OGG在Oracle迁移MySQL的场景下不支持DDL语句同步，因此表结构迁移完成后到数据库切换前尽量不要再修改表结构。
（三）数据迁移
数据同步的操作均采用OGG工具进行，考虑数据全量和增量的衔接，OGG需要先将增量同步的抽取进程启动，抓取数据库的redo log，待全量抽取结束后开启增量数据回放，应用全量和增量这段期间产生的日志数据，OGG可基于参数配置进行重复数据处理，所以使用OGG时优先将增量进行配置并启用。此外，为了避免本章节篇幅过长，OGG参数将不再解释，有需要的朋友可以查看官方提供的Reference文档查询任何你不理解的参数。
1.源端OGG配置
（1）Oracle数据库配置
针对Oracle数据库，OGG需要数据库开启归档模式及增加辅助补充日志、强制记录日志等来保障OGG可抓取到完整的日志信息
查看当前环境是否满足要求，输出结果如下图所示：
（2）Oracle数据库OGG用户创建
OGG需要有一个用户有权限对数据库的相关对象做操作，以下为涉及的权限，该示例将创建一个用户名和密码均为ogg的Oracle数据库用户并授予以下权限
（3）源端OGG 管理进程(MGR)配置
（4）源端OGG 表级补全日志(trandata)配置
表级补全日志需要在最小补全日志打开的情况下才起作用,之前只在数据库级开启了最小补全日志(alter database add supplemental log data;)，redolog记录的信息还不够全面，必须再使用add trandata开启表级的补全日志以获得必要的信息。
（5）源端OGG 抽取进程(extract)配置
Extract进程运行在数据库源端，负责从源端数据表或日志中捕获数据。Extract进程利用其内在的checkpoint机制，周期性地检查并记录其读写的位置，通常是写入到本地的trail文件。这种机制是为了保证如果Extract进程终止或者操作系统宕机，我们重启Extract进程后，GoldenGate能够恢复到以前的状态，从上一个断点处继续往下运行，而不会有任何数据损失。
（6）源端OGG 传输进程(pump)配置
pump进程运行在数据库源端，其作用非常简单。如果源端的Extract抽取进程使用了本地trail文件，那么pump进程就会把trail文件以数据块的形式通过TCP/IP协议发送到目标端，Pump进程本质上是Extract进程的一种特殊形式，如果不使用trail文件，那么Extract进程在抽取完数据后，直接投递到目标端。
补充：pump进程启动时需要与目标端的mgr进程进行连接，所以需要优先将目标端的mgr提前配置好，否则会报错连接被拒绝，无法传输抽取的日志文件到目标端对应目录下
（7）源端OGG 异构mapping文件(defgen)生成
该文件记录了源库需要复制的表的表结构定义信息，在源库生成该文件后需要拷贝到目标库的dirdef目录，当目标库的replica进程将传输过来的数据apply到目标库时需要读写该文件，同构的数据库不需要进行该操作。
2.目标端OGG配置
（1）目标端MySQL数据库配置
（2）目标端OGG 管理进程(MGR)配置
目标端的MGR进程和源端配置一样，可直接将源端配置方式在目标端重复执行一次即可，该部分不在赘述
（3）目标端OGG 检查点日志表(checkpoint)配置
checkpoint表用来保障一个事务执行完成后，在MySQL数据库从有一张表记录当前的日志回放点，与MySQL复制记录binlog的GTID或position点类似。
#### 切换至ogg软件目录并执行ggsci进入命令行终端
（4）目标端OGG 回放线程(replicat)配置
Replicat进程运行在目标端，是数据投递的最后一站，负责读取目标端Trail文件中的内容，并将解析其解析为DML语句，然后应用到目标数据库中。
注意：replicat进程只需配置完成，无需启动，待全量抽取完成后再启动。
至此源端环境配置完成
待全量数据抽取完毕后启动目标端回放进程即可完成数据准实时同步。
3.全量同步配置
全量数据同步为一次性操作，当OGG软件部署完成及增量抽取进程配置并启动后，可配置1个特殊的extract进程从表中抽取数据，将抽取的数据保存到目标端生成文件，目标端同时启动一个单次运行的replicat回放进程将数据解析并回放至目标数据库中。
（1）源端OGG 全量抽取进程(extract)配置
（2）目标端OGG 全量回放进程(replicat)配置
三、数据校验
数据校验是数据迁移过程中必不可少的环节，本章节提供给几个数据校验的思路共大家参数，校验方式可以由以下几个角度去实现：
1.通过OGG日志查看全量、增量过程中discards记录是否为0来判断是否丢失数据；
2.通过对源端、目标端的表执行count判断数据量是否一致；
3.编写类似于pt-table-checksum校验原理的程序，实现行级别一致性校验，这种方式优缺点特别明显，优点是能够完全准确对数据内容进行校验，缺点是需要遍历每一行数据，校验成本较高；
4.相对折中的数据校验方式是通过业务角度，提前编写好数十个返回结果较快的SQL，从业务角度抽样校验。
四、迁移问题处理
本章节将讲述迁移过程中碰到的一些问题及相应的解决方式。
（一）MySQL限制
在Oracle到MySQL的表结构迁移过程中主要碰到以下两个限制：
1. Oracle端的表结构因为最初设计不严谨，存在大量的列使用varchar(4000)数据类型，导致迁移到MySQL后超出行限制，表结构无法创建。由于MySQL本身数据结构的限制，一个16K的数据页最少要存储两行数据，因此单行数据不能超过65,535 bytes，因此针对这种情况有两种解决方式：
2. 与第一点类似，在Innodb存储引擎中，索引前缀长度限制是767 bytes，若使用DYNAMIC、COMPRESSED行格式且开启innodblargeprefix的场景下，这个限制是3072 bytes，即使用utf8mb4字符集时，最多只能对varchar(768)的列创建索引；
3. 使用ogg全量初始化同步时，若存在外键约束，批量导入时由于各表的插入顺序不唯一，可能子表先插入数据而主表还未插入，导致报错子表依赖的记录不存在，因此建议数据迁移阶段禁用主外键约束，待迁移结束后再打开。
（二）全量与增量衔接
HANDLECOLLISIONS参数是实现OGG全量数据与增量数据衔接的关键，其实现原理是在全量抽取前先开启增量抽取进程，抓去全量应用期间产生的redo log，当全量应用完成后，开启增量回放进程，应用全量期间的增量数据。使用该参数后增量回放DML语句时主要有以下场景及处理逻辑：
（三）OGG版本选择
在OGG版本选择上我们也根据用户的场景多次更换了OGG版本，最初因为客户的Oracle 数据库版本为11.2.0.4，因此我们在选择OGG版本时优先选择使用了11版本，但是使用过程中发现，每次数据抽取生成的trail文件达到2G左右时，OGG报错连接中断，查看RMTFILE参数详细说明了解到trail文件默认限制为2G，后来我们替换OGG版本为12.3，使用MAXFILES参数控制生成多个指定大小的trail文件，回放时Replicat进程也能自动轮转读取Trail文件，最终解决该问题。但是如果不幸Oracle环境使用了Linux 5版本的系统，那么你的OGG需要再降一个小版本，最高只能使用OGG 12.2。
（四）无主键表处理
在迁移过程中还碰到一个比较难搞的问题就是当前Oracle端存在大量表没有主键。在MySQL中的表没有主键这几乎是不被允许的，因为很容易导致性能问题和主从延迟。同时在OGG迁移过程中表没有主键也会产生一些隐患，比如对于没有主键的表，OGG默认是将这个一行数据中所有的列拼凑起来作为唯一键，但实际还是可能存在重复数据导致数据同步异常，Oracle官方对此也提供了一个解决方案，通过对无主键表添加GUID列来作为行唯一标示，具体操作方式可以搜索MOS文档ID 1271578.1进行查看。
（五）OGG安全规则
错误信息含义源端报错表示为该抽取进程需要和目标端的mgr进程通讯，但是被拒绝，具体操作为：源端的extract进程需要与目标端mgr进行沟通，远程将目标的replicat进行启动，由于安全性现在而被拒绝连接。
在Oracle OGG 11版本后，增加了新特性安全性要求，如果需要远程启动目标端的replicat进程，需要在mgr节点增加访问控制参数允许远程调用
在源端和目标端的mgr节点上分别增加访问控制规则并重启
（六）数据抽取方式
根据官方文档说明，当前直接通过Oracle数据库抽取数据写到MySQL这种initial-load方式，不支持LOBs数据类型，而表 UNIONPAYCMS.CMSOTCONTENT_RTF 则包含了CLOB字段，无法进行传输,并且该方式不支持超过4k的字段数据类型
将抽取进程中的RMTTASK改为RMTFILE参数
官方建议将数据先抽取成文件，再基于文件数据解析进行初始化导入
② 怎么将oracle数据库的数据迁移
迁移的话，直接导出一个库的dmp文件，之后导入到另外一个库里面就可以了（导出和导入数据库版本必须一直，否则导入可能会报错）。
迁移数据导出：
1 将数据库TEST完全导出,用户名system 密码manager 导出到D:\chu.dmp中
exp system/manager@TEST file=d:\chu.dmp full=y
2 将数据库中system用户与sys用户的表导出
exp system/manager@TEST file=d:\chu.dmp owner=(system,sys)
3 将数据库中的表table1 、table2导出
exp system/manager@TEST file=d:\chu.dmp tables=(table1,table2)
4 将数据库中的表table1中的字段filed1以"00"打头的数据导出
③ 如何将Oracle数据库数据文件迁移到其它目录
文件迁移分几种
第一，如果是裸设备和asm存储，那么最好就不要动，因为他们只能复制到一样的存储上，而且如果复制时出现问题，那么可能无法挽回。
如果是文件系统（操作系统）的存储，那么可以移动和复制，不过移动复制前要下线，或者关闭数据库，然后利用命令改变该文件在数据库中的位置，然后再上线。我记得就是利用rename命令进行改变位置的。
④ 如何将正在运行的 Oracle 数据库迁移到另一个系统
1、安装 Oracle Solaris 操作系统
新的 SPARC 服务器上预先安装了 Oracle Solaris。对于这些系统，应确保安装了相应的 Oracle Solaris 版本，并验证打了所需的补丁。
2、安装 Oracle VM Server for SPARC 软件
新的 SPARC 服务器上也预先安装了 Oracle VM Server for SPARC 软件。对于这些系统，应确保安装了相应的 Oracle VM Server for SPARC 版本，并验证打了所有需要的补丁。
3、配置存储阵列
Sun Storage 2540-M2 存储阵列连接到控制域，控制域将两个 LUN（LUN 0 和 LUN 1）作为虚拟磁盘导出到来宾域。
4、配置控制域
安装 Oracle VM Server for SPARC 软件之后，重新配置当前系统使其成为控制域。
5、配置来宾域
配置控制域之后，创建来宾域以用作 Oracle 数据库节点。在作为源计算机的物理服务器上，仅创建一个来宾域。另一台物理服务器最终将成为目标计算机。
6、准备目标服务器
按如下方式准备目标服务器。
执行以下各节中所述的步骤来准备目标计算机：
安装 Oracle VM Server for SPARC 软件
配置控制域
确保在目标服务器上提供了供待迁移域使用的所有虚拟 I/O 服务。
确保目标服务器有权访问同一存储中的 LUN 0 和 LUN 1。
确保待迁移域中的每个虚拟网络设备在目标计算机上都有一个对应的虚拟网络交换机。
⑤ oracle数据迁移有几种方法
数据量小的话一般直接用数据泵或者exp/imp就ok了，也可以用rman备份，这些都是比较常规的，偏门点的可以用传输表空间，dblink直接复制等，反正看情况。
⑥ oracle数据迁移怎么做
简单到不能再简单。
1先弄个DBLINK
2.通关select into from 直接创建并写入表到要迁移的数据库中
⑦ oracle存储过程 表数据迁移
create sequence test_seq
minvalue 1
maxvalue 9999999999
start with 1
increment by 1
cache 20;
CREATE OR REPLACE PROCEDURE test ()
IS
l_seq NUMBER (10) := NULL;
BEGIN
for rs in (select * from a)loop
l_seq:=test_seq.nextVal;
insert into b(id,a1,a2)values(l_seq,rs.a1,rs.a2);
end loop;
commit;
EXCEPTION
WHEN OTHERS
THEN
rollback;
END;
大体是这样的吧，
⑧ oracle数据库迁移到另一个oracle数据库
这个就简单了，备份库1，还原到库2即可；或者将库1的表结构和insert语句分别导出，放到库2执行一次就行了，或者借助三方工具，比如kettle
⑨ 怎样用最简单的方法复制或迁移Oracle数据库
在DBA的日常工作中，经常需要重装或在新机器上安装Oracle,但每次安装所浪费的时间、精力以及失败的挫折都在考验着DBA的承受能力，本文着重介绍了一个简单的复制和迁移Oracle数据库的方法，详细内容请参考下文。
复制迁移的步骤如下：
◆1、首先，复制原Oracle数据库的安装目录到新机器或系统中的安装目录，注意目录要一致，盘符也要一致。
◆2、假如Oracle的安装目录不在Program Files系统文件夹下，我们需要把原系统中的Program Files文件夹下的Oracle目录也复制到新系统的Program Files文件夹中去。
◆3、导出原系统中的Oracle注册表信息，主要注册信息如下：
A. HKEY_LOCAL_MACHINE/SOFTWARE/ORACLE
B. HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Services 下有关Oracle的所有键，通常包括以下9个：
/OracleMTSRecoveryService
/OracleOraHome92Agent
/OracleOraHome92ClientCache
/OracleOraHome92HTTPServer
/OracleOraHome92PagingServer
/
/
/OracleOraHome92TNSListener
/OracleServiceORA8
◆4、注意：有多少个数据库，注册表服务键下的OracleServiceXXX就会有多个。其中最主要的有监听服务和数据库服务，即OracleOraHome92TNSListenerXXX和OracleServiceXXX。
◆5、将导出的所有注册表的信息在新的系统中导入（注册）。
◆6、设置系统环境变量，打开"我的电脑"的"属性"界面，在"高级"而点击"环境变量"进入设置，找到[Path]系统变量项目，点"编辑"，在变量值的输入框的最后，加入";ORACLE的安装目录"。
◆7、最后我们需要进入 C:/Documents and Settings/All Users/Start Menu/Programs下把 Oracle - OraHome92 和 Oracle Installation Procts 两个菜单文件夹也复制到新系统中，此时，就和新安装的一样了。重启系统后，成功完成。
⑩ oracle数据库怎么从一个磁盘迁移到另一个磁盘
简单步骤：
1、正常关闭数据库；
2、迁移所有数据文件到新的盘；
3、启动实例到mount阶段，修改数据文件的路径；
4、启动实例到open阶段，正常使用数据库。
5、另外，如果想要迁移日志文件，比较好办，在新盘新目录下创建新的redo，删除原来盘上的redo。
6、如果想要迁移控制文件，那么：
6.1、正常关闭数据库；
6.2、迁移控制文件到新盘新目录；
6.3、启动实例到nomount阶段；
6.4、修改实例参数control_files指向新的目录；
6.4、alter database mount;
6.5、alter databse open;
如果要迁移数据库软件，那就另说了，可以先安装一套DB软件到新盘新目录，然后修改环境变量指向新的环境，重要的变量包括ORACLE_BASE、ORACLE_HOME、PATH等。