oracle存儲遷移
① 如何將oracle的數據遷移到mysql
OGG全稱為Oracle GoldenGate,是由Oracle官方提供的用於解決異構數據環境中數據復制的一個商業工具。相比於其它遷移工具OGG的優勢在於可以直接解析源端Oracle的redo log，因此能夠實現在不需要對原表結構做太多調整的前提下完成數據增量部分的遷移。本篇文章將重點介紹如何使用OGG實現Oracle到MySQL數據的平滑遷移，以及講述個人在遷移過程中所碰到問題的解決方案。
（一）OGG邏輯架構
參照上圖簡單給大家介紹下OGG邏輯架構，讓大家對OGG數據同步過程有個簡單了解，後面章節會詳細演示相關進程的配置方式，在OGG使用過程中主要涉及以下進程及文件：
Manager進程：需要源端跟目標端同時運行，主要作用是監控管理其它進程，報告錯誤，分配及清理數據存儲空間，發布閾值報告等
Extract進程：運行在資料庫源端，主要用於捕獲數據的變化，負責全量、增量數據的抽取
Trails文件：臨時存放在磁碟上的數據文件
Data Pump進程：運行在資料庫源端，屬於Extract進程的一個輔助進程，如果不配置Data Pump，Extract進程會將抽取的數據直接發送到目標端的Trail文件，如果配置了Data Pump，Extract進程會將數據抽取到本地Trail文件，然後通過Data Pump進程發送到目標端，配置Data Pump進程的主要好處是即使源端到目標端發生網路中斷，Extract進程依然不會終止
Collector進程：接收源端傳輸過來的數據變化，並寫入本地Trail文件中
Replicat進程：讀取Trail文件中記錄的數據變化，創建對應的DML語句並在目標端回放
確認MySQL端表結構已經存在
MySQL資料庫OGG用戶創建
mysql> create user 'ogg'@'%' identified by 'ogg';
mysql> grant all on *.* to 'ogg'@'%';
#### 提前創建好ogg存放checkpoint表的資料庫
mysql> create database ogg;
shell> cd $OGG_HOME
shell> ggsci
ggsci> edit param ./GLOBALS
checkpointtable ogg.ggs_checkpoint
ggsci> dblogin sourcedb [email protected]:3306 userid ogg
ggsci> add checkpointtable ogg.ggs_checkpoint
#### 切換至ogg軟體目錄並執行ggsci進入命令行終端
shell> cd $OGG_HOME
shell> ggsci
#### 添加一個回放線程並與源端pump進程傳輸過來的trail文件關聯，並使用checkpoint表確保數據不丟失
ggsci> add replicat r_cms,exttrail /opt/ogg/dirdat/ms,checkpointtable ogg.ggs_checkpoint
#### 增加/編輯回放進程配置文件
ggsci> edit params r_cms
replicat r_cms
targetdb [email protected]:3306,userid ogg,password ogg
sourcedefs /opt/ogg/dirdef/cms.def
discardfile /opt/ogg/dirrpt/r_cms.dsc,append,megabytes 1024
HANDLECOLLISIONS
MAP cms.*,target cms.*;
#### 切換至ogg軟體目錄並執行ggsci進入命令行終端
shell> cd $OGG_HOME
shell> ggsci
#### 增加/編輯全量抽取進程配置文件
#### 其中RMTFILE指定抽取的數據直接傳送到遠端對應目錄下
#### 注意：RMTFILE參數指定的文件只支持2位字元，如果超過replicat則無法識別
ggsci> edit params ei_cms
SOURCEISTABLE
SETENV (NLS_LANG = "AMERICAN_AMERICA.AL32UTF8")
SETENV (ORACLE_SID=cms)
SETENV (ORACLE_HOME=/data/oracle/11.2/db_1)
USERID ogg@appdb,PASSWORD ogg
RMTHOST 17X.1X.84.121,MGRPORT 7809
RMTFILE /opt/ogg/dirdat/ms,maxfiles 100,megabytes 1024,purge
TABLE cms.*;
#### 啟動並查看抽取進程正常
shell> nohup ./extract paramfile ./dirprm/ei_cms.prm reportfile ./dirrpt/ei_cms.rpt &
## 查看日誌是否正常進行全量抽取
shell> tail -f ./dirrpt/ei_cms.rpt
#### 切換至ogg軟體目錄並執行ggsci進入命令行終端
shell> cd $OGG_HOME
shell> ggsci
ggsci> edit params ri_cms
SPECIALRUN
END RUNTIME
TARGETDB [email protected]:3306,USERID ogg,PASSWORD ogg
EXTFILE /opt/ogg/dirdat/ms
DISCARDFILE ./dirrpt/ri_cms.dsc,purge
MAP cms.*,TARGET cms.*;
#### 啟動並查看回放進程正常
shell> nohup ./replicat paramfile ./dirprm/ri_cms.prm reportfile ./dirrpt/ri_cms.rpt &
#### 查看日誌是否正常進行全量回放
shell> tail -f ./dirrpt/ri_cms.rpt
根據實際存儲數據的長度，對超長的varchar列進行收縮；
對於無法收縮的列轉換數據類型為text，但這在使用過程中可能導致一些性能問題；
- mysql>set global foreign_key_checks=off;
目標端不存在delete語句的記錄，忽略該問題並不記錄到discardfile
目標端丟失update記錄
- 更新的是主鍵值，update轉換成insert
- 更新的鍵值是非主鍵，忽略該問題並不記錄到discardfile
目標端重復insert已存在的主鍵值，這將被replicat進程轉換為UPDATE現有主鍵值的行
報錯信息
- 2019-03-08 06:15:22 ERROR OGG-01201 Error reported by MGR : Access denied.
報錯原因
解決辦法
- ## 表示該mgr節點允許(ALLOW)10.186網段(IPADDR)的所有類型程序(PROG *)進行連接訪問ACCESSRULE, PROG *, IPADDR 10.186.*.*, ALLOW
報錯信息
- 2019-03-15 14:49:04 ERROR OGG-01192 Trying to use RMTTASK on data types which may be written as LOB chunks (Table: 'UNIONPAYCMS.CMS_OT_CONTENT_RTF').
報錯原因
解決方法
二、遷移方案
（一）環境信息
OGG版本 OGG 12.2.0.2.2 For Oracle OGG 12.2.0.2.2 For MySQL
資料庫版本 Oracle 11.2.0.4 MySQL 5.7.21
OGG_HOME /home/oracle/ogg /opt/ogg
（二）表結構遷移
表結構遷移屬於難度不高但內容比較繁瑣的一步，我們在遷移表結構時使用了一個叫sqlines的開源工具，對於sqlines工具在MySQL端創建失敗及不符合預期的表結構再進行特殊處理，以此來提高表結構轉換的效率。
注意：OGG在Oracle遷移MySQL的場景下不支持DDL語句同步，因此表結構遷移完成後到資料庫切換前盡量不要再修改表結構。
（三）數據遷移
數據同步的操作均採用OGG工具進行，考慮數據全量和增量的銜接，OGG需要先將增量同步的抽取進程啟動，抓取資料庫的redo log，待全量抽取結束後開啟增量數據回放，應用全量和增量這段期間產生的日誌數據，OGG可基於參數配置進行重復數據處理，所以使用OGG時優先將增量進行配置並啟用。此外，為了避免本章節篇幅過長，OGG參數將不再解釋，有需要的朋友可以查看官方提供的Reference文檔查詢任何你不理解的參數。
1.源端OGG配置
（1）Oracle資料庫配置
針對Oracle資料庫，OGG需要資料庫開啟歸檔模式及增加輔助補充日誌、強制記錄日誌等來保障OGG可抓取到完整的日誌信息
查看當前環境是否滿足要求，輸出結果如下圖所示：
（2）Oracle資料庫OGG用戶創建
OGG需要有一個用戶有許可權對資料庫的相關對象做操作，以下為涉及的許可權，該示例將創建一個用戶名和密碼均為ogg的Oracle資料庫用戶並授予以下許可權
（3）源端OGG 管理進程(MGR)配置
（4）源端OGG 表級補全日誌(trandata)配置
表級補全日誌需要在最小補全日誌打開的情況下才起作用,之前只在資料庫級開啟了最小補全日誌(alter database add supplemental log data;)，redolog記錄的信息還不夠全面，必須再使用add trandata開啟表級的補全日誌以獲得必要的信息。
（5）源端OGG 抽取進程(extract)配置
Extract進程運行在資料庫源端，負責從源端數據表或日誌中捕獲數據。Extract進程利用其內在的checkpoint機制，周期性地檢查並記錄其讀寫的位置，通常是寫入到本地的trail文件。這種機制是為了保證如果Extract進程終止或者操作系統宕機，我們重啟Extract進程後，GoldenGate能夠恢復到以前的狀態，從上一個斷點處繼續往下運行，而不會有任何數據損失。
（6）源端OGG 傳輸進程(pump)配置
pump進程運行在資料庫源端，其作用非常簡單。如果源端的Extract抽取進程使用了本地trail文件，那麼pump進程就會把trail文件以數據塊的形式通過TCP/IP協議發送到目標端，Pump進程本質上是Extract進程的一種特殊形式，如果不使用trail文件，那麼Extract進程在抽取完數據後，直接投遞到目標端。
補充：pump進程啟動時需要與目標端的mgr進程進行連接，所以需要優先將目標端的mgr提前配置好，否則會報錯連接被拒絕，無法傳輸抽取的日誌文件到目標端對應目錄下
（7）源端OGG 異構mapping文件(defgen)生成
該文件記錄了源庫需要復制的表的表結構定義信息，在源庫生成該文件後需要拷貝到目標庫的dirdef目錄，當目標庫的replica進程將傳輸過來的數據apply到目標庫時需要讀寫該文件，同構的資料庫不需要進行該操作。
2.目標端OGG配置
（1）目標端MySQL資料庫配置
（2）目標端OGG 管理進程(MGR)配置
目標端的MGR進程和源端配置一樣，可直接將源端配置方式在目標端重復執行一次即可，該部分不在贅述
（3）目標端OGG 檢查點日誌表(checkpoint)配置
checkpoint表用來保障一個事務執行完成後，在MySQL資料庫從有一張表記錄當前的日誌回放點，與MySQL復制記錄binlog的GTID或position點類似。
#### 切換至ogg軟體目錄並執行ggsci進入命令行終端
（4）目標端OGG 回放線程(replicat)配置
Replicat進程運行在目標端，是數據投遞的最後一站，負責讀取目標端Trail文件中的內容，並將解析其解析為DML語句，然後應用到目標資料庫中。
注意：replicat進程只需配置完成，無需啟動，待全量抽取完成後再啟動。
至此源端環境配置完成
待全量數據抽取完畢後啟動目標端回放進程即可完成數據准實時同步。
3.全量同步配置
全量數據同步為一次性操作，當OGG軟體部署完成及增量抽取進程配置並啟動後，可配置1個特殊的extract進程從表中抽取數據，將抽取的數據保存到目標端生成文件，目標端同時啟動一個單次運行的replicat回放進程將數據解析並回放至目標資料庫中。
（1）源端OGG 全量抽取進程(extract)配置
（2）目標端OGG 全量回放進程(replicat)配置
三、數據校驗
數據校驗是數據遷移過程中必不可少的環節，本章節提供給幾個數據校驗的思路共大家參數，校驗方式可以由以下幾個角度去實現：
1.通過OGG日誌查看全量、增量過程中discards記錄是否為0來判斷是否丟失數據；
2.通過對源端、目標端的表執行count判斷數據量是否一致；
3.編寫類似於pt-table-checksum校驗原理的程序，實現行級別一致性校驗，這種方式優缺點特別明顯，優點是能夠完全准確對數據內容進行校驗，缺點是需要遍歷每一行數據，校驗成本較高；
4.相對折中的數據校驗方式是通過業務角度，提前編寫好數十個返回結果較快的SQL，從業務角度抽樣校驗。
四、遷移問題處理
本章節將講述遷移過程中碰到的一些問題及相應的解決方式。
（一）MySQL限制
在Oracle到MySQL的表結構遷移過程中主要碰到以下兩個限制：
1. Oracle端的表結構因為最初設計不嚴謹，存在大量的列使用varchar(4000)數據類型，導致遷移到MySQL後超出行限制，表結構無法創建。由於MySQL本身數據結構的限制，一個16K的數據頁最少要存儲兩行數據，因此單行數據不能超過65,535 bytes，因此針對這種情況有兩種解決方式：
2. 與第一點類似，在Innodb存儲引擎中，索引前綴長度限制是767 bytes，若使用DYNAMIC、COMPRESSED行格式且開啟innodblargeprefix的場景下，這個限制是3072 bytes，即使用utf8mb4字元集時，最多隻能對varchar(768)的列創建索引；
3. 使用ogg全量初始化同步時，若存在外鍵約束，批量導入時由於各表的插入順序不唯一，可能子表先插入數據而主表還未插入，導致報錯子表依賴的記錄不存在，因此建議數據遷移階段禁用主外鍵約束，待遷移結束後再打開。
（二）全量與增量銜接
HANDLECOLLISIONS參數是實現OGG全量數據與增量數據銜接的關鍵，其實現原理是在全量抽取前先開啟增量抽取進程，抓去全量應用期間產生的redo log，當全量應用完成後，開啟增量回放進程，應用全量期間的增量數據。使用該參數後增量回放DML語句時主要有以下場景及處理邏輯：
（三）OGG版本選擇
在OGG版本選擇上我們也根據用戶的場景多次更換了OGG版本，最初因為客戶的Oracle 資料庫版本為11.2.0.4，因此我們在選擇OGG版本時優先選擇使用了11版本，但是使用過程中發現，每次數據抽取生成的trail文件達到2G左右時，OGG報錯連接中斷，查看RMTFILE參數詳細說明了解到trail文件默認限制為2G，後來我們替換OGG版本為12.3，使用MAXFILES參數控制生成多個指定大小的trail文件，回放時Replicat進程也能自動輪轉讀取Trail文件，最終解決該問題。但是如果不幸Oracle環境使用了Linux 5版本的系統，那麼你的OGG需要再降一個小版本，最高只能使用OGG 12.2。
（四）無主鍵表處理
在遷移過程中還碰到一個比較難搞的問題就是當前Oracle端存在大量表沒有主鍵。在MySQL中的表沒有主鍵這幾乎是不被允許的，因為很容易導致性能問題和主從延遲。同時在OGG遷移過程中表沒有主鍵也會產生一些隱患，比如對於沒有主鍵的表，OGG默認是將這個一行數據中所有的列拼湊起來作為唯一鍵，但實際還是可能存在重復數據導致數據同步異常，Oracle官方對此也提供了一個解決方案，通過對無主鍵表添加GUID列來作為行唯一標示，具體操作方式可以搜索MOS文檔ID 1271578.1進行查看。
（五）OGG安全規則
錯誤信息含義源端報錯表示為該抽取進程需要和目標端的mgr進程通訊，但是被拒絕，具體操作為：源端的extract進程需要與目標端mgr進行溝通，遠程將目標的replicat進行啟動，由於安全性現在而被拒絕連接。
在Oracle OGG 11版本後，增加了新特性安全性要求，如果需要遠程啟動目標端的replicat進程，需要在mgr節點增加訪問控制參數允許遠程調用
在源端和目標端的mgr節點上分別增加訪問控制規則並重啟
（六）數據抽取方式
根據官方文檔說明，當前直接通過Oracle資料庫抽取數據寫到MySQL這種initial-load方式，不支持LOBs數據類型，而表 UNIONPAYCMS.CMSOTCONTENT_RTF 則包含了CLOB欄位，無法進行傳輸,並且該方式不支持超過4k的欄位數據類型
將抽取進程中的RMTTASK改為RMTFILE參數
官方建議將數據先抽取成文件，再基於文件數據解析進行初始化導入
② 怎麼將oracle資料庫的數據遷移
遷移的話，直接導出一個庫的dmp文件，之後導入到另外一個庫裡面就可以了（導出和導入資料庫版本必須一直，否則導入可能會報錯）。
遷移數據導出：
1 將資料庫TEST完全導出,用戶名system 密碼manager 導出到D:\chu.dmp中
exp system/manager@TEST file=d:\chu.dmp full=y
2 將資料庫中system用戶與sys用戶的表導出
exp system/manager@TEST file=d:\chu.dmp owner=(system,sys)
3 將資料庫中的表table1 、table2導出
exp system/manager@TEST file=d:\chu.dmp tables=(table1,table2)
4 將資料庫中的表table1中的欄位filed1以"00"打頭的數據導出
③ 如何將Oracle資料庫數據文件遷移到其它目錄
文件遷移分幾種
第一，如果是裸設備和asm存儲，那麼最好就不要動，因為他們只能復制到一樣的存儲上，而且如果復制時出現問題，那麼可能無法挽回。
如果是文件系統（操作系統）的存儲，那麼可以移動和復制，不過移動復制前要下線，或者關閉資料庫，然後利用命令改變該文件在資料庫中的位置，然後再上線。我記得就是利用rename命令進行改變位置的。
④ 如何將正在運行的 Oracle 資料庫遷移到另一個系統
1、安裝 Oracle Solaris 操作系統
新的 SPARC 伺服器上預先安裝了 Oracle Solaris。對於這些系統，應確保安裝了相應的 Oracle Solaris 版本，並驗證打了所需的補丁。
2、安裝 Oracle VM Server for SPARC 軟體
新的 SPARC 伺服器上也預先安裝了 Oracle VM Server for SPARC 軟體。對於這些系統，應確保安裝了相應的 Oracle VM Server for SPARC 版本，並驗證打了所有需要的補丁。
3、配置存儲陣列
Sun Storage 2540-M2 存儲陣列連接到控制域，控制域將兩個 LUN（LUN 0 和 LUN 1）作為虛擬磁碟導出到來賓域。
4、配置控制域
安裝 Oracle VM Server for SPARC 軟體之後，重新配置當前系統使其成為控制域。
5、配置來賓域
配置控制域之後，創建來賓域以用作 Oracle 資料庫節點。在作為源計算機的物理伺服器上，僅創建一個來賓域。另一台物理伺服器最終將成為目標計算機。
6、准備目標伺服器
按如下方式准備目標伺服器。
執行以下各節中所述的步驟來准備目標計算機：
安裝 Oracle VM Server for SPARC 軟體
配置控制域
確保在目標伺服器上提供了供待遷移域使用的所有虛擬 I/O 服務。
確保目標伺服器有權訪問同一存儲中的 LUN 0 和 LUN 1。
確保待遷移域中的每個虛擬網路設備在目標計算機上都有一個對應的虛擬網路交換機。
⑤ oracle數據遷移有幾種方法
數據量小的話一般直接用數據泵或者exp/imp就ok了，也可以用rman備份，這些都是比較常規的，偏門點的可以用傳輸表空間，dblink直接復制等，反正看情況。
⑥ oracle數據遷移怎麼做
簡單到不能再簡單。
1先弄個DBLINK
2.通關select into from 直接創建並寫入表到要遷移的資料庫中
⑦ oracle存儲過程 表數據遷移
create sequence test_seq
minvalue 1
maxvalue 9999999999
start with 1
increment by 1
cache 20;
CREATE OR REPLACE PROCEDURE test ()
IS
l_seq NUMBER (10) := NULL;
BEGIN
for rs in (select * from a)loop
l_seq:=test_seq.nextVal;
insert into b(id,a1,a2)values(l_seq,rs.a1,rs.a2);
end loop;
commit;
EXCEPTION
WHEN OTHERS
THEN
rollback;
END;
大體是這樣的吧，
⑧ oracle資料庫遷移到另一個oracle資料庫
這個就簡單了，備份庫1，還原到庫2即可；或者將庫1的表結構和insert語句分別導出，放到庫2執行一次就行了，或者藉助三方工具，比如kettle
⑨ 怎樣用最簡單的方法復制或遷移Oracle資料庫
在DBA的日常工作中，經常需要重裝或在新機器上安裝Oracle,但每次安裝所浪費的時間、精力以及失敗的挫折都在考驗著DBA的承受能力，本文著重介紹了一個簡單的復制和遷移Oracle資料庫的方法，詳細內容請參考下文。
復制遷移的步驟如下：
◆1、首先，復制原Oracle資料庫的安裝目錄到新機器或系統中的安裝目錄，注意目錄要一致，盤符也要一致。
◆2、假如Oracle的安裝目錄不在Program Files系統文件夾下，我們需要把原系統中的Program Files文件夾下的Oracle目錄也復制到新系統的Program Files文件夾中去。
◆3、導出原系統中的Oracle注冊表信息，主要注冊信息如下：
A. HKEY_LOCAL_MACHINE/SOFTWARE/ORACLE
B. HKEY_LOCAL_MACHINE/SYSTEM/CurrentControlSet/Services 下有關Oracle的所有鍵，通常包括以下9個：
/OracleMTSRecoveryService
/OracleOraHome92Agent
/OracleOraHome92ClientCache
/OracleOraHome92HTTPServer
/OracleOraHome92PagingServer
/
/
/OracleOraHome92TNSListener
/OracleServiceORA8
◆4、注意：有多少個資料庫，注冊表服務鍵下的OracleServiceXXX就會有多個。其中最主要的有監聽服務和資料庫服務，即OracleOraHome92TNSListenerXXX和OracleServiceXXX。
◆5、將導出的所有注冊表的信息在新的系統中導入（注冊）。
◆6、設置系統環境變數，打開"我的電腦"的"屬性"界面，在"高級"而點擊"環境變數"進入設置，找到[Path]系統變數項目，點"編輯"，在變數值的輸入框的最後，加入";ORACLE的安裝目錄"。
◆7、最後我們需要進入 C:/Documents and Settings/All Users/Start Menu/Programs下把 Oracle - OraHome92 和 Oracle Installation Procts 兩個菜單文件夾也復制到新系統中，此時，就和新安裝的一樣了。重啟系統後，成功完成。
⑩ oracle資料庫怎麼從一個磁碟遷移到另一個磁碟
簡單步驟：
1、正常關閉資料庫；
2、遷移所有數據文件到新的盤；
3、啟動實例到mount階段，修改數據文件的路徑；
4、啟動實例到open階段，正常使用資料庫。
5、另外，如果想要遷移日誌文件，比較好辦，在新盤新目錄下創建新的redo，刪除原來盤上的redo。
6、如果想要遷移控制文件，那麼：
6.1、正常關閉資料庫；
6.2、遷移控制文件到新盤新目錄；
6.3、啟動實例到nomount階段；
6.4、修改實例參數control_files指向新的目錄；
6.4、alter database mount;
6.5、alter databse open;
如果要遷移資料庫軟體，那就另說了，可以先安裝一套DB軟體到新盤新目錄，然後修改環境變數指向新的環境，重要的變數包括ORACLE_BASE、ORACLE_HOME、PATH等。