安裝時應該選擇最為穩定的安裝版本,現在官方發布的版本主要為:
Oracle GoldenGate 11.2.1.0.1
對應不同的數據庫和版本,有不同的安裝介質。下面是根據現網情況使用的兩個安裝介質:
ogg112101_fbo_ggs_Linux_x64_ora10g_64bit.zip
ggs_Linux_x64_MySQL_64bit.tar
Oracle Golden Gate軟件是一種基于日志的結構化數據復制備份軟件,它通過解析源數據庫在線日志或歸檔日志獲得數據的增量變化,再將這些變化應用到目標數據庫,從而實現源數據庫與目標數據庫同步。Oracle Golden Gate可以在異構的IT基礎結構(包括幾乎所有常用操作系統平臺和數據庫平臺)之間實現大量數據亞秒一級的實時復制,從而在可以在應急系統、在線報表、實時數據倉庫供應、交易跟蹤、數據同步、集中/分發、容災、數據庫升級和移植、雙業務中心等多個場景下應用。同時,Oracle Golden Gate可以實現一對一、廣播(一對多)、聚合(多對一)、雙向、點對點、級聯等多種靈活的拓撲結構。
和傳統的邏輯復制一樣,Oracle GoldenGate實現原理是通過抽取源端的redo log或者archive log,然后通過TCP/IP投遞到目標端,最后解析還原應用到目標端,使目標端實現同源端數據同步。以下是OracleGoldenGate的技術架構
Manager進程
Manager進程是GoldenGate的控制進程,運行在源端和目標端上。它主要作用有以下幾個方面:啟動、監控、重啟Goldengate的其他進程,報告錯誤及事件,分配數據存儲空間,發布閥值報告等。
Extract進程
Extract運行在數據庫源端,負責從源端數據表或者日志中捕獲數據。
Pump進程
pump進程運行在數據庫源端。其作用是如果源端使用了本地的trail文件,那么pump進程就會把trail以數據塊的形式通過TCP/IP協議發送到目標端,這通常也是推薦的方式。pump進程本質是extract進程的一種特殊形式,如果不使用trails文件,那么就是extract進程在抽取完數據以后,直接投遞到目標端。
Trail文件
為了更有效、更安全的把數據庫事務信息從源端投遞到目標端。GoldenGate引進trail文件的概念。前面提到extract抽取完數據以后Goldengate會將抽取的事務信息轉化為一種GoldenGate專有格式的文件。然后pump負責把源端的trail文件投遞到目標端,所以源、目標兩端都會存在這種文件。trail文件存在的目的旨在防止單點故障,將事務信息持久化,并且使用checkpoint機制來記錄其讀寫位置,如果故障發生,則數據可以根據checkpoint記錄的位置來重傳。
Replicat進程
Replicat進程,通常我們也把它叫做應用進程。運行在目標端,是數據傳遞的最后一站,負責讀取目標端trail文件中的內容,并將其解析為DML或DDL語句,然后應用到目標數據庫中。
GGSCI
GGSCI是GoldenGate Software Command Interface 的縮寫,它提供了十分豐富的命令來對Goldengate進行各種操作,如創建、修改、監控GoldenGate進程等等
靈活的拓撲結構:
|
Databases |
OS and Platforms |
|
Capture: |
Windows 2000,2003,xp |
|
Oracle |
Linux |
|
DB2 UDB |
Sun Slolaris |
|
Microsoft SQL Server |
HP NonStop |
|
Sybase ASE |
HP Ux |
|
Teradata |
HP TRU64 |
|
Ingres |
IBM AIX |
|
Enscribe |
IBM z/OS |
|
SQL/MP |
|
|
SQL/MX |
|
|
Delivery: |
|
|
All listed above |
|
|
Mysql,hp neoview,Netezza |
|
|
And ODBC compatible databases |
|
源端是oracle生產數據庫,已經存在oracle和dba,復用該用戶和組。
目標端是mysql,已經存在mysql和dba,復用該用戶和組。
安裝Oracle GoldenGate軟件前,需要事先確認安裝目錄屬主權限正確,且所在文件系統有足夠的空間存放Oracle GoldenGate軟件并能支撐日常運維使用。對于存放dirdat數據目錄,至少需要100GB以上的空間。對于源庫是oracle rac模式,必須設置ogghome的目錄的存儲能讓rac兩臺主機識別,只是mount在一個任務較輕的節點上,若是該節點出現故障,能及時掛載到另外一個節點上,增加高可用性。
檢查安裝目錄所在文件系統空間信息,通過下述命令實現:
df -g /home/ogghome
確認安裝目錄屬主權限信息,通過下述命令實現:
ls –ld /home/ogghome
Oracle GoldenGate軟件通過解壓縮方式實現安裝,
解壓縮GoldenGate安裝文件,通過下述命令實現:
unzip ggs_*.zip
tar -xvf ggs_*.tar
Oracle GoldenGate軟件通過ggsci命令啟動交互界面,當ggsci啟動成功則表名安裝過程無誤。啟動ggsci前務必進入Oracle GoldenGate軟件的安裝目錄。
啟動Oracle GoldenGate的ggsci,通過下述命令實現:
cd /home/oracle/ggs/goldengate
./ggsci
Oracle數據庫的賬號必須設置LD_LIBRARY_PATH環境變量,否則會報錯,
LD_LIBRARY_PATH=/oracle/product/10.2/db/lib
進入安裝路徑,創建相關目錄(源端和目標端都執行),源端使用oracle用戶,目標端使用mysql用戶:
cd /home/ogghome
./ggsci
GGSCI> create subdirs
下面是日志:
Creating subdirectories under current directory /home/ogghome
Parameter files /home/ogghome/dirprm: already exists
Report files /home/ogghome/dirrpt: created
Checkpoint files /home/ogghome/dirchk: created
Process status files /home/ogghome/dirpcs: created
SQL script files /home/ogghome/dirsql: created
Database definitions files /home/ogghome/dirdef: created
Extract data files /home/ogghome/dirdat: created
Temporary files /home/ogghome/dirtmp: created
Stdout files /home/ogghome/dirout: created
GoldenGate是基于oracle日志變化的捕獲,所以為了完整的捕獲到oracle數據庫的變化,有必要將歸檔模式開啟。
SQL> alter system set log_archive_dest_1='location=/arch' scope=both;
SQL> shutdown immediate
SQL> startup mount
SQL> alter database archivelog
SQL> alter database open
SQL> archive log list
注意,由于上面命令涉及停止數據庫應用,應結合業務實際情況進行操作。
在oracle中我們可以通過rowid來定位某條記錄,但是目標端的數據庫和源端數據庫的數據庫可能完全不一樣,所以無法通過rowid來確定源端數據庫的邏輯變化,這時附件日志supplemental log便登上了表演的舞臺。數據庫在開啟附加日志功能后,對于源端的修改操作,oracle會同時追加能夠唯一標示記錄的列到redo log。這樣目標端數據庫就可以知道源端發生了哪些具體的變化。
SQL> alter database add supplemental log data;
SQL> alter system switch logfile;
SQL> select supplemental_log_data_min from v$database;
SQL>alter database force logging;
SQL>SELECT FORCE_LOGGING FROM V$DATABASE;
源端oracle數據庫創建賬號:
create tablespace data_goldengate datafile '+DG_DATA1' size 10240m autoextend on;
create user goldengate identified by password default tablespace data_goldengate temporary tablespace temp;
賦予goldengate相關權限(想簡單的話,可以賦予DBA權限,若是涉及安全問題,dba權限不能隨便賦予)
grant CONNECT,RESOURCE to goldengate;
grant CREATE SESSION,ALTER SESSION to goldengate;
grant SELECT ANY DICTIONARY,SELECT ANY TABLE to goldengate;
grant CREATE TABLE,ALTER ANY TABLE to goldengate;
grant unlimited tablespace to goldengate;
目標端mysql創建賬號,賦予dba權限:
grant ALL PRIVILEGES on *.* to goldengate@'%';
grant ALL PRIVILEGES on *.* to goldengate@'localhost';
update mysql.user set password=password('password') where user='goldengate';
./ggsci
GGSCI (localhost.localdomain) 1> dblogin userid goldengate password password
Successfully logged into database.
GGSCI (localhost.localdomain) 2> info trandata xianyezhao.CALENDAR_DETAIL
Logging of supplemental redo log data is disabled for table XIANYEZHAO.CALENDAR_DETAIL.
GGSCI (localhost.localdomain) 3> add trandata xianyezhao.CALENDAR_DETAIL
Logging of supplemental redo data enabled for table XIANYEZHAO.CALENDAR_DETAIL.
GGSCI (localhost.localdomain) 4> info trandata XIANYEZHAO.CALENDAR_DETAIL
Logging of supplemental redo log data is enabled for table XIANYEZHAO.CALENDAR_DETAIL.
Columns supplementally logged for table XIANYEZHAO.CALENDAR_DETAIL: SEQNO.
由于oracle redo 日志文件在ASM存儲上,goldengate軟件需要訪問ASM,
配置asm實例的tns連接字符串,由于監聽狀態是BLOCKED,必須添加(UR=A)才能通過ogg遠程登錄asm實例。下面是官方詳細說明:
ASM instances appear with a blocked status from the 'lsnrctl services'command (see below). To remotely access a 'blocked service' you need toadd (UR=A) to the tns connect string (plus you will need a password filefor the asm instance).
Tnsnames.ora entry:----
下面是監聽狀態,使用lsnrctl status查看:
Service "+ASM" has 1 instance(s).
Instance "+ASM2", status BLOCKED, has 1 handler(s) for this service...
下面是具體的tns連接字符串:
ASM =
(DESCRIPTION =
(ADDRESS = (PROTOCOL = TCP)(HOST = 192.168.219.6)(PORT = 1521))
(CONNECT_DATA =
(SERVER = DEDICATED)
(SERVICE_NAME = +ASM)
(INSTANCE_NAME = +ASM2)
(UR=A)
)
)
由于歸檔是使用文件系統,需要使用nfs文件模式,把另外一個節點的歸檔掛載到本地。
a.開啟nfs服務:
service nfs start
查看nfs狀態:
service nfs status
b.開啟nfs權限:
編輯權限列表:
vi /etc/exports
/archivelog1 *(rw)
更新權限:
exportfs –a
c.創建/archivelog1,更改權限為oracle和dba,
chown oracle:dba /archivelog1
使用root用戶mount上:
mount 192.168.219.3:/archivelog1 /archivelog1
ggsci> EDIT PARAMS MGR
PORT 7809
PURGEOLDEXTRACTS ./dirdat,USECHECKPOINTS
ggsci> START MGR
ggsci> INFO MGR
add extract ext_cal, tranlog, begin now, THREADS 2
EXTRACT added.
add exttrail ./dirdat/ca, extract ext_cal, megabytes 100
EXTTRAIL added.
下面******替換成密碼:
edit params ext_cal
/********************************************************************/
EXTRACT ext_cal
SETENV (NLS_LANG="AMERICAN_AMERICA.ZHS16GBK")
SETENV (ORACLE_SID="g139bak2")
userid goldengate, password password
TRANLOGOPTIONS ASMUSER sys@asm,ASMPASSWORD ******
EXTTRAIL ./dirdat/ca
TRANLOGOPTIONS LOGRETENTION DISABLED
TRANLOGOPTIONS BUFSIZE 2048000
tranlogoptions altarchivedlogformat threadid 1 g139bak_%S_%T_%R.log
tranlogoptions altarchivedlogformat threadid 2 g139bak_%S_%T_%R.log
tranlogoptions altarchivelogdest instance g139bak1 /archivelog1/g139bak_archivelog, altarchivelogdest instance g139bak2 /archivelog2/g139bak_archivelog
--DDL INCLUDE mapped
--DDLOPTIONS ADDTRANDATA
DISCARDFILE ./dirrpt/ext_cal.dsc,APPEND,MEGABYTES 1000
DISCARDROLLOVER AT 6:00
REPORTROLLOVER AT 6:00
REPORTCOUNT EVERY 1 HOURS,RATE
TRANLOGOPTIONS ALTARCHIVELOGDEST /archivelog2
FETCHOPTIONS MISSINGROW ABEND
STATOPTIONS REPORTFETCH
WARNLONGTRANS 1H,CHECKINTERVAL 10m
DYNAMICRESOLUTION
TABLE XIANYEZHAO.CALENDAR_DETAIL;
TABLE XIANYEZHAO.CALENDAR_INFO;
/********************************************************************/
下面是查看內容:
GGSCI (gb139bak02) 5> view report ext_cal
add extract dp_cal, exttrailsource ./dirdat/ca
add rmttrail ./dirdat/ca, extract dp_cal
edit params dp_cal
/********************************************************************/
EXTRACT dp_cal
passthru
DYNAMICRESOLUTION
RMTHOST 192.168.219.35, MGRPORT 7809, COMPRESS
RMTTRAIL ./dirdat/ca
TABLE XIANYEZHAO.CALENDAR_DETAIL;
TABLE XIANYEZHAO.CALENDAR_INFO;
/********************************************************************/
由于沒有配置目標端的mgr進程,7809沒有打開,網絡報錯,導致進程掛掉。
GGSCI (localhost.localdomain) 48> view report dp_cal
GGSCI (gb139bak02) 65> view report dp_cal
在源端編輯defgen文件
su - oracle
cd ./dirprm
$ vi cal.prm
DEFSFILE /home/ogghome/dirdef/cal.def
USERID goldengate PASSWORD password
TABLE XIANYEZHAO.CALENDAR_DETAIL;
TABLE XIANYEZHAO.CALENDAR_INFO;
通過執行defgen命令生成定義文件
/home/ogghome/defgen PARAMFILE /home/ogghome/dirprm/cal.prm
***********************************************************************
Oracle GoldenGate Table Definition Generator for Oracle
Version 11.2.1.0.1 OGGCORE_11.2.1.0.1_PLATFORMS_120423.0230
Linux, x64, 64bit (optimized), Oracle 10g on Apr 23 2012 05:09:39
Copyright (C) 1995, 2012, Oracle and/or its affiliates. All rights reserved.
Starting at 2014-06-09 15:24:08
***********************************************************************
Operating System Version:
Linux
Version #1 SMP Thu Sep 5 21:21:44 EDT 2013, Release 2.6.18-371.el5
Node: gb139bak02
Machine: x86_64
soft limit hard limit
Address Space Size : unlimited unlimited
Heap Size : unlimited unlimited
File Size : unlimited unlimited
CPU Time : unlimited unlimited
Process id: 2014
***********************************************************************
** Running with the following parameters **
***********************************************************************
DEFSFILE /home/ogghome/dirdef/cal.def
USERID goldengate PASSWORD ********
TABLE XIANYEZHAO.CALENDAR_DETAIL;
Retrieving definition for XIANYEZHAO.CALENDAR_DETAIL
TABLE XIANYEZHAO.CALENDAR_INFO;
Retrieving definition for XIANYEZHAO.CALENDAR_INFO
Definitions generated for 2 tables in /home/ogghome/dirdef/cal.def
把生成的def文件傳輸到mysql端
[oracle@localhost dirdef]$ sftp mysql@192.168.61.131
Connecting to 192.168.61.131...
mysql@192.168.61.131's password:
sftp> cd /home/ogghome/dirdef
sftp> !ls
sftp> put cal.def
Uploading cal.def to /home/ogghome/dirdef/cal.def
cal.def 100% 1001 1.0KB/s 00:00
修改mysql端定義文件的權限
chown mysql:dba /home/ogghome/dirdef/cal.def
chmod 755 /home/ogghome/dirdef/cal.def
1、查看系統改變號:
col current_scn for 999999999999999999999999999999
select current_scn from v$database;
--1138506
2、導出導入數據:
set linesize 133
col directory_path format a50
select * from dba_directories;
SYS DATA_PUMP_DIR /opt/oracle/app/admin/test/dpdump/
expdp \'/ as sysdba \' DIRECTORY=DATA_PUMP_DIR DUMPFILE=t3.dmp LOGFILE=t3.log TABLES=test.t3 FLASHBACK_SCN=1138506
impdp \'/ as sysdba \' DIRECTORY=DATA_PUMP_DIR DUMPFILE=t3.dmp LOGFILE=t3_imp.log TABLES=test.t3 REMAP_TABLESPACE=DATA_TEST:DATA_TEST
--REMAP_SCHEMA=TEST:TEST
3、啟動應用進程的時候,需要指定aftersn號,下面是具體例子:
用SCN 啟動Replicat
start rep_cal, aftercsn 1138506
使用goldengatedirect load的方式:
源端:
ADD EXTRACT einixyz, SOURCEISTABLE
EXTRACT einixyz
userid goldengate, password password
RMTHOST 192.168.219.35, MGRPORT 7809, COMPRESS
RMTTASK REPLICAT, GROUP RINIXYZ
TABLE XIANYEZHAO.T_INI;
創建定義文件
在源端編輯defgen文件
su - oracle
cd ./dirprm
$ vi cal_xyz.prm
DEFSFILE /home/ogghome/dirdef/cal_xyz.def
USERID goldengate PASSWORD password
TABLE XIANYEZHAO.T_INI;
通過執行defgen命令生成定義文件
/home/ogghome/defgen PARAMFILE /home/ogghome/dirprm/cal_xyz.prm
sftp上傳到目標端服務器/home/ogghome/dirdef/目錄下。
目標端:
ADD REPLICAT rinixyz, SPECIALRUN
replicat RINIXYZ
sourcedefs /home/ogghome/dirdef/cal_xyz.def
SETENV (MYSQL_UNIX_PORT=/mysql/dbdata/mysql.sock)
sourcedb cal@localhost userid goldengate, password password
reperror default, discard
discardfile ./dirrpt/ext_in.dsc,APPEND,MEGABYTES 1000
MAP XIANYEZHAO.T_INI , TARGET CAL.T_INI;
啟動數據初始化,只是需要在源端啟動抽取進程即可:
start einixyz
創建數據庫:
create database cal;
創建表,需要把oracle格式轉化為mysql格式,下面是部分內容:
1.number需要轉化成DECIMAL
2.varchar2需要轉化成varchar
3.date需要轉換成datetime
4.mysql不支持NUMBER(38,0)轉換成DECIMAL(38,0),因此,需要把*轉化成oracle最大的數值,38位長,DECIMAL(38,0)。
5.由于mysql分區字段必須是int類型,下面HASH (UIN)不能進行hash分區。
6.mysql索引沒有并發概念,去除parallel選項。
CREATE TABLE CALENDAR_DETAIL
( SEQNO DECIMAL NOT NULL,
DETAILSEQNO DECIMAL,
LABELID DECIMAL,
LABELTYPE DECIMAL(2,0),
MESSTYPE DECIMAL(2,0),
UIN VARCHAR(32),
SERVICEID DECIMAL(8,0),
SPSID VARCHAR(32),
RECTARGET VARCHAR(1024),
STARTSENDTIME DATETIME,
SENDMSG VARCHAR(2000),
CREATETIME DATETIME,
MODIFYTIME DATETIME,
TYPE DECIMAL(38,0) DEFAULT 0
);
CREATE INDEX CALENDAR_DETAIL_IDX3_NEW ON CALENDAR_DETAIL (DETAILSEQNO);
CREATE UNIQUE INDEX PK_CALENDAR_DETAIL ON CALENDAR_DETAIL (SEQNO);
CREATE INDEX CALENDAR_DETAIL_IDX1_NEW ON CALENDAR_DETAIL (STARTSENDTIME);
CREATE INDEX CALENDAR_DETAIL_IDX2_NEW ON CALENDAR_DETAIL (UIN);
ALTER TABLE CALENDAR_DETAIL ADD CONSTRAINT PK_CALENDAR_DETAIL PRIMARY KEY(SEQNO);
CREATE TABLE CALENDAR_INFO
( SEQNO DECIMAL NOT NULL,
UIN VARCHAR(32),
GID VARCHAR(50),
CREATORUIN VARCHAR(32),
SERVICEID DECIMAL(10,0),
SPSID VARCHAR(32),
TITLE VARCHAR(600),
SITE VARCHAR(200),
ISATTACH DECIMAL(2,0),
CONTENT VARCHAR(1500),
STARTDATE DATETIME,
ENDDATE DATETIME,
STARTTIME DECIMAL(5,0),
ENDTIME DECIMAL(5,0),
STATUS DECIMAL(2,0),
DATEDESCRIPT VARCHAR(128),
ENABLE DECIMAL(2,0),
AUTHSTATUS DECIMAL(2,0),
LABELID DECIMAL,
LABELTYPE DECIMAL(2,0),
SPECIALAPPID DECIMAL,
RECMYSMS DECIMAL(2,0),
RECMYEMAIL DECIMAL(2,0),
RECMOBILE VARCHAR(1024),
RECEMAIL VARCHAR(1024),
CREATETIME DATETIME,
MODIFYTIME DATETIME,
VERSION DECIMAL(8,0),
EXPEND VARCHAR(50),
COMEFROM DECIMAL(5,0),
SPECIALTYPE DECIMAL(2,0) DEFAULT 0
);
CREATE INDEX CALENDAR_INFO_IDX6_NEW ON CALENDAR_INFO (SPECIALAPPID);
CREATE INDEX CALENDAR_INFO_IDX1_NEW ON CALENDAR_INFO (UIN);
CREATE INDEX CALENDAR_INFO_IDX7_NEW ON CALENDAR_INFO (LABELID);
CREATE INDEX CALENDAR_INFO_IDX4_NEW ON CALENDAR_INFO (STARTTIME);
CREATE INDEX CALENDAR_INFO_IDX8_NEW ON CALENDAR_INFO (GID);
CREATE INDEX SPECIALTYPE_INDEX ON CALENDAR_INFO (SPECIALTYPE);
CREATE UNIQUE INDEX PK_CALENDAR_INFO ON CALENDAR_INFO (SEQNO);
CREATE INDEX CALENDAR_INFO_IDX5_NEW ON CALENDAR_INFO (ENDTIME);
CREATE INDEX CALENDAR_INFO_IDX3_NEW ON CALENDAR_INFO (ENDDATE);
CREATE INDEX CALENDAR_INFO_IDX2_NEW ON CALENDAR_INFO (STARTDATE);
ALTER TABLE CALENDAR_INFO ADD CONSTRAINT PK_CALENDAR_INFO PRIMARY KEY (SEQNO);
ggsci> EDIT PARAMS ./GLOBALS
CHECKPOINTTABLE goldengate.ggschkpt
ggsci> exit
ggsci> dblogin sourcedb cal@192.168.219.35:3306,userid goldengate, password password
ggsci> add checkpointtable cal.checkpt
Successfully created checkpoint table cal.checkpt.
add replicat rep_cal, exttrail ./dirdat/ca ,checkpointtable cal.checkpt
edit params rep_cal
/********************************************************************/
REPLICAT rep_cal
SETENV (MYSQL_UNIX_PORT=/mysql/dbdata/mysql.sock)
sourcedb cal@localhost userid goldengate, password password
SQLEXEC "select CURRENT_TIME();" EVERY 10 MINUTES
REPORT AT 6:00
gettruncates
STATOPTIONS RESETREPORTSTATS
reperror (default,abend)
discardrollover at 6:00
numfiles 1000
MAXLONGLEN 8000
dynamicresolution
allownoopupdates
SOURCEDEFS ./dirdef/cal.def
GROUPTRANSOPS 100000
MAXTRANSOPS 100000
REPORTCOUNT EVERY 1 MINUTES RATE
discardfile ./dirrpt/rep_cal.dsc, append, megabytes 1000
MAP XIANYEZHAO.CALENDAR_DETAIL , TARGET CAL.CALENDAR_DETAIL ,KEYCOLS( SEQNO );
MAP XIANYEZHAO.CALENDAR_INFO , TARGET CAL.CALENDAR_INFO ,KEYCOLS( SEQNO );
/********************************************************************/
若是oracle到oracle同步,則可以使用SCN 啟動Replica
start rep_cal, aftercsn 1138506
若是oracle到mysql,則直接啟動:
start rep_cal
查看命令:
GGSCI (mysqldb1) 20> info all
Program Status Group Lag at Chkpt Time Since Chkpt
MANAGER RUNNING
REPLICAT RUNNING REP_CAL 00:00:00 00:00:08
GGSCI (mysqldb1) 21> view report rep_cal
源端開啟相關進程
GGSCI> start mgr
GGSCI> start ext_cal
GGSCI> start dp_cal
目標端開啟相關進程
GGSCI> start mgr
GGSCI> start rep_cal
從oracle同步到mysql,屬于異構架構,不支持ddl同步,包括添加和刪除字段,添加和刪除索引,重命名表,表分析統計數據。
若是涉及到源端和目標端ddl操作,需要進行源端和目標端同時手工操作。
從oracle同步到mysql,支持DML同步。
CALENDAR_20131213_LOTTERY共有647581條記錄,沒有主鍵的表,每次進行插入和刪除是按照100000條記錄進行批處理,該值是由參數決定。
插入從15:18:43開始,到15:21:22結束,共使用159秒。
刪除從15:25:07開始,到15:28:42結束,共使用215秒。
在全同步期間的產生的DML,在開始增量后,數據同步是一致。批量同步會有部分延遲,每秒同步的數據插入是4072條記錄,刪除是3012條記錄。
CALENDAR_INVITE_INFO表共有14358726條記錄,全量同步開始時間16:36:12,在16:56:40時刻,源端插入 6645999,mysql目標端插入3887999,有2758000條記錄延遲。源端全部完成插入14358726,mysql目標端插入8545999。在17:19:19時刻,完成全部數據量插入,使用2587秒,每秒插入5550條左右。對比沒有主鍵的表來說,快了36%左右。因此,要求同步的表必須添加主鍵。
Update操作,calendar_detail表有12042條記錄,大概3秒左右完成同步目標端,更新為1.
SQL> select count(1) ,type from calendar_detail group by type;
COUNT(1) TYPE
---------- ----------
1783 3
10259 0
update calendar_detail set type=1;
mysql> select count(1) ,type from calendar_detail group by type;
+----------+------+
| count(1) | type |
+----------+------+
| 12042 | 1 |
+----------+------+
CALENDAR_INVITE_INFO使用下面同步腳本(存儲過程P_01):
declare
row_num number ;
cursor get_data is
select
SEQNO ,
CALSEQNO ,
UIN ,
INVITERUIN ,
INVITERALIAS ,
RECMYSMS ,
RECMYEMAIL ,
RECMOBILE ,
RECEMAIL ,
STATUS ,
REFUSERESION ,
INVITEAUTH ,
INVITEREMARK ,
INVITETIME ,
REMARKTIME ,
ENABLE ,
ISDELETED ,
BEFORETYPE ,
BEFORETIME ,
NOTIFYCONF ,
NEXTSENDDATE
from calendar01.CALENDAR_INVITE_INFO;
begin
row_num := 1;
for rec in get_data loop
insert into CALENDAR_INVITE_INFO(
SEQNO ,
CALSEQNO ,
UIN ,
INVITERUIN ,
INVITERALIAS ,
RECMYSMS ,
RECMYEMAIL ,
RECMOBILE ,
RECEMAIL ,
STATUS ,
REFUSERESION ,
INVITEAUTH ,
INVITEREMARK ,
INVITETIME ,
REMARKTIME ,
ENABLE ,
ISDELETED ,
BEFORETYPE ,
BEFORETIME ,
NOTIFYCONF ,
NEXTSENDDATE
)
values(
rec.SEQNO ,
rec.CALSEQNO ,
rec.UIN ,
rec.INVITERUIN ,
rec.INVITERALIAS ,
rec.RECMYSMS ,
rec.RECMYEMAIL ,
rec.RECMOBILE ,
rec.RECEMAIL ,
rec.STATUS ,
rec.REFUSERESION ,
rec.INVITEAUTH ,
rec.INVITEREMARK ,
rec.INVITETIME ,
rec.REMARKTIME ,
rec.ENABLE ,
rec.ISDELETED ,
rec.BEFORETYPE ,
rec.BEFORETIME ,
rec.NOTIFYCONF ,
rec.NEXTSENDDATE
);
row_num := row_num + 1;
--每2000條提交一次
if mod(row_num, 2000) = 0 then
commit;
end if;
end loop;
commit;<
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。