DSG RealSync日常维护手册
迪思杰（北京）数码技术有限公司
1
数据同步.......................................................................................................................................... 3 1.1
首次全同步 ............................................................................................................................. 3
首先在目标端初始化复制进程 ..................................................................................... 3 在源端初始化复制进程 ................................................................................................. 4 全同步过程中源端日志监控 ......................................................................................... 4 全同步过程中目标端的日志监控 ................................................................................. 6
1.1.1 1.1.2 1.1.3 1.1.4 1.2 2 3
单独同步1张或几张表 ......................................................................................................... 7
如何设置日志分析间隔 .................................................................................................................. 8 日常运行过程中的日志监控 .......................................................................................................... 8 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8
源端日常分析的进度 ............................................................................................................. 8 目标端日常装载的进度 ......................................................................................................... 9 源端日常传送的进度 ........................................................................................................... 10 目标端日常接收的进度 ....................................................................................................... 10 源端日常是否XF1积压 ....................................................................................................... 11 目标端日常是否XF1积压 ................................................................................................... 11 源端传送的具体信息 ........................................................................................................... 12 目标端装载的具体信息 ....................................................................................................... 12
4 维护需要过滤的DDL操作 ......................................................................................................... 13 4.1 4.2
过滤DDL操作的意义 ......................................................................................................... 13 支持的过滤操作种类 ........................................................................................................... 13
5 如何进行日常的数据比对 ............................................................................................................ 16 5.1 5.2 5.3
比对之前首先登录到目标端主机 ........................................................................................ 16 登录到源端主机 ................................................................................................................... 16 在目标端查看比对日志 ....................................................................................................... 16
6 RAC切换情况下所需要的工作 .................................................................................................. 17 6.1 6.2
10.16.17.98主机出现问题 ................................................................................................... 17 10.16.17.98数据库出现问题................................................................................................ 18
7 源端灾难切换需要进行的操作 .................................................................................................... 18 7.1 7.2 7.3 7.4
源端停止复制进程 ............................................................................................................... 18 目标端停止复制进程 ........................................................................................................... 18 在目标端执行切换脚本 ....................................................................................................... 19 源端修复后的反向回切 ....................................................................................................... 19
8 日常需要删除的一些日志文件 .................................................................................................... 19 8.1 8.2
源端10.16.17.98机器上 ...................................................................................................... 19 目标端10.16.57.252机器上................................................................................................. 19
1 数据同步
1.1 首次全同步
此种情况操作发生在首次初始化同步或是发生某种特殊情况下，需要重新全同步要复制的表所进行的操作，请确认是否要做此操作
1.1.1 首先在目标端初始化复制进程
$cd /dsg/scripts 执行 ./stop 停止当前复制进程
./clean 初始化复制环境，注意该命令只在需要进行全同步时才运行，执行该命令后现有的复制关系将被清空，只能重新发起全同步操作后才能开始同步工作。
./start 启动复制进程 .
/check 检查复制进程启动状态
[oracle@dsg_test scripts]$ ./check
oracle 12499 1 0 09:46 pts/2 00:00:00 /dsg/bin/vagentd 4000 oracle 12500 12499 10 09:46 pts/2 00:05:20 /dsg/bin/vagentd 4000
oracle 12519 1 0 09:46 pts/2 00:00:00 /dsg/bin/loader -r -online_tables 1000 -qno 0 1 oracle 12521 12519 0 09:46 pts/2 00:00:00 /dsg/bin/loader -r -online_tables 1000 -qno 0 1 oracle 12518 1 0 09:46 pts/2 00:00:00 /dsg/bin/loader -s -qno 0 1 oracle 12522 12518 17 09:46 pts/2 00:09:09 /dsg/bin/loader -s -qno 0 1 oracle 12509 1 0 09:46 pts/2 00:00:00 /dsg/bin/loader -s -qno 1 1 oracle 12511 12509 19 09:46 pts/2 00:09:52 /dsg/bin/loader -s -qno 1 1 oracle 12523 1 0 09:46 pts/2 00:00:00 /dsg/bin/loader -s -qno 2 1 oracle 12524 12523 22 09:46 pts/2 00:11:32 /dsg/bin/loader -s -qno 2 1 oracle 12512 1 0 09:46 pts/2 00:00:00 /dsg/bin/loader -s -qno 3 1 oracle 12516 12512 27 09:46 pts/2 00:13:55 /dsg/bin/loader -s -qno 3 1 oracle 12493 1 0 09:46 ? 00:00:00 /dsg/bin/arch_vagentd_dsg /dsg/log/log.r0 /dsg/log/archivelog/log.r0_archlog 43200
上图为4个并发进程的启动情况，现场loader –s进程启动个数可能根据现场启动的并发数不同而不同。
1.1.2 在源端初始化复制进程
$cd /dsg/scripts 执行 ./stop 停止当前复制进程
./clean 初始化复制环境，注意该命令只在需要进行全同步时才运行，执行该命令后现有的复制关系将被清空，只能重新发起全同步操作后才能开始同步工作。
./start 启动复制进程
./check 检查复制进程启动状态
[oracle@dsg_test scripts]$ ./check
oracle 19445 1 0 09:45 pts/5 00:00:00 /dsg/bin/dbpsd 4002 oracle 19461 1 0 09:45 pts/5 00:00:00 /dsg/bin/vagentd 4000 oracle 19469 19461 44 09:45 pts/5 00:22:00 /dsg/bin/vagentd 4000 oracle 19455 1 0 09:45 pts/5 00:00:00 /dsg/bin/sender -tseq 1 oracle 19456 19455 0 09:45 pts/5 00:00:00 /dsg/bin/sender -tseq 1 oracle 19434 1 0 09:45 ? 00:00:00 /dsg/bin/arch_vagentd_dsg /dsg/log/log.sender /dsg/log/archivelog/log.sender_archlog 43200
oracle 19433 1 0 09:45 ? 00:00:00 /dsg/bin/arch_vagentd_dsg /dsg/log/log.vagentd /dsg/log/archivelog/log.vagentd_archlog 43200
如上图所有进程均正常启动表明复制进程正常启动 3)源端bin下执行 $cd /dsg/bin $ ./vman
VMAN> @vm
即可正常发起全同步操作
1.1.3 全同步过程中源端日志监控
$cd /dsg/log
1）通过tail –f log.vagentd命令查看全同步抓取日志进程vagentd的日志信息在同步导出的过程中显示导出百分之多少和导出多少M，可以监控到源端同步导出的进度。
/*开始抽取表，显示百分比（0.81%），已经抽取的大小（10MB），读取速度（R9:1.11），压缩速度（C0: 0.00），写速度（W0: 0.13），平均速度（P: 1.11），总共耗时（E:322）
*/
rz~~ 1.63% 20MB (R9: 3.33,C1:16.58,W1: 0.05,P: 1.66,T:0,E:651) wr~~ 2.44% 30MB (R9: 3.33,C5:11.11,W1: 0.06,P: 2.00,T:0,E:1010) rw~~ 3.25% 40MB (R9: 3.33,C2:11.11,W2: 0.04,P: 2.22,T:0,E:1411) wr~~ 4.07% 50MB (R9: 3.33,C3: 7.14,W4: 0.03,P: 2.38,T:0,E:1699) r~~~ 4.88% 60MB (R9: 3.33,C1:12.50,W2: 0.08,P: 2.50,T:0,E:2022) zr~~ 5.69% 70MB (R9: 3.33,C2: 0.00,W2: 0.00,P: 2.59,T:0,E:2297) grp# size seq# hws bsz nab flg dup fwd bwd blk(ofs) 1 262144 15540 2 512 262145 1 1 2 0 262145(0) 线程、日志大小、seq号、标志位、块大小、下一块、标志位（8为当前日志） Handling seq# 15545 - block 100245(ofs 0)-112849 /*正在处理15545号日志，在100245块，偏移量0*/
rw~~ 6.50% 80MB (R9: 3.33,C0:40.00,W1: 0.06,P: 2.67,T:0,E:2586) SCN 0x0000.00fd4561 in 2004-8-19:12:36:30 (U:1,C:1,D:400) Processed to: seq# 15545, blk:110484, ofs:448
SCN 0x0000.00fd45b7 in 2004-8-19:12:36:40 (U:1,C:0,D:718) $r~~ 7.32% 90MB (R9: 1.88,C0: 0.00,W0: 0.06,P: 2.55,T:0,E:2882)
2）查看导出结束的标志在log.vagentd日志中出现如下的打印信息：
========== Summary of DBPS Express Export ============
Tables 1950 (2938) Rows 141752480 Extents 11094 Zip Level 1
To Read 30185.69MB Read 30539.13MB XF1 31418.00MB XF1 Zipped 11625.83MB (63.00%) Elapsed 575.91(s)
====================================================== Adding Transactions ... Exporting Finished...
显示导出完成
3）通过tail –f log.sender命令查看发送数据进程sender的信息