SharePlex实施文档以及常见故障 - 图文

by你好我是李白

1．SharePlex安装配置部分 ........................................... 3

1.1解压安装 .................................................... 3 1.2 ora_setup配置 .............................................. 3 1.3 sp_cop -u2300&启动......................................... 3 1.4 sp_ctrl控制台 .............................................. 4 1.5 config配置文件 ............................................. 4 1.6 analyze config ................................ 4 2．SharePlex常用操作 ............................................... 5

2.1 copy命令 ................................................... 5 2.2 compare与repair............................................ 6 2.3 param设置参数 .............................................. 6 2.4 清除当前复制................................................ 7 2.5 SharePlex实用参数命令 ...................................... 7 2.6 忽略大事务的操作............................................ 8 2.7 修改SharePlex的数据库用户密码.............................. 8 2.8 新增复制表................................................. 11 2.9 删除复制表................................................. 13 2.10重命名表 .................................................. 15 2.11新增LOB列或者重命名列 .................................... 15 2.12 Alter table move a new tablespace......................... 16 2.13一个软件启动多个SP实例 ................................... 17 3．SharePlex AA复制实施 ........................................... 20

3.1 前言....................................................... 20 3.2 环境准备................................................... 20 3.3 数据初始化................................................. 20 3.4 reconcile队列数据 ......................................... 21 3.5开启目标端post............................................. 22 3.6目标端FK，job，trigger处理 ................................ 22 4．SharePlex其他复制说明 .......................................... 22

4.1 DDL复制 ................................................... 22 4.2 异构复制map columns ....................................... 23 4.3 级联复制................................................... 24

4.3.1中间系统为数据库，有post情况下级联复制 .............. 24

by你好我是李白

4.3.2中间系统为pass-through............................... 25 4.4 SharePlex高可用复制 ....................................... 26 4.5 配置Change-History复制.................................... 26

4.5.1Change-History........................................ 26 4.5.2其他的change-history配置选项 ........................ 27 4.6 Oracle到Kafka复制 ........................................ 29

4.6.1概述 ................................................. 29 4.6.2发送到Kafka说明 ..................................... 29 4.6.3源端SharePlex配置 ................................... 29 4.6.4开启supplemental logging............................. 29 4.6.5设置SP_OCT_USE_SUPP_KEYS参数 ........................ 29 4.6.6配置复制 ............................................. 30 4.6.7目标端SharePlex配置 ................................. 30 4.6.8查看并且修改Kafka设置 ............................... 31 4.6.9设置恢复选项 ......................................... 33

5．日常监控........................................................ 34

5.1 启动/关闭SharePlex ........................................ 34 5.2 登录控制台................................................. 34 5.3 主要监控项目............................................... 34 5.4 查看日志................................................... 36 6．一些性能诊断方案................................................ 36

6.1 针对capture too slow ...................................... 36 7．SharePlex一些问题的解决方案 .................................... 37

7.1 View events and error...................................... 37 7.2 忽略一些确定的可以忽略的错误............................... 37 7.3 insert null复制到Kafka不显示 ............................. 38

7.3.1问题描述 ............................................. 38 7.3.2解决方案 ............................................. 40

by你好我是李白

1．SharePlex安装配置部分

端口：

2100 ：SharePlex默认端口。

2501：start launcher需要开启端口，可以使用copy快速复制表。 安装前数据库操作

打开数据库最小附加日志：首先查看v$transaction视图有没有大事务，尽量避免有大事务的时候执行，如果系统资源非常紧张会导致宕机,RAC情况下各个节点都需要执行。

alter database add supplemental log data (primary key,unique index) columns; 查询最小附加日志情况：

select

SUPPLEMENTAL_LOG_DATA_MIN,SUPPLEMENTAL_LOG_DATA_PK,SUPPLEMENTAL_LOG_DATA_UI,SUPPLEMENTAL_LOG_DATA_FK,SUPPLEMENTAL_LOG_DATA_ALL from v$database; 源库需要打开归档。

1.1解压安装

使用oracle用户解压，安装。

$ ./SharePlex-8.6.6-b64-oracle110-rh-40-amd64-m64.tpm

1.2 ora_setup配置

--配置shareplex，配置时如果需要自定义复制的源与目标端的ORACLE_SID，则需要配置tnsnames.ora别名，且/etc/oratab中必须有对应于自定义的tnsnames别名的ORACLE_SID。

1.3 sp_cop -u2300&启动

[splex@localhost ~]export SP_SYS_HOST_NAME=cluster1vip 可以使用该参数指定shareplex启动到指定的IP上，可以使用netstat -an | grep

--启动 -u可以启动shareplex实例到指定端口，可以复制多个库。

by你好我是李白

1.4 sp_ctrl控制台

SharePlex日常操作都在sp_ctrl控制台中进行，启动命令为：

//bin/sp_ctrl,一般启动之后首先进入控制台执行sp_ctrl >stop post，停止。

1.5 config配置文件

Config配置文件为复制链路需要复制对象以及链路映射文件。 sp_ctrl>list config sp_ctrl> verify config

sp_ctrl>activate config

sp_ctrl>activate config [threads -n ] [nolock] --加nolock不锁表，如果在一定时间内获取锁失败，则继续往下进行

activate尽量执行两次，确保成功，可以同时tail -f 查看执行情况。 config配置样例以及配置规则： datasource:o.wahaha

#source tables target tables routing map

#splex.demo_src splex.demo_dest target_system@o.target_sid --target_sid为目标端的sid或别名。

? splex.demo_src --源库的用户名.表名，可以使用%通配符，全匹配半匹配

等。priv%not(table_name)排除表。 ? splex.demo_dest --目标库的用户名.表名

? target_system@o.target_sid --目标库的IP或hosts文件中映射名@为目

标端的sid或别名。 ? hr.test hr.test 192.168.204.151:scott_tab@o.honor1 --IP或主机名后

加冒号，可以为该表复制单独起一个队列。 ? mary.cust2!key(c1,c2) mary.cust2 proda@o.sid --自定义pk

1.6 analyze config

--可以分析config，生成报表，分析数据库表操作频繁记录等。

by你好我是李白

2．SharePlex常用操作

2.1 copy命令

命令说明：会将目标先truncate掉，然后再利用expdp加constraint=y参数导出再导入，如果你不想truncate目标端的原有同步数据则你需要使用另一个命令append

copy命令可实现单表或表分区的同步，不适合大批量表的同步。 使用要求：

目标端启动launcher： sp_ctrl> start launcher ――默认端口是2501

同步的表出现在已激活的配置文件中。

目标端的复制表所属用户需先建立，copy可以创建表结构，但要求表空间不变，所以建议先建好表结构再复制。 语法如下：

sp_ctrl> copy owner.tablename [at target_host]

如果相同的对象复制到不同的主机，需加at target_host选项，源端和目标端的用户名或者表名不一致的话还需加入目标端的owner.tablename 。 检查源端的copy状态： sp_ctrl> copy status all

copy status 查看job细节

cancel 可以取消job，一般针对长时间wait for的job 当日志积累多了不方便查看时，可清除日志： 源端清除日志：sp_ctrl> clear history all