datastage经验总结 - 图文(9)

2019-08-03 11:10

Dastage经验总结

12 DS Oracle EE Stage 配置

1安装Oracle客户端

2添加Oracle用户到dsadm group组选项 3配置DS服务器dsenv文件 4配置tnsnames.ora文件 5重起DS服务器

6 配置Oracle Stage抽取的Select权限 7 Oracle EE Stage配置结束

11.1 安装Oracle客户端

本部分请DBA协助完成。

在DataStage服务器上安装Oracle客户端。

11.2 添加Oracle用户到dsadm group组选项

本部分请操作系统管理员协助完成。

修改DataStage服务器上dsadm用户Group Set，添加Oracle用户组

11.3 配置DataStage服务器dsenv文件

Individual 2007-10 41 /

Dastage经验总结

创建环境变量ORACLE_HOME,并设置成$ORACLE_HOME路径；创建环境变量ORACLE_SID，并赋值正确的服务器名

添加 $ORACLE_HOME/bin 到PATH; 添加 $ORACLE_HOME/lib 到LIBPATH, LD_LIBRARY_PATH

注意：PATH路径中，$APT_ORCHHOME/bin必须在$ORACLE_HOME/bin前面 ####### ORACLE ######## ORACLE_HOME=/oracle/product/9.2; export ORACLE_HOME PATH=$PATH:$DSHOME/bin:$APT_ORCHHOME/bin:$APT_ORCHHOME/osh_wrappers:$ORACLE_HOME/bin export PATH LIBPATH=$LIBPATH:$ORACLE_HOME/lib32:$ORACLE_HOME/rdbms/lib32:$ORACLE_HOME/lib:$ORACLE_HOME/rdbms/lib export LIBPATH ORACLE_SID=pr011.shanghaigm.com export ORACLE_SID export NLS_LANG=\export TZ=\11.4 配置tnsnames.ora

PR009 =

(DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = PR009.SHANGHAIGM.COM)(PORT = 1521)) )

(CONNECT_DATA =

(SERVICE_NAME = PR009.SHANGHAIGM.COM) ) )

11.5 重起DataStage服务

断开所有DataStage客户端。

停止DataStage服务，执行命令uv –admin –stop

等待30秒uv -admin -start重新启动DataStage服务。

11.6 配置Oacle Stage抽取的Select权限

若使用OPS(Oracle Parallel Server)，则需要sys.gv_$instance和sys.v_$cache: GRANT select ON sys.gv_$instance TO public;

GRANT select ON sys.v_$cache TO public;

Individual 2007-10 42 /

Dastage经验总结

其他Select权限有：

dba_extents dba_data_files dba_tab_partitions dba_tab_subpartitions dba_objects all_part_indexes all_part_tables all_indexes

建议创建角色来赋权限，如下：

CREATE ROLE DSXE;

GRANT SELECT on sys.dba_extents to DSXE; GRANT SELECT on sys.dba_data_files to DSXE; GRANT SELECT on sys.dba_tab_partitions to DSXE; GRANT SELECT on sys.dba_tab_subpartitions to DSXE; GRANT SELECT on sys.dba_objects to DSXE; GRANT SELECT on sys.all_part_indexes to DSXE; GRANT SELECT on sys.all_part_tables to DSXE; GRANT SELECT on sys.all_indexes to DSXE; GRANT DSXE to ;

11.7 Oacle EE STAGE配置结束

创建测试job，测试从Oracle数据库中抽取数据

配置过程中，不可随意更改路径顺序。

DS ODBC 的配置

ODBC的配置主要是三个文件的配置:dsenv, .odbc.ini, uvodbc.config

12.1 修改$DSHOME /dsenv

ODBC访问的任何数据源,都要在dsenv中配置环境变量,例如访问ORACLE,DB2库,都要进行ORACLE,DB2的环境配置,主要包括: ? 数据库客户端连接必需的环境变量 ? 设置$PATH ? 设置$LIBPATH

Dsenv的修改,要重起服务才有效.

12.2 修改$DSHOME/.odbc.ini, 来提供数据库连接信息;

对于不同平台的配置示例,在DS的路径：$DSHOME/../branded_odbc/IBM_Tools 下有示例，下面是应用例子：

Individual 2007-10 43 /

Dastage经验总结

[PRINTDB_JQS]

Driver=/SGMEDWETL/dshome/Ascential/DataStage/branded_odbc/lib/VMmsss.so

Description=DataDirect SQL Server Wire Protocol Database=SGMPRINT LogonID=sgmprint Password=sgmprint Address=210.75.67.1,1022 IANAAppCodePage=113 QuotedId=No AnsiNPW=No

[SAPSTAGING] QEWSD=39400

Driver=/SGMEDWETL/dshome/Ascential/DataStage/branded_odbc/lib/VMor820.so

Description=DataDirect 5.00 Oracle ApplicationUsingThreads=1 ArraySize=60000

CatalogIncludesSynonyms=1 CatalogOptions=0

DefaultLongDataBuffLen=1024 DescribeAtPrepare=0 EnableDescribeParam=0 EnableNcharSupport=0 EnableScrollableCursors=1 EnableStaticCursorsForLongData=0 EnableTimestampWithTimeZone=0 LocalTimeZoneOffset= LockTimeOut=-1 LogonID=

OptimizeLongPerformance=0 Password=

ProcedureRetResults=0 ServerName=SWAPRD UseCurrentSchema=1

12.3 修改$DSHOME/uvodbc.config, 来指定DSN(data source name).

在$DSHOME/../branded_odbc/IBM_Tools 下也有uvodbc.config示例；

DBMSTYPE = ODBC ----注意“=”两边有空格

DNS的名字要和.odbc.ini中的名字一样，如下：

DBMSTYPE = ODBC

Individual 2007-10 44 /

Dastage经验总结

DBMSTYPE = ODBC

Note: 一般情况下Project directory下也要放置一个uvodbc.config,默认情况

下,DataStage在Projects directory下寻找uvodbc.config文件,找到了就在工程目录里使用它，否则会到$DSHOME下寻找uvodbc.config文件。

ETL系统扩展

当系统资源不足时,有两种方式扩展系统性能:SMP和MPP

1. SMP和MPP的区别

SMP是均衡的多处理系统,增加的CPU和Memory被所有的Project共享,好处

是扩展实施简单,只需修改Config File;缺点是受机器Time Window的限制,最高可扩展到64 CPU.

MPP是多数据量的并行处理系统,扩展的服务器与原服务器之间没关系,CPU

和Memory各自独占, 分别独立运行; 扩展的服务器与原服务器基于应用的工作量，将应用分别分配到两台机器独立运行.

2. 两种扩展方式可结合使用: 当SMP的扩展超出极限，选择MPP作为补充,即

应用切分扩展 3. 共有三种方式扩展MPP系统，前提是：每两台机器间通过Rsh交互；每台机器

都必须创建相同的dsadm用户及dstage主组；每台机器上的安装路径或者挂载路径必须完全一致。

? 扩展节点安装一套新的Datastage服务器，通过修改Configuration File和

原有的DataStage服务器组成MPP系统。 ? 使用$install_dir/install/ copy-orchdist脚本复制Datastage Engine到新的

扩展节点，修改Configuration File加载新的节点。 ? 通过NFS共享已有的Datastage目录，使新扩展的节点可以访问到

DataStage目录。修改configuration file添加新的节点。

15 Remote Shell (rsh)的配置

sisiu056, sisiu057, sisiu058, sisiu060四台机器任意两台之间都相互信任（即rlogin都可以成功），相互之间都可以通信,任意两个结点之间可以不需要密码，通过rsh执行命令或者登陆，主要涉及到两个文件的修改: .rhosts文件和 hosts.equiv文件。

14.1 创建并配置 .rhosts文件

Individual 2007-10 45 /

共10页:

datastage经验总结 - 图文(9).doc 将本文的Word文档下载到电脑下载失败或者文档不完整，请联系客服人员解决！

下载这篇word文档