Dastage经验总结
3.25 DS连接oracle问题
DATASTAGE +oracle 10g 客户端连接windows平台下oracle 10G数据库失败，报plug_in初始化失败。 答：
原因：未将ETL账户加入到DBA权限组中。加入以后就解决了。
3.26 在Sequence File Stage中的空值处理问题
在使用Sequence File Stage, ,给CHAR型等固定长度的字段赋空值时会报错 。
例如在往一个可以为NULL并且类型是CHAR(20)的字段FI_CARLINE 中写NULL数据时会报如下信息：
Sequential_File_8: When checking operator: When validating export schema: At field \但是如果是varchar类型的就没有问题。 解决方法：
在DataStage Administrator中的这个Project的User Defined中添加一个参数APT_IMPEXP_ALLOW_ZERO_LENGTH_FIXED_NULL 类型为string并且值设为0 就可以了。【注意：是数字中的0】
3.27 在DS中使用Oracle Enterprise Stage必须的权限 Oracle Enterprise Stage必须有以下权限才能使用 Have SELECT privilege on: ? DBA_EXTENTS ? DBA_DATA_FILES ? DBA_TAB_PARTITONS ? DBA_TAB_SUBPARTITONS ? DBA_OBJECTS
? ALL_PART_INDEXES ? ALL_PART_TABLES ? ALL_INDEXES
? SYS.GV_$INSTANCE (Only if Oracle Parallel Server is used)
3.28 DS中去除‘回车符’的问题以及从char类型转变成整型的方法
在datastage中，从char类型变成整型用可以stringToDecimal这个函数，不能用AsInteger，更不能直接转 。
在datastage中和SQL server中‘回车’是用char(10)来表示的，在ORACLE中是用CHR(10)来表示的。
在datastage中要把字段中的回车替代掉就用 Ereplace(LK01.col_num,CHAR(10),' ') replace(replace(deliverer_phone,CHR(13),''),CHR(10),'') deliverer_phone 其中deliverer_phone是表示需要处理的字段,注意后面要用个别名！
Individual 2007-10 26 /
64
Dastage经验总结
3.29 从后台看JOB列表的方法
怎样查询一个工程里的JOB列表？ 方法一： cd $DSHOME cd bin
dsjob -ljobs 工程名（SGMEDS01） | grep ds > 要存放的文件目录（/SGMEDWETL/tmp/tangning.txt） 方法二： uvsh
LOGTO SGMEDS01
SELECT NAME FROM DS_JOBS WHERE NAME LIKE '%SAP%' 方法三：
进入存放JOB的位置，要产看某个project的JOB信息就进到相应的project下面
用dssh“SELECT * FROM DS_JOBS WHERE NAME=’ I_Tr_TRC_TI_TRC_ASC’”
或者是uvsh “SELECT * FROM DS_JOBS WHERE NAME=’ I_Tr_TRC_TI_TRC_ASC’” 都可以实现查询。如下图所示：
3.30 Datastage和数据库的连接方法
Datastage和数据库有两种方法连接：
一种是通过ODBC连接，这个可以查看.odbc.ini文件里查看 另一种方法是通过客户端连接，就象是oracle的tnsnames.ora文件还有db2的directory一样。 从后台查看服务器配置了哪些db2客户端用db2 list db directory 3.31 在datastage中使用环境变量的问题
在datastage中如果用到了环境变量的话，那么这个环境变量一定也要在/$dshome/dsenv 中配置一下，然后重启datastage服务器以后 才会生效！
例如：在dsadm用户下的 .profile 文件中配置了一个环境变量 export ETLPATH=/SGMEDWETL/dsdata/projects 那么同样我们也要在/$dshome/dsenv 中配置一下 export ETLPATH=/SGMEDWETL/dsdata/projects
Individual 2007-10 27 /
64
Dastage经验总结
无论是在datastage 的routines 中用到这个环境变量还是用一个stage调用shell程序都要这样做，只要是通过datastage 来用到这个环境变量，那么都要在两个文件中配置！
3.32 IConv 和 OConv
IConv 将一个字符型的日期转换成一个国际数字，是天数 ； OConv 将一个日期的‘天数’转换成一个具有格式的字符串； 例如： IConv（“12-31-1967”，“D-DMY[2,2,4]” ） -----》0 IConv（“12311967” ，“D4 DMY[2,2,4]”） -----》0 IConv（“12-31-67” ，“D2-MDY[2,2,2]”） -----》0
OConv（0，“D-DMY[2,2,4]”）----》“12-31-1967” OConv（IConv（“12311967” ，“D4 DMY[2,2,4]”），”D/YDM[4,2,A10]“）-----》”1967/31/December\
3.33 在Merge中使用特殊字符
在语句中间要是需要加字符的话要用下面的方法：
Merge into (SELECT \\* FROM ##SCHEMA##.TD_ASC_PART WHERE VALID=1 AND ASC_CODE<>'\\'SGM\\'')
注意语句中的 '\\'SGM\\'' 本身应该是‘SGM’
注意：用来判断是否匹配的字段值不能为NULL，如果有为NULL的可以用一下方法来替换一下： 例如：
若字段是字符形的：coalesce(ah.STORAGE_CODE,'\\'1\\'')=coalesce(sh.STORAGE_CODE,'\\'1\\'') 若字段是数字形的：VALUS（ah.STORAGE_CODE,1）＝VALUS（sh.STORAGE_CODE,1）
注释: 如何把双引号包含到echo命令的字符串中,引号是一个特殊字符,所以必须要使用反斜杠 \\ 来使shell
忽略它的特殊含义!例如你希望输出字符串: \那么只需要在引号前面加上反斜杠 \\ 就可以了
echo \ \
4 部分常用Stage 的使用说明
Stage名称 Transformer 说明 对任何需要转换的输入的数据集合进行转换,并将数据传输到其他活动的Stage 中或一个将数据写入数据库或文件的Stage 用来并行执行更复杂的排序操作 Individual 2007-10 28 /
Sort 64
Dastage经验总结
Merge Join 将一个或多个排序的更新数据集合合并成一个排序的主数据集合 在一个或多个输入数据集合上执行连接操作并输出一个结果数据集,连接操作支持:Inner, Left Outer, Right Outer 和 Full Outer Join 对于输入的数据记录进行分组并且计算每一组的合计和总计 对多个表进行左外连接操作 把多个数据集合并成一个大的数据集,且表结构要相同 删除重复的记录 基于用户指定的约束(“where 子句),将输入数据转换到不同的输出数据集(Link),对于过滤记录是非常有效的 相当于C语言中Switch功能,通过selector来选定字段,case来指定值,最多128个output, 1个reject link 拷贝一个输入数据集到多个输出数据集;而且不需要修改 抓取两个输入数据集，表现为前和后，并且获取后面的数据路输出一个记录表现已经改变的数据集. 行列互换 将记录字段值显示到作业日志或分开的output link,就象Copy Stage将输入的数据拷贝到一个或多个输出数据集. IBM DB2 UDB 访问 ? 从数据库读取数据或将数据写入DB2数据库 ? 顺序执行或并行执行 ? 支持DB2的HASH分区 ? 支持WRITE,UPSERT和LOAD的写方法 ? 支持表,自动产生SQL和用户定义SQL读方法 Oracle数据库访问 ? 从ORACLE数据库读取数据或将数据写入数据库 ? 顺序执行或并行执行 ? 支持LOAD和UPSERT写方法 ? 支持TABLE和QUERY读方法 Teradata数据库访问 ? 从TERADATA数据库读取数据和将数据写入数据库 ? FastExport: Table, Auto-generated SQL, User-generater SQL ? FastLoad: Create, Append, Replace, Truncate ? 顺序执行和并行执行 ? 支持TUF6.1, TTU7.0 Informix XPS 数据库访问 ? 从INFORMIX XPS数据库读取数据或将数据写入数据库 Individual 2007-10 29 / Aggregator Lookup Funnel Remove Duplicates Filter Switch Copy Change Capture Pivot Peek Surrogate_Key_Generator 用于产生一个代理键 DB2 Oracle Teradata Informix XPS 64
Dastage经验总结
? 顺序执行或并行执行 ODBC 使用ODBC 访问数据库 5 dsjob 语法说明:
登陆DataStage服务器,输入:cd $DSHOME/bin;在输入dsjob 回车,进入dsjob命令;
Command Syntax:
dsjob [-file
Valid primary command options are: -run -stop -lprojects -ljobs
-linvocations -lstages -llinks
-projectinfo -jobinfo -stageinfo -linkinfo -lparams -paraminfo -log -logsum -logdetail -lognewest -report -jobid -import 命令说明 语法 命令 -run -stop -lprojects -ljobs -lstages -llinks 64
运行JOB,也可获得JOBSTATUS 停止JOB运行 显示服务器上的所有工程名 显示一个工程上的所有JOB名 显示一个JOB中所有的stage名 显示一个stage中含有的LINK名 dsjob –run