Informatica - PowerCenter平台ETL开发规范(4)

2019-06-17 10:16

Informatica PowerCenter平台 ETL开发规范 4. 通用规范

4.1 Informatica文件夹配置

登录Informatica Administration Console主页面,在Integration Service服务节点下的“Processes”页配置Informatica文件夹:

$PMRootDir: $PMSessionLogDir: $PMBadFileDir: $PMCacheDir: $PMTargetFileDir: $PMSourceFileDir: $PMExtProcDir: $PMTempDir:

$PMWorkflowLogDir: $PMLookupFileDir: $PMStorageDir:

G:\\Informatica\\PowerCenter8.6.1\\server\\infa_shared $PMRootDir/SessLogs $PMRootDir/BadFiles $PMRootDir/Cache $PMRootDir/TgFiles $PMRootDir/SrcFiles ./ExtProc

$PMRootDir/Temp

$PMRootDir/WorkflowLogs $PMRootDir/LkpFiles $PMRootDir/Storage

上述变量中:

? $PMRootDir:Informatica工作文件的根目录,建议将此目录调整到用户自定义目录下 ? $PMSessionLogDir:Informatica Session运行日志存储目录 ? $PMBadFileDir:Informatica Session运行被拒绝错误数据存储目录 ? $PMCacheDir:Informatica缓存文件目录

? $PMTargetFileDir:Informatica 目标文件存储目录 ? $PMSourceFileDir:Informatica源文件存储目录 ? $PMTempDir:Informatica临时文件存储目录

? $PMWorkflowLogDir:Informatica workflow运行日志文件存储目录 ? $PMLookupFileDir:Informatica Lookup生成文件存储目录

4.2 操作系统文件夹配置

对于用到的Unix/Windows文件夹(备份文件夹、源文本下载文件夹、数据库数据文件存储文件夹等),需要向管理员申请开立。

Page: 16 of 39

Informatica PowerCenter平台 ETL开发规范 4.3 Session配置项

Session在运行时会根据预先的配置参数进行处理,在Informatica中同一文件夹下的多个session可以共享同一个配置,在Workflow Manager中通过“task”菜单下的“Session Configuration”子菜单可以创建、修改和删除配置模板。

这些配置模板包括内存选项、日志选项、出错处理等方面的参数,这里需要调整出错处理选项中的“Stop On Errors”参数为“1”,即session运行一旦出错就停止。

4.4 Informatica用户配置

根据ETL开发用户在Informatica Administration Console中创建用户、创建角色以及用户权限分配。

按角色划分,项目中需要设置三种角色:管理员、开发人员、操作员三种角色的用户,对于ETL开发人员一般授予PowerCenter Developer、PowerCenter Operator的角色,其他角色用户根据项目要求配置。

4.5 ETL转换规则说明

在ETL开发之前,ETL开发人员需要准备好源到目标的转换映射规则说明文档,可以从设计人员获取源与目标的转换与映射规则。

4.6 从平面文件导入数据

在对平面文件做任何转换处理前,建议先将平面文件抽取到临时表中,然后再基于临时表做处理。 但需要注意以下几点:

? 一般从平面文件读取字符型数据时需要使用ltrim和rtrim函数去除左右空格(但如果空格字符

有意义,则不能去除)

? 使用Upper函数将字符型数据转为大写,但需要确定数据对大小写是不敏感的(即数据是不

区分大小写的)

? 如果从固定分隔符分隔的结构化平面文件,必须使用在数据本身不会存在的字符作为分隔

符,应该避免使用逗号做分隔符,如使用:“~”分隔符

Page: 17 of 39

Informatica PowerCenter平台 ETL开发规范 4.7 从数据库导入数据

Mapping在设计时总是希望每次仅抽取自上次抽取以来发生变化的数据,对于从同一数据库多张数据表Join抽取数据的操作可以在一个source qualifier组件中通过SQL Join方式抽取数据,而不是通过Joiner组件join表。如果这些数据表不在同一个数据库则需要先将数据表复制到本地数据然后在一个source qualifier组件抽取。

注意:严格禁止使用DBLink跨数据库拼接数据表的做法。

4.8 从数据库导入数据结构

在从Oracle数据库中抽取多个用户下的数据表结构时会遇到问题,因为Informatica不支持同时读取多个用户下的数据表。为解决这个问题,可以将多个用户下的数据表建在一个测试账号下,然后从测试账号下导入所需的表结构定义。

为了规范从数据库导入源数据结构定义,如无特别要求,在导入源数据结构定义时ODBC名称需使用“<源系统英文简称>”。

4.9 布局规范

布局应自左向右,自上而下,层次分明,布局协调,主要的数据流为从左到右成直线(单一输入输出)或成扇形(多输入输出),次要数据流为自上到下成直线(单一输入输出)或成扇形(多输入输出),组件与组件之间应留有足够的空间展示组件之间连接线上的信息。主要输入输出,如下图:

4.10 注释规范

一个好的ETL程序不仅仅只包括代码还应该包括正确的注释,这不仅仅有助于在生产环境程序抛出错误异常时便于维护人员解决问题也是为了在资料库最大限度的保存ETL元数据。

Page: 18 of 39

Informatica PowerCenter平台 ETL开发规范 ? 资源库每个文件夹Comment必须包含项目名称和项目经理名称

? 每个Mapping、Session、Worklet、Workflow的描述框中必须有注释,用于说明功能用途 ? 每个转换组件的描述框中必须有注释,用于说明组件的用途和目的 ? 如果转换组件涉及业务规则,则需要在注释框中说明

? 转换组件每个新建输出端口和变量端口的描述框中都必须有注释,用于说明其目的和用途 转换描述信息的撰写规范:

?

Source Qualifier Descriptions

是否重写SQL,过滤条件

?

Lookup Transformation Descriptions

输入,输出,查询条件

?

Expression Transformation Descriptions

描述该表达式转换的功能,在发生转换的端口也添加描述,并尽量添加注释

?

Aggregator Transformation Descriptions

描述功能

?

Sequence Generators Transformation Descriptions

为某张表的某个字段生成序列

?

Joiner Transformation Descriptions

连接方式

?

Normalizer Transformation Descriptions

描述功能

?

Filter Transformation Descriptions

描述功能

?

Stored Procedure Transformation Descriptions

描述功能

?

Mapplet Input Transformation Descriptions

输入端口的用途

?

Mapplet Output Transformation Descriptions

输出端口的用途

?

Update Strategies Transformation Descriptions

更新类型(插入,更新,删除)

?

Sorter Transformation Descriptions

排序端口和方向

?

Router Transformation Descriptions

Page: 19 of 39

Informatica PowerCenter平台 ETL开发规范 描述分组和各分组的功能

4.11 日志文件

Session每次运行都会生成一个日志文件,默认情况下,日志文件是以session名称+“.log”命名的,对于同一个session在多个workflow中引用的情形,要确保session的名称不同。

Informatica中日志文件生成有两种方式,一种是按运行次数,一种是按时间戳方式,默认是按运行次数命名日志文件,不同的是按运行次数生成日志可以限制只保留最近n次的日志,但按时间戳方式生成日志则Informatica无法自动清理日志。

Page: 20 of 39


Informatica - PowerCenter平台ETL开发规范(4).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:2016-2017新教材苏教版二年级数学下册全册教案

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: