ETL工具对比参考文档 - 图文

2019-08-29 19:53

参考1:

IBM information ETL厂商 Reiking server(datastage) 支持运行平台 windows/unix/Linux windows/unix/linux windows/unix/linux windowwindows/lins ux informatic OnceDI beeload ODI(oracle data integrate windows/linux 绝大部分支持 有局限性,与oracle数据库耦合太深。 数据访问模式支持 绝大部分支持 绝大部分支持 绝大部分支持 绝大部绝大部分支分支持 持 直接导入;数据导直接导入;导入方入目的库有两种式,数据导入支持批量加载(SQL loader方式)、除模式 其中insert模式基本架构 数据抽取方式 支持生成文件(落地)再导入;直接导入;消息协议 然后更新,需要手配置比较复杂, 行删除模式这种肯定会非常差。 对方工程师推荐能应该是最快的.以下测试是基于批量加载模式 加载方式 normal和bulk,即普通插入和批批量加载需要先将索引drop掉,新创建,但是这种大数据量时很慢,例如下文测试的数据抽取,28647秒,比普通插入 测试结果由informatic的工程师,其基于normal模式 递增字段实现,触发器模式,支持Oracle CDC CDC,实现秒级别的增量,另外付费购买 触发器模式/递增字段实现 3分42秒 触发器模式/递增字段实现 直接导入也可以使用dblink(oracle->oracle),透明网关(sql->oracle)) insert模式、行删量加载。 是插入到临时表,在加载完成后重工写update语句,方式在对付 只支持落地方直接导入 式 方式不考虑,性能hisdeliver 1个月批量加载模式,是万记录,需要4分的测试方案,其性要慢很多。下面的实时增量ETL支持 CDC,实现秒级别的增量 触发器模式/递增字段实现/stream(cdc) 单表hisdeliver抽取,记录数124810,耗时比较 性能 单表hisdeliver抽取,记录数2859999,耗时比较 22分12秒 6分12秒 2分58秒 1分16秒 17秒 15秒 2分7秒 19S 30分钟以上 未测试 3分49S 采集sqlserver数据;采集表zygd(记录数:597872) 不支持,只能手工流程中是否支持并行加载 支持 支持 支持 同时发起多个流程来实现并行加载 client 730279行 5分钟 并行加载性能 hisdeliver 124810行 异常处理 权限管理 支持 支持 支持 支持顺序、并行工作流、支持时间、事件、文件到达触发 定时(支持到分钟支持 支持 支持邮件通知 支持邮件通知 支持邮件通知 不支持 支持邮件通知 支持邮件通知 未加载 48秒 20秒 4分31秒 clientinfo 739278行 stockholder 1083789 7分钟 2分18秒 1分50秒 14分07秒 14分50秒 1分14秒 2分02秒 14分33秒 无法对并行流程进行更新的监控,只有整体运行完成时间,7分12秒 2分44秒 3分23秒 1分29秒 2分13秒 支持 支持(流程中串行异步模式) 测试报错 41秒 16秒 未测试 3分17秒 19S 11分钟 2分59秒 3分01秒 支持顺支持顺序、并序工作行工作流、支流、支持时间。在工持时间作流支持循触发 环 定时、事件触发 较弱 定时、事件触发 有专门的WEB工具来展示 支持顺序、并行工作流、支持时间 支持顺序、并行工支持顺序、并行工ETL工作流 作流、支持时间、作流、支持时间、事件触发 文件到达触发 流程触发 ETL管理 运行监控 定时、事件 只能定时(支持到天级别),比较弱 级别)、事件触发 较强 较强 较弱 详细,但是出错信较弱 ETL日志与报告 息需要查bad数据文件 强,采用SOA架构,很详细,能够看到所有的操作 很详细,能够看到所有的操作 不是很详细 比较详细 比较详细 部署 可以任意发布服务 较强 较强 可以任意发布 可以任意发布,按机器进行收费 可以任意发布,按CPU进行收费 可以按日定时调度;可流程调度 可以按日定时调可以按日定时调可以按日定时调可以按可以按日定度;可以支持到秒度;无法支持到秒度;可以支持到秒日定时时调度;可以以支持到秒级别的轮询级别的轮询调度无法支持事件触发(例如清算完成)调度,必须编API调用流程;支持变量模式,支持变量从某个表读取然后替换相应级别的轮询调度无法支持事件触发(例如清算完成)调度,必须编API调用流程;支持变量模式,无法支持变量从某个表读取然后替换级别的轮询调度无法支持事件触发(例如清算完成)调度,必须编API调用流程;支持变量模式,支持变量从某个表读取然后替换相应调度;支持到秒级持到秒度(实现实时级别的采集);支持轮询调事件触发(例如清算完成)现实时调度,必须编调度(实现实时采集);支持事件触发(例如清算完成)调度,必须编写调度程序,通过API调用流程;支持变量模式,支持变量从某个表读取然后替换相应的变量,(实现实时采集);(实现实时采集);(实现实时采集);可以支别的轮询调写调度程序,通过写调度程序,通过写调度程序,通过度(实采集);写调度程序,必须通过外部shell调无法支通过API调用用替换 持事件流程 的变量,必须通过相应的变量,必须的变量,必须通过触发外部shell调用替通过外部shell调外部shell调用替(例如换 用替换 换 清算完成)调度,必须编写调度程序,通过API调用流程 其他印象(可操作 性,易用性,界面 友好性) 在都采用批量加载时,大量数据时的性能 在都采用批量hisoperationtotal 17896802行 5分24秒 4分18秒 hisdeliver 8276997行 19分40秒 bulk:10分23秒 normal:10分31秒 hisoperationtotal 57747239行 27分21秒(20分226分56秒(17分 秒导数据;7分19秒建索引) 10秒导数据,9分46秒导数据) hisdeliver 12222466行 钟导数据,4分56秒) hisdeliver 4350338行 10分53秒 hisdeliver 2859999行 6分12秒 5分27秒 6分51秒(5分钟导数据,1分51秒 建索引 29分56秒(25分18分4秒(13分24秒导数据,4分40秒建索引) 加载时,大量数据时的性能(不带索引) 在都采用批量加载时,hisdeliver 在上大量数据时的性能(不带索引) 在都采用批量加载时,大量hisdeliver 加载3945469行 7分52秒 6分10秒 0 述里已有8276997行数据后,再次追加3945469行 8分47秒 6分钟 数据时的性能(不带索引)

参考2:

对比项 ? ? ? InformaticaPowerCenter IBM Datastage 产品完整性对比 ? ? 数据整合部分:Datastage,属于业界一类产品 数据整合部分:PowerCenter,是业界公认领导者 ? 数据质量管理:QualityStage,收购数据质量管理:Data Quality,成熟稳定技术,在的技术,不是主要其主要产品组成 中国有大规模应用的成功案例。 ? 实时数据捕获:MQ和DataMirror实时数据捕获:PowerExchange,业界领先实时采的技术,技术复杂,与DataStage集技术,支持广泛数据源的CDC和Realtime,与是不同风格产品,产品的耦合度极PowerCenter无缝集成。 差。 元数据管理:Metadata Manager,是业界领先的? 元数据管理:MetaStage,几乎免费企业级元数据管理平台,可做到字段级的元数据的产品,应用性极差,并不能管理各项分析,有广泛的元数据采集接口,图形化无企业级的元数据。而新推出的产品需编程,并可自动维护变更。 与旧有产品线耦合度差,并未经过市场的考验。 ? 虽然也是图形化的界面,但复杂的转换过程,里面嵌入了很多类BasicInformatica是全图形化的开发模式,不需要编码,脚本的成份。 工具易使用,界面友好、直观。 ? 要求开发人员,有编程语言基础。 专业的三天培训,可使开发人员快速入门,进行? 在处理大数据量,必须使用开发设计。 Datastage企业版。但如果客户原先开发人员只要懂得数据库知识,即可。 使用的Datastage标准版,其作业Informatica产品是以元数据为核心的,其开发过的版本移植问题很大。这两个版本程中,所有的元数据,包括规则和过程,均是可的工作平台、机制完全不同。作业复用,共享的。 移植,大概要有70%左右需要重新经过简单配置即可支持大数据量的处理。 开发定义。 Informatica是完全基于引擎级别的,所有功能模? Datastage是基于脚本级的,底层基块化,扩展性强,维护成本低。 于PICK BASIC和COBOL(Main Frame上)内核开发,要求不同的平台需要不同的系统环境变量配置。 ? ? ? ? 开发人员的使用效率 ? ? 应用需求的改变和拓展的支持 ? Informatica是以元数据为核心的平台,现在完全? 需求发生变化,需调整相应的作支持SOA的思想,其最大特点就是完全支持松耦业。如果是复杂需求,改动已有的合.可拆分成Service 进行调用.这样需求变化,脚本,其维护成本相对比较高。


ETL工具对比参考文档 - 图文.doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:反应器内件安装方案(正式版) - 图文

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: