示例及模板: ? 数据清洗工作流程图: 国药国际数据清理任务国药国际数据清理讨论数据类别匹配判定是否需要新增类别否用户培训是新增类别讨论制定填报规范导入表新增类别单据开发配置国药国际数据整理(国际)数据排重导入上线前系统检查导出正式码下发国际系统上线
图清流流程示例
? 数据清洗步骤描述:
组织XX公司讨论数据清理方案;
XX公司根据讨论的结果结合主数据系统填报规范进行数据清理; XX公司提交清理的结果;
主数据项目组根据XX公司提交的数据进行匹配。匹配原则如下:
1、生产商、经销商数据按照名称与主数据系统数据进行匹配,能匹配上导出主数据数据,格式按照XX公司的格式,匹配不上的在原表中标注;
2、仪器设备按照通用名与厂家进行匹配,能匹配上导出主数据数据,格式按照XX公司的格式,匹配不上的在原表中标注;
3、工程机械类数据暂不处理;
4、其他类数据按照唯一性进行匹配,能匹配上导出主数据数据,格式按照XX公司的格式,匹配不上的在原表中标注;
5、匹配后的结果反馈XX公司进行核对;
第11页 /共15页
6、数据排重导入。 ? 数据清洗工具及效果描述:
对于数据校验规则的服务形式调用结果,提交一组数据后,将不符合数据校验规则的数据单独列出,可供前台系统进行提示及后续处理。
对于数据查重规则的服务形式调用结果,提交单条或多条记录后,将提交的记录与背景数据基于查重规则进行模糊比对,返回疑似记录,供前台系统进行提示及后续处理.
以任务形式提供的对于数据排重的检验结果。对于指定的数据集进行筛选,将其中疑似相近的记录以任务的形式进行提交。供前台系统进行提示以及后续处理。
1.1.5 主数据应用考核办法
为了进一步保障主数据管理平台成功实施和有效运行,必须做到组织、职能、责任、人员的四落实。 制定涉及到主数据管理的各个环节、组织、人员的一套绩效考核办法,明确各组织部门的职责与分工。 主要从三个方面来进行绩效考核: 1:申报数据的及时性、准确性和完整性 考核对象:申报单位和相关人员
考核办法:根据各类编码申报所需要填写的信息项以及录入规则,按照规则进行申报操作,各主数
据唯一性的分类属性,必须录入完整和准确。系统将会自动记录因数据录入不完整、不准确而导致修改的过程,可以定期列出申报人员操作质量报表。
2:新增及变更的审批及时性 考核对象:主数据审批人员
考核办法:主数据编码按不同大类划分,分别由相关主管部门负责审核,系统将会自动记录每个主
数据审核的全部过程,包括总体时间,每个环节的时间,处理人等信息。相关部门定期抽查这些审批过程,包括申报编码的数量及时性以及数据准确性、完整性,定期从信息系统中取得审批时效分析表,可以对审批时效进行分析排名。
3:下载使用及时性
考核对象:各下属相关部门
考核办法:要求各信息系统嵌入主数据编码,为单位间协调业务应用以及BI分析做好基础准备。
要求各信息系统提供数据检查的查询服务,总部信息部门可以定期通过BI系统从信息系统数据中抽取项目、人员等基础数据与主数据编码的数据集,并形成下载使用及时性分析报表。
示例及模板:可以参考下面的图例来表达主数据管理的考核方法。
第12页 /共15页
??申报数据的及时性列表:
单位 人员 时间范围 申报主数据类型 ??审批及时性列表:
单位 申请单据 ??下载及时性列表:
单位 信息系统
编码信息 发布时间 接收时间 时 耗配 是否匹人 提交审批人 提交时间 审批时间 耗时 被驳回次数 1.1.6 主数据系统接入规范
工作目标:制定一套针对航天科技相关业务系统与主数据平台的对接方案,以便在后续的系统建设、系统集成过程中有章可循。
工作方法:首先确定系统间接口方式。主数据平台采用主数据(企业服务总线)方式对外发布服务组件,因此与各业务系统的数据交互也遵循这一方式。航天科技企业服务总线针对当前服务列表的所有服务,提供Webservice调用方式。服务的指定实现厂商原则上也需要使用Webservice技术开发服务实现。
在构建和使用Web Service时,主要用到以下几个关键的技术和规则: 1.XML:描述数据的标准方法; 2.SOAP:表示信息交换的协议; 3.WSDL:Web服务描述语言;
Web Services Description Language的缩写,是一个用来描述Web服务和说明如何与Web服务通信的XML语言。
4.UDDI(Universal Description, Discovery and Integration):通用描述、发现与集成,它是一种独立于平台的,基于XML语言的用于在互联网上描述商务的协议。
确定接口方式后,再明确对接的系统交互流程,可以时序图的方式进行表达。时序图中,标出发起者、响应者、传递的参数、返回的数据格式、其他备注信息等。
流程确定后,还需要考虑接入的安全问题,即如何识别被接入的系统、如何确保数据的完整性和真实性、加密方式、密钥交换方式等。
第13页 /共15页
上述接入方案确定后,在遵循主数据服务标准、接入流程、安全规范等基础上,再与相关厂商商讨各自系统的改造方案,形成完整的系统接入改造方案。
示例及模板:可用下图的方式来表达系统接入流程。
国控ERP系统主数据服务总线主数据管理平台申报请求提交唯一性及正确性属性申报请求处理申报请求响应接收处理返回编码,保存至本系统数据库。使用唯一性属性在正式数据中检索若不存在,则直接将数据接收,并作为审核后数据处理。若存在,则获取正式码及当前相关属性。将正式码作为申报请求响应返回。比较当前正确性属性与申报请求中的正确性属性,若存在差异则向流程管理平台提交变更请求。数据处理请求返回正式码将接收数据作为已审核数据存储,并生成正式码返回。存储数据,返回正式码数据请求响应保存反馈的正式码反馈信息处理
图系统接入流程示例
1.2 主数据项目需要注意问题
1.2.1 甲方项目组织保证
主数据和一个业务系统实施不一样,它是一个覆盖全部部门和系统的工作,是所有项目和数据的基础,需要协调的部门和厂家很多。
甲方项目组需要公司高层直接带队,信息部门牵头组织,所有部门共同参与,不同的主数据会有不同的职责部门,相关的主数据标准和流程必须是职责部门最终确定,同时,主数据是基础性工作,不是业务部门之间需求,主数据对单个部门可能暂时看不出,对主数据必要性认识也不够,业务部门积极性不高,所
第14页 /共15页
以没有强有力的推进,项目进展会很艰难。
1.2.2 数据范围确定
一个企业主数据会有很多,如果一次把所有主数据都管起来,工作量会很大,周期会很长,通常主数据会分2-3年去完成,并持续优化。
这时候,主数据范围确定就很重要,给每个主数据排个优先级,企业最需要统一的、标准化程度高,基础好的、数据一致性好的、数据量可控的都是排序依据,最终根据优先级,我们分布建设主数据,这样可按期看到阶段性效果,便于项目推进。
1.2.3 系统集成
主数据如果不和系统集成,那么也是一个数据孤岛,解决不了数据质量问题,很多企业都整理过数据标准,但大多最终流于形式。
所以,主数据需要个所有系统进行对接。但是每个系统复杂性不一样,改造难度不一样,并不是每个系统都要按照一个标准去集成,同时,主数据对未来新建系统可以直接进行规范,对新数据可以直接规范,如果集成困难而不敢建立主数据系统,那么5年后,10年后,新建的系统同样面临现在的问题。
所以根据各系统情况不一,制定不同的集成方案,比如历史数据各自如何清理、数据对照在哪里做、数据是主动推送还是订阅方式,通过多种集成方式,最终逐渐解决企业系统间的数据不一致问题。
第15页 /共15页