图 1-1小组结构图
小组职责说明:
数据资源整理协调小组:负责数据资源整理过程中对各业务部门的总协调。
数据资源整理实施小组负责人:具体负责数据资源整理的各个过程,协调整理过程中的资源与进度,并将实施进度及问题按时向协调小组汇报。
数据清理组:补充不完整或者修正不正确的数据,并建立数据之间的关联关系; 数据转换组:编写《数据转换方案》并根据《数据转换方案》编写数据转换工具,根据编写的数据转换工具辅助进行数据转换。记载数据转换过程的中间记录,对转换前后数据进行比对,编写《数据转换报告》。其中,基础数据组负责单位、个人基础数据、单位缴费申报数据、各业务办理部门数据、代办机构数据的转换工作;养老保险组负责与养老保险有关的缴费数据、个人帐户数据、单位实缴数据、单位实付数据、养老保险待遇数据、养老保险待遇支付明细记录的转换工作;时间上,要求基础数据组的工作先行开展,其它养老保险组的工作可以随后并行开展。
数据检核组:保证数据的单个字段的取值正确,以及相关数据的关联关系正确。保证数据的准确性和完整性。
业务资源组:详细说明待迁移的数据源,整理旧系统数据字典,分析新旧系统的数据结构差异,编制《数据分析报告》。
1.7 数据整理和迁移方法 1.7.1 数据核对
数据核对采用数据分级过滤的方式,数据分级过滤就是把数据按照不同的数据级别进行分类整理进入不同的中间数据库中。本系统中我们把数据分为三个级别:废弃数据、待调整数据、可转换数据。废弃数据就是该部分数据的存在对系统资源造成浪费的数据,并且会影响以后系统的运行,比如重复的个人基本信息、重复的帐户信息、重复缴费信息。待调整数据就是该部分数据严重影响新系统的运行,必须进行人工调整后,方可进行数据转换。可转换数据就是该部分数据不需做任何处理,基本满足数据转换的要求或者是该部分数据新系统建议调整,但是不影响系统的运行,可以等新系统运行后再调整,这样可以为数据转换工作节省很多时间。
1.7.2 数据整理
数据整理就是将原系统数据整理为系统转换程序能够识别的数据。数据整理大致分为两个阶段:第一阶段就是将不同类型来源数据采集备份到统一的数据库中;第二阶段就是将原始数据进行整理,按照湖南省各地市的要求分类进入不同的中间数据库,为数据转换提供中间数据。数据整理过程中采用的方法示意图如下:
数据来源进入本数据库的数据为明确废弃数据(如重复数据)Oralce数据库中间数据废弃数据库数据整理工具Foxbase数据库数据采集原始数据备份数据库数据整理进入本数据库的数据为不能明确废弃的数据和满足条件的数据(如重复数据)数据转换中间数据库数据人工调整目标数据库其他数据库待调整数据库外部文件(excel/文本文件等)数据纠错工具进入本数据库的数据为需要调整的数据(如重复数据)系统数据整理示意图
图 1-2方法示意图
综合上图我们可以看出,数据整理过程采用了如下方法:
1.7.2.1 确保原始数据的完整性
在进行数据整理之间,我们先需要对原始采集数据进行备份。备份的目的有两个:一个是统一数据库,便于数据转换,另一个就是为以后数据追根溯源提供参考依据。在本系统中,我们将采用Oracle作为备份统一数据库。
1.7.2.2 借助数据整理相关工具
数据整理非常艰巨,涉及的数据量很大,通过人工检查是不可能完成的,因此必须编写相关的数据整理工具完成数据整理。包括数据整理工具和数据纠错工具。数据整理工具负责将原始备份数据库中的数据进行分类进入不同的中间数据库;数据纠错工具负责提供友好、方便的工具界面供用户方相关人员完善和纠正错误数据。
1.7.2.3 利用中间库作为桥梁
由于原系统和新系统的数据库结构可能不一样,所以采用中间库作为衔接新旧系统数
据的重要桥梁,对于建立新旧系统的对照关系很重要。一旦业务人员对新系统中某项转换数据存在疑问的情况下,就可以通过中间库的关联,顺利找出原数据。
1.7.3 数据补录方案
1.7.3.1 数据补录概述
数据补录主要是对于一些劳动部指标体系所要求的以及新系统中需要扩充的业务数据,并且这些业务数据原系统没有收录,这些数据多数是非电子格式或非结构数据,或者原系统中已收录但数据结构和格式与新系统相差太大,而无法通过数据整理工具整合,这些数据需要人工补录或补录工具软件转换补录到新系统中。
数据补录工作在本项目的数据整理工作中是一项重要的、独立的工作任务,需要开发数据补录软件支持本项工作的完成。必须将其放在同软件的设计、开发同等重要的位置上来,必须成立独立的数据采集工作组,有独立的负责人来负责数据采集工作的全过程。
1.7.3.2 数据补录管理 1.7.3.2.1 时间计划
按照云南省劳动和社会保障厅劳动力市场信息系统项目建设的时间要求,并考虑到数据采集的涉及面广、工作周期长的特点,数据采集工作建议系统需求调研的同时开始的同时进行为宜,在系统设计开发接近尾声的时候系统实施之前,数据采集、入库工作进行完毕。
1.7.3.2.2 数据补录软件开发
根据业务要求、指标体系规范和系统数据要求整理数据采集软件需求功能报告、数据采集指标项,设计开发数据采集软件。
1.7.3.2.3 人员要求
数据采集工作组需要如下类型的人员:
? 数据采集标准制定人员 ? 数据采集具体执行员 ? 数据批量录入人员 ? 数据检核人员
? 数据采集工作组负责人
1.7.3.2.4 工作要求
数据工作组的工作成败对于整个系统建设至关重要,因此数据采集工作组的工作人员显得尤其重要。工作组负责人必须经常保持和采集各类工作人员、应用软件开发负责人、用户方系统切换负责人等保持沟通与联系,及时将数据采集工作组发现的问题与他们取得沟通,以保证采集的数据能够满足新软件系统的要求。
1.7.3.2.5 组织机构
根据数据数据采集工作的特点,需要将整个工作组分为标准制定、数据采集、数据录入、数据检核四个组,由工作负责人统一协调和控制整个过程的工作。各小组的职责分工如下:
工作组负责人:负责数据采集过程中对各小组人员的任务分配、工作监督、控制,以及和其他相关部门之间协调共作等。
标准制定小组:负责制定数据采集的标准。
数据采集小组:负责采集数据、汇集原始资料信息。
数据录入小组:将采集来的数据批量录入到应用软件系统中。
数据检核小组:确保数据录入准确,以及相关数据的关联关系正确。保证数据的准确性和完整性。
1.7.3.3 基础数据采集
数据采集的具体过程是:
一、由标准制定小组,按照全国统一标准并结合本地需求,建立结构规范的数据采集标准。