二、由数据采集小组工作人员按照标准进行原始数据采集,填报被采集对象的各项信息。
1.7.3.4 基础数据入库
基础数据采集完成后,需要将数据录入到数据库中。
一、由数据录入小组将采集来的数据,通过计算机批量录入到数据库中。 二、由数据检核小组对录入的数据进行系统地检查、核对,纠错等。
1.8 数据校验方案
数据校验通俗的说,就是为保证数据的完整性,用一种指定的算法对原始数据计算出的一个校验值。接收方用同样的算法计算一次校验值,如果和随数据提供的校验值一样,就说明数据是完整的。
最简单的校验就是把原始数据和待比较数据直接进行比较,看是否完全一样这种方法是最安全最准确的,但这种做法效率比较低,东软公司总结了多年来数据校验经验,通常情况下是先对历史数据结构进行分析,对于比较规范的业务数据先导出至上面提到的中间库,再对剩下的数据通过数据积累的校验方法库进行数据校验,校验并修正数据的类型、范围以及合法性等相关数据属性,以确保数据整理的快速有效。
对于源数据库、目标数据库结构有差异的数据,建立中间过渡库,中间库在原数据库平台中建立,但结构与目标数据库的结构相同。
将源数据库转入中间库的过程是一个数据的重新组合和关联的过程,将是转换的中心和重点工作,需要对源数据库与新数据库的数据关系进行深入分析,对每一个数据库写出转换策略。
非空处理:对于应该非空但实际为空的记录制定处理规则。
取值约束处理:对于有取值范围约束的字段进行规范化处理,即将转换后的数据取值规范到该范围内。
主键处理:重新对中间库进行编号。
填写外键:每个数据库或多或少存在外键,外键越多,标明与其它库关联越多,这样的库应后处理;反之,外键越少的库应该先处理。
唯一键处理:对要求唯一的数据项(主键、唯一键)进行唯一检测,并对检测出的不
唯一的记录,制定处理规则。
附加分散处理:对某些表中的某些字段进行数据规范化处理,即将不合规范的数据替换成规范的数据,几个表之间的关联处理,以及一些特殊处理等。数据一致性处理:对于有多个数据源的数据进行一致性检查, 制定处理规则。
1.9 新系统对历史数据的容错性
有些重要的历史数据虽然格式不能满足要求,但也要导入到新系统中来,这就要求新系统能够兼容这些数据,提供对这些历史问题数据继续进行分析修订功能。
1.10 系统迁移方案
为了确保新旧数据的一致性,以及确保旧系统的数据能完整、真实、合法地保存和延续,我们考虑采用两套系统同时运行的方式来做一个过渡,这种方式可以保证在出现故障时,数据至少可以在旧系统中顺利进行,同时也可以发现新系统的问题或者验证新系统的正确性,具体说来,就是一笔业务在新老系统中同时进行,考虑不影响业务处理的速度,由两个操作员分别操作新老系统。新旧系统并行的系统迁移通常分以下几步,首先新系统部署,然后进行系统的割接,待双系统并行一段时间,新系统运行稳定以后,切换掉旧系统运行新系统。
1.10.1 部署
在部署整个系统时,主要从两个方面进行考虑:
一方面,从保证各部门内部系统的安全方面的考虑,将公众服务业务建立在业务网络以外,公众信息网作为该项目前期面向公众的一个服务窗口,社会公众可通过利用语音、网上服务、手机等通讯手段进行访问,平台提供群众上访、举报、咨询、交流等的功能,方便群众和政府之间的信息交流。
另一方面,按照割接方案,对系统进行分步实施。
1.10.2 割接
系统是否能顺利实现,一方面取决于策划、组织、领导、部门配合等主观因素,但最
重要还要取决于计算机系统集成质量这一客观因素。
1.10.2.1 制定系统割接方案
在制定系统割接方案时,需要考虑采用缜密、灵活的新旧系统割接方案,使新系统的使用不对旧系统产生任何影响,并实现与现有系统的无缝割接。
1.10.2.2 分批割接
分批进行系统割接。按照工作量、人员熟悉程度等因素对所有相关部门分批进行各应用系统的割接。
分批时,可按政务系统不同进行划分,另外先在小范围内试用以便于控制。
1.10.3 两套系统同时运行
在两套系统同时运行时,需要对新老系统的输出结果进行比较以检验新系统运行正常与否,但这项工作较繁杂,速度较慢,如果在业务进行的同时进行,将会对业务处理的速度产生很大的影响。因此,可考虑利用晚上业务量小时进行比较,或采用自动化的方式(如编写专门的比较程序等)来进行比较。
在系统并行过程中,如用户方原设备性能能够满足新系统的要求,并且用户方未购置新设备,那么系统并行期间需要把原系统移植到过渡设备上,这种情况下,我公司免费提供过渡设备,保证系统的切换工作顺利完成。