上述流程中的复制抽取方案与前期的抽取方案不同点是降低了复制的成本， 结
合了生产系统的数据， 并采用文本文件形式来传递数据到报表数据库中， 然后有报表数据库中调用相关的etl 程序来完成系统数据的整合。
1.2.2数据质量管理
报表数据来源于生产系统的数据，如果生产系统数据的不规范， 对我们进行数据
分析会带来很多麻烦，目前我们生产系统数据的问题主要包括了以下几个方面：
一 历史数据的问题。 主要表现在以下几个方面：
1} 历史数据的缺失， 在历史数据迁移的过程中没有考虑数据的完整性， 导
致很多数据出现了完整性的错误， 比如业务与财务数据不匹配， 赔款数据与承保数据不匹配。
2} 基础数据不匹配， 由于不同条款中所使用的计算因子不一样， 导致同一 属性的分类不一致。比如车辆使用性质， 在不同的产品条款中的分类是不一样的。 导致对车辆属性进行分析时带来了很多人为加工的因素。
3} 关键字段数据迁移不准确的情况。 比如案件的已决时间， 因为各个系统在 判断该时间的情况不一样。导致了相关的时间上理解错误的问题
4} 金额不匹配的问题，总金额不等于各个分项之和。例如保费。 总的保费不 等于各个险别的保费之和。
针对上述历史数据问题， 我们可以从以下几个方面来解决：
1} 对于数据的完整性， 我们可以通过已经迁移的数据进行全面的清理， 找 出相关错误数据并纠正。
2} 对于分类不一致的情况， 我们将由相关部门的配合， 将分类规则统一化 3} 对于关键字段不正确的情况， 我们也要求通过已迁移的数据进行全面的清
理， 并纠正相关的数据。
4} 金额不匹配的问题， 我们也将全面的清理不匹配的数据， 并找出原因， 纠 正相关的数据。
二 新系统数据的问题。 主要表现在以下几个方面：
1） 基础数据维护的问题， 在基础数据维护的维护过程中没有填写完整的信息，
导致后面数据分析， 没法把相关的生产数据进行归类，这样给我们分析数据带来了很多没必要的麻烦。同时也涉及到设置相关的数据， 会面临相对应的其他数据的设置， 比如新增机构代码， 必须要设置相应的财务作帐机构， 才能保证财务数据的准确性。
2} 生产系统中某些必录项目的录入。 其中包括了生产数据， 基础数据的维护 等都必须设置必录
3} 生产系统中出现非正常的数据，非正常数据 包括了几个方面：
数据的逻辑性， 系统中出现了非正常逻辑关系的数据， 比如案件已经结案，但是没有相应的已决时间和已决人。 出险时间大于报案时间， 批单生效日期小于保单的保险起期等。
数据的完整性， 系统出现了数据不一致性， 例如：业务数据信息与财务 数据信息的不一致。
数据的准确性， 各个接口之间数据不一致的情况
4} 目前存在有直接修改后台数据库的情况， 对于修改后台数据的情况， 由于 修改者没有考虑周期， 导致修改完的数据带来了数据不一致， 数据不完整， 数据不符合逻辑等问题。
5} 目前系统中存在有对非正常数据管理不严的情况，数据使用部门应该及时提
出相关的问题，并协同相关部门进行讨论， 例如估损金额为零的情况， 不及时报案登记， 不及时查勘定损的情况。
针对目前系统中存在的问题， 我们建议解决办法为：
1} 对于基础数据的维护， 我们建议统一设置的原则， 统一由总公司机构 部门来进行设置。
2} 对于生产系统中每个必录项目的清理， 我们建议对现在所有产品进行清 理， 并配合相关部门提供必录项目的表格。
3} 对于生产系统中出现数据匹配现象， 建议在数据抽取过程中进行一次数 据清洗。 根据事先预订的业务数据逻辑性检查规则进行检查并把错误 数据清理出来， 并交由相关部门来进行解决。 在这我们需要建立一个 数据纠错平台， 错误数据清理清单。 其中具体流程如下：
上述流程中适应的是业务数据本身的不正确的检查与纠错过程， 在上述检查的基础上， 我们还需要检查数据抽取的合理性。该过程主要是检查数据从生产系统到报表分析
系统的检验， 在检验的过程中， 我们只需检查笔数是否正确， 金额是否正确。 其中检验流程如下：
4} 对于需要修改后台数据的问题， 我们必须严格管理修改的途径，所有修改数据的
必须以书面的报告的形式进行上报， 并以各部门进行会签来进行管理。 5） 对于在我们进行数据分析和数据管理过程中遇到了数据源头处理不妥当的问题，
我们应该以需求形式提交给业务生产系统开发人员， 并修正相关的生产系统程序， 这样才能达到我们数据分析和管理要求。其处理流程如下：