第三方数据交换平台方案v1.1.4(5)

2019-08-17 13:00

数据处理层实现了原始采集数据的存储以及数据的预处理等环节。 原始数据以数据的原始结构进行保存,并记录操作时间,操作人员等信息。数据的处理包括宏观数据和微观数据的处理,宏观数据直接处理存储,微观数据则要和纳税户信息进行有效的关联,使其和地税户管建立对照表,进行自动匹配以及手工匹配。

自动匹配建立在关联字段信息一致性上,根据一定规则进行匹配,通过程序遍历,来自动生成匹配数据自动装载到对照表中,包含的字段有税务管理码、纳税人名称、第三方唯一标识码、企业名称、主关联字段、次关联字段等。如果部分关联信息一致或没有一致的关联信息,则需要提供界面去进行手工匹配,手工操作后,该部分数据也自动进入对照表。

数据处理层除了需要制定完备的数据匹配规则以外,还需进行多重逻辑校验,实现一定的容错性,以最大可能来反映数据的准确性。

2.3.5 交换数据库

交换数据库是交换系统所有数据的存储地,包括系统初始化数据、系统管理数据、原始采集数据、预处理后的正式交换数据等。根据需求,数据库进行良好的设计。

2.3.6 数据展现界面

本层主要实现数据的展现,包括各种查询分析功能。主要有固定查询、自主定制组合查询、信息交换统计查询、单户明细信息查询、适用税种查询分析、交换数据质量跟踪监控情况查询、可利用数据信息查询等内容。

2.3.7 数据应用接口

本层提供编程与非编程数据接口,使得交换系统的最终数据,可以为其它系统和部门所用。根据实际的需求情况,可考虑提供各种访问途径,例如:数据库直接访问方式、FTP文本数据共享、可编程远程接口、人工导出文本等。

2.3.8 上下级系统数据共享

本系统除了第三方数据交换功能以外,在级别上有省、市、县(区)三个级别,所以数据除了从本层第三方数据源进入本层交换系统以外,还可能存在数据的跨级别访问。比如,上级部门的交换数据可提供给下级部门进行展现和应用,而下级部门的数据交换情况,也可以提供给上级部门查看,比如提供数据交换总览图这样的功能,使得上级部门可以直接获知数据交换系统各个地方的部署实施情况等。

上下级数据的共享可以考虑两种方式,一种是直接操作上级或下级的交换平台系统,另外一种是提供数据的上传或下发,根据用户的实际需要,会同时提供两种方式。

2.3.9 数据交换标准

因为本系统可能会涉及到众多的第三方数据源,可能包含海量数据的交换处理与存储,而且数据的交换和处理环节也很多,所以为了更好的对数据进行交换和处理,使得数据最终能得到有效的利用,我们就需要制定各个环节的标准、规范和协议。而标准、规范、协议也是自动化数据处理的一个前提,否则很多环节必须通过人工干预才能进行。

首先关于数据源的标准化,也就是本系统都支持哪些类型的数据源,某种特定的数据源都必须要提供哪些参数。比如,如果支持数据库直连方式,那么就需要确定IP地址、端口、数据库、表(视图,存储过程等)、字段等参数,在用户进行数据采集任务定制的时候,如果选定了这种方式,那么上述所列的参数就必须提供。

其次是数据格式的标准化。只有采集到标准格式的数据,才能被后续环节所自动化处理。在进行数据采集之前,必须要确定数据以什么样的载体存在,在载体中以什么样一种格式存在。比如以数据库直连方式,那么数据应该就是以数据库表的方式存在。如果是以文本方式,那么就必须确定是什么样的文本格式:自定义文本格式、csv、excel等。这个还可以继续延伸下去,比如自定义格式是怎样的自定义规则,数据字段间以什么样方式分隔,数据字段的名字采用什么样的存储方式等等。

最后,是数据源和数据存储的标准化。因为采集的原始数据可能是多样性的,而这样的原始数据是不能为后续的系统例如风险评估系统来应用的,所以在数据的预处理阶段必须遵循数据源和数据存储的标准化,使得处理过的正式数据可以被其它第三方系统所识别,从而成为真正可以利用的数据。系统将根据税务系统制定的数据源或数据存储标准,去建立数据源,包括表的命名、字段的命名、字段的类型、字段的含义。因为当前阶段标准化工作还在进行中,所以系统的设计上要考虑多种方式的标准化接入。现阶段可以预见到的有:标准以文档的方式提供;标准以可编程接口提供。在数据源建立或数据存储建立的时候,根据一定的关键字去查询该标准,如果有匹配的标准定义,则遵循标准执行。如果没有标准,则可以自定义构建。

另外,还需要制定详尽的数据比对规则,只有这样,才能最大程度的进行数据的自动化匹配,进行有效数据的筛选与存储。

当然,还有很多的处理环节需要标准化,这将会在后续的详细设计中一一实现。

2.4 核心软件系统设计原则 2.4.1 自动化数据交换

在数据交换平台的软件体系内,处于最核心的部件是数据交换控制组件,该组件自动运行在后台,依据既定的标准交换协议对数据交换的各个环节进行监听,一旦监听到有需要处理的任务,则在后台自动化的完成数据的处理过程,这一过程不需要人工干预。如果某一过程的处理中,存在问题,则会自动预警。例如,原本定义好每天需要有新的交换文本上传到FTP进行交换,但是自动化处理过程在自动处理过程中,没有发现当天需要交换的新文本,则会向系统发一条预警通知,该通知会以某种方式,在WEB操作界面展现出来。

2.4.2 可定制数据交换

软件系统将实现数据交换的可定制化。在Web操作控制界面上,具有一定权限的操作人员,可以根据数据交换的需要,在既定的标准交换协议框架之内,实现灵活的的可定制数据交换操作。可以定制数据源、数据采集方式、采集频率等等。

当操作人员按照规则进行了数据交换的可定制操作以后,系统会生成一定的流程描述脚本提供给数据交换控制组件来自动运行。

2.4.3 多重方式数据的展现与利用

数据交换的最终目的是为了对数据进行管理和应用。那么,经过数据的采集与预处理,得到了可以利用的数据,我们最终需要以某种方式将数据加以展现和利用。本系统中,我们将会以两种方式来进行数据的展现与利用。

对于本系统的最终用户,系统将会提供基于Web的操作界面,来进行数据的查询与展现。根据业务需求,将会提供固定条件的数据查询与展现,以及在一定的业务范畴之内的可定制的数据查询与展现。

当然除了提供Web操作界面提供给最终用户来进行数据的查询与展现,还需提供基于不同方式的数据查询与展现接口以供第三方系统或用户来对数据进行查询和应用。那么根据需求,我们可以提供可编程数据访问接口、数据库直连、FTP自动交换以及文本导出等不同方式的接口。这个要在保证数据存储、传输的安全条件下,根据具体的需求来确定最终采用哪些方式。

2.4.4 数据全生命周期管理

本系统的核心着眼点是数据的交换处理和利用,所以对于数据的管理是最核心的一环。基于这一问题,需要设计完备的数据生命周期管理,从数据抽取到系统的第一步起,到数据最终的展现和应用。每个环节,都会提供相应的管理功能和操作界面,供具有权限的操作人员去对数据进行控制和处理。

另外,对于数据每个环节的操作和管理,系统都会提供详尽日志,以供后期分析查询使用,提供数据交换成果的统计与分析功能。


第三方数据交换平台方案v1.1.4(5).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:思八达-运营智慧笔记

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: