Web操作控制系统和数据展现系统包含两部分内容,一部分是对数据交换过程进行操作和控制,它主要完成数据交换的过程管理。另一部分是数据展现应用系统,主要是把获取和处理好的数据,以各种形式展现出来,提供不同方式的展现形式,支持固定和可定制的信息查询。另外还提供可编程或非编程方式的数据访问接口。
2.3 核心软件系统结构
核心软件系统结构图
如上图所示,以模块化分层的方式表述了数据交换系统的软件架构,从大的
方面来讲,主要包含第三方数据源、数据接口层、传输控制层、数据处理层、交换数据库、数据应用接口和数据展现界面等分层模块。从2.2所述可以知道,软件系统由位于不同层级的节点组成。但是从软件架构上来讲,部署在不同层级的软件系统,除了在上下级系统之间,具有不同的数据流的处理(数据的上传和下发),除此之外,各个节点的数据交换软件系统在软件架构上是一致的。
2.3.2 第三方数据源
第三方数据源是整个系统所要交换数据的原始采集地,由于各个数据源的情况差别很大,存在很大的不确定性,所以就要求系统要支持多种类别的数据源。在综合分析以后,确定系统支持以下一些方式的数据源:数据库直连、FTP方式,手工文本。
数据库直连是信任度最高的一种数据源提供方式。假定第三方机构以某种方式,对其数据库访问,提供了一定权限的访问接口。在这样一种方式下,系统以事先约定好的访问规则,去对数据源进行自动访问,实现数据的采集。
FTP方式可能包括两种类型,一种是在数据接口层提供FTP服务器,以供第三方数据源的相关操作人员或自动运行的程序将所需交换的数据按事先约定好的文本格式,以一定的频率进行进行文件上传。另外一种方式是第三方数据源在其网络接口层提供可以访问的FTP服务器,本系统根据事先的约定,来完成FTP服务器的定时访问,获取到固定格式的文本数据。
手工文本方式是指通过其它渠道,以人工方式获取到的固定格式的第三方数据,它文本方式存储。
在这一层面,需要确定通信和数据采集的一些基本协议。例如,所要采集数
据的格式、频率等。
2.3.2 数据接口层
数据接口层和第三方数据源示意图
本层主要负责对外接口,提供数据库访问程序、FTP数据访问程序,FTP服务器、WEB操作界面等具体功能来实现和第三方数据源的连接,实现数据的采集。
数据库访问程序直接连接第三方数据源提供的数据库访问接口,按照接口协议,实现数据的直接读取。
FTP服务器提供给第三方机构,使其可以按照访问协议,上传本系统所需数据。
FTP数据访问程序连接第三方数据源提供的FTP服务器或者本系统FTP服务器,按照访问协议,获取数据并将其解析成可以利用的原始数据。
WEB操作界面提供数据导入功能,可以实现格式化数据的导入。
除了这些对外的功能性接口以外,本层还负责数据安全传输、数据有效性检测等。
2.3.3 传输控制层
传输控制层示意图
传输控制层是实现自动化数据采集的关键,它根据事先定义好的协议,去自
动处理用户定制的数据采集任务,同时处理数据采集中产生的异常情况,并进行反馈和预警。
自动数据采集采用监听任务脚本的方式去进行处理。首先,用户通过WEB界面去进行数据采集任务的定制,定制完成以后,会在后台形成一定格式的任务脚本的描述。其次,传输控制层得监听模块如果获取到了新增或修改过的任务描述脚本,则对脚本进行解析,按照脚本描述的规则,去驱动相应的程序模块进行通信,完成数据的自动化采集。
另外,传输控制层还会反馈一些预警信息,比如定制的数据采集任务没有完成或者采集过程中发生了异常,传输控制层都会对此过程进行记录,通过WEB界面把预警信息反馈给用户。
2.3.4 数据处理层
数据处理层示意图