第三方数据交换平台方案v1.1.4(9)

2019-08-17 13:00

规则解析器示意图

为了能让程序去识别规则,系统必须对每个规则有个预定义的数据描述格

式。规则解析器由两个解析部分组成:

正向解析:是程序把操作员填写输入的各种参数,根据当前设置的规则类型,按照预定义的数据描述格式,把参数插入到数据格式中,形成规则处理器能识别的规则数据描述。

反向解析:是程序根据规则数据描述和预定义的数据描述格式,扫描出规则

的各种参数,并把这些参数重新填写到用户界面中,让操作员可以直观的看懂规则内容。

操作员在页面上设置的规则有各种各样的参数包括表名、字段、字段值等,

这些参数只有单独的含义,程序是无法通过这些参数自动识别并转化成数据加工的数据库条件的,所以我们需要把这些参数先转换成程序可识别的一种描述语言。针对规则定义一个规则描述格式,参数值预留。在程序获取用户输入参数后,把参数自动填写进预留位置,形成程序可识别的规则描述。现在比较流行有的有XML和JSON两种数据描述格式。

3.3.3.4 规则分发器

规则分发器示意图

此功能主要提供根据规则或规则组的处理器类型,分别动态去调用相符合的

规则处理器去处理这条规则或规则组。

每个交换项目的规则或规则组数量和类型都不会相同,为了灵活适应这种变

化,规则分发器提供了一个统一的入口。可以接受任意数量和任意类型的规则或规则组。

在规则分发器内部去遍历传入的规则组列表,根据规则组的处理类型,动态

创建规则处理器的实例,来处理这条规则组。

3.3.3.5 规则处理器

此功能主要负责去识别规则的描述语言格式动态生成sql并完成数据处理部

分的功能。

规则处理器都是由规则分发器负责实例化,不同类型的规则或规则组都有自

己专属的规则处理器。所有的规则处理器都继承自同一个父类,每个规则处理器都有自己特定的实现功能。例如新建最终数据表结构规则处理器,根据新建最终数据表规则描述去动态建立最终数据表;数据匹配处理器,根据匹配规则组动态生成sql select、update、insert语句,然后再根据这些sql语句去查询数据进行匹配。

3.3.4 系统核心功能设计概述

系统最核心的功能主要分为三个部分:数据导入,数据加工,数据应用。具体流程如下图所示:

系统核心功能图

系统通过这三个部分,可以达到数据进的来,能加工,出的去的过程。下面针对每个环节作出更加详细的描述。

3.3.5 数据导入设计

3.3.5.1 概述

【导入方式分类】

导入方式分类图

导入方式根据数据来源的不同可以分为三种:数据库直连;FTP自动导入;界面手工导入。其中数据库直连和FTP自动导入属于自动导入,只需人为设置一次,之后的周期性任务都可由系统自动完成。 【导入流程】

所有类型的导入流程如下图所示:

数据导入流程图

首先操作人员选择是何种类型的导入方式,定义导入参数,不同的导入方式需要以不同的参数设置,后续内容会详细描述。所有的参数都定制完成后系统会生成一条数据导入任务。任务调度引擎的任务适配器会监测到此条任务,此时任务管理器发出指令利用任务驱动核心驱动此条任务,并且推入任务线程池。系统会对任务进行管理和监控。在任务执行的过程中若出现异常(比如第三方数据源突然连接不上,交换平台本身服务器环境异常等)操作人员在监控中心会得到相应的反馈信息,给出后续操作的建议。关于任务调度引擎以及其内部组件的概念在3.3.2节中已经给出详细的解释。

执行的任务:根据导入参数的设置,后台自动建表,该表称作原始数据表。执行数据导入,将导入的数据存储在原始数据表中。对于一个定制的导入,只对


第三方数据交换平台方案v1.1.4(9).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:思八达-运营智慧笔记

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: