第三方数据交换平台方案v1.1.4(6)

2019-08-17 13:00

2.4.5 数据字段业务标准

本系统自动化成分很高,自动建表,索引,存储过程等工作都是由系统脚本自动生成。例如在创建数据交换项的时候,数据进入系统采用的数据字段都是要满足《数据标准平台》的标准的,新字段要通过《数据标准平台》审核。

2.5 数据存储设计

在本系统中,数据存储的设计包括两方面的内容,首先是数据库的部署设计,其次是数据库表的设计。

因为本系统跨地域、跨部门、跨业务,跨上下级关系,所以要实现数据的采集处理和共享,决定了本系统是一个分布式系统。数据库的部署也必须分地区,分层次,各个地方部署各自的数据库进行交换数据的存储。省级的交换数据存储在省级的数据库服务器中,市级的交换数据存储在市级的数据库服务器中,县(区)级的交换数据存储在县(区)级的数据库服务中。

另外,因为要经过数据的ETL,才能得到可以利用的数据,所以在数据库的设计上,要考虑到包括原始数据数据表和经过数据转换和清洗后的正式数据表。

关于数据表的设计,要包括系统初始化所需的支撑表、权限控制表以及处于核心的业务数据表等不同类型的数据表。另外,因为系统中存在各地各个级别的数据,所以要设计合理的数据关联关系,设定一定的访问控制标志,以保证数据的安全共享与访问。

因为本系统涉及到海量数据的处理,所以要充分发挥分布式存储和运算技术,利用Oracle数据库管理技术为中心的各项技术手段,来实现数据的安全存储,高效处理。

2.6 数据流管理设计

从宏观方面讲,数据的流向大体有两个方向。

一个是横向的数据流动,也就是数据从第三方数据源获取,经过处理后进入本系统数据库中进行存储和利用。这是本系统所需处理的核心问题,也就是数据从第三方数据源怎样进入本系统,并成为有效可利用的数据,并且可以提供给其它系统进行扩展应用。这在前边基本上已经过阐述。

另一个方向是数据的纵向流动,也就是处于行政关系的上下级单位间数据存储之间的数据流动。主要是上级部门的交换数据,可以共享给下级部门。下级部门的数据交换部署实施情况、数据利用成果等可以共享给上级部门。这里有两种方案可以选择:一种是上级(下级)部门的交换数据存储在上级(下级)部门的数据库中,给下级(上级)部门开发访问权限,根据访问规则,下级(上级)部门可以访问具有权限的数据。另外一种是上级(下级)部门交换数据下发(上传)到下级(上级)部门。

第一种方式的好处是数据没有冗余,集中存储。但是由于要开放下级(上级)访问接口,这就涉及到这些接口怎么去设计、数据怎样控制、Web系统通过怎么样方式的去访问、怎么样去部署都提出了一些技术挑战。另外由于增加了下级(上级)访问,那么一方面数据库访问压力会增大,另外一方面远程数据访问的效率如何,也不得而知。

第二种方式的好处是数据本地存储,这对数据的访问效率以及减轻上级(下级)部门数据库的压力是有很大好处的。但是,这一方式就带来了海量数据的远程传输控制问题,怎样保证数据能够高效安全的传输到下级(上级)部门,这是需要首要解决的技术问题。

在实际系统的设计和部署中,根据上下级所要交互的数据的类型、规模等因素,同时提供这两种方式的数据共享和交换方式,用户可针对不同情况,酌情选择使用。

3. 技术架构设计

3.1 概述

HTMLCSSJquery&JavaScriptAjaxvelocity任务调度引擎规则处理引擎Java beanJava事务脚本Srping FrameworkSwim FrameworkJEE 平台Piston FrameworkJVM数据库(Oracle) 系统架构示意图

系统以Java和数据库技术为依托,采用JEE相关技术,以MVC模式为核心,采用分层思想,构建健壮、灵活的Web应用程序。在数据库访问层,使用高效的Swim Sql映射框架,实现数据的获取和持久化。在领域逻辑层,使用Spring框架,通过IOC和AOP,实现业务模块的可配置和灵活增加、删减,另外也可以在面的基础上,对业务实现代码进行功能增强。在表现层,综合使用各种Web2.0

技术,以Jquery框架为核心,构建具有良好用户体验的GUI。

3.2 基础组件

3.2.1 Spring Framework

【框架描述】

Spring为编写企业应用程序提供了轻量的解决方案,同时仍然支持使用声明式事务、 用RMI或web service远程调用、以及使用多种方式来将数据持久化到数据库。Spring框架包含许多特性,并被很好地组织在下图所示的六个模块中。

Spring框架架构图

【框架引用目的】 1. Spring 的 Core 封装包

Spring 的 Core 封装包是框架的最基础部分,提供IoC和依赖注入特性。

这里的基础概念是BeanFactory,它提供对Factory模式的经典实现来消除对程序性单例模式的需要,并真正地允许我们从程序逻辑中分离出依赖关系和配置。

2. Spring的 AOP 封装包

Spring的 AOP 封装包提供了符合 AOP Alliance规范的面向方面的编程(aspect-oriented programming)实现,让你可以定义,例如方法拦截器(method-interceptors)和切点(pointcuts),从逻辑上讲,从而减弱代码的功能耦合,清晰的被分离开。而且,利用source-level的元数据功能,还可以将各种行为信息合并到你的代码中。我们主要用于对Java数据库操作的事务配置、任务异常监控。 3. Spring中的 MVC 封装包

Spring中的 MVC 封装包提供了Web应用的Model-View-Controller(MVC)实现。Spring的MVC框架并不是仅仅提供一种传统的实现,它提供了一种清晰的分离模型,在领域模型代码和web form之间。

3.2.2 Swim Framework

【框架描述】

Swim 框架是江苏同和软件技术有限公司为了JAVA的数据库快速编程而开发的一个O/R和sql映射编程框架,它对JDBC进行了非常轻量级的操作封装,使得JAVA程序员可以方便地使用SQL来操纵数据库,可以应用在任何可以使用JDBC的场合,既可以在JAVA的客户端使用,也可以在


第三方数据交换平台方案v1.1.4(6).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:思八达-运营智慧笔记

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: