智慧财政大数据云平台建设方案
平台用户包括系统管理员、组管理员、一般操作员和信息查询员，系统用户具有编号、编码和名称等属性。为了管理的方便，将系统划分为操作员组和操作员层次，角色是定义在一组资源上的权限，角色权限描述角色与资源操作权限间对应关系的信息实体，一个角色拥有一些资源及其在资源上的权限，权限是对某一资源的操作许可类型。操作员组代表一组操作员的信息实体，操作员组、操作员都可以分配角色。
权限管理模块主要包括：系统用户增加、系统用户注销、系统用户授权、系统用户资料修改、系统用户查询；角色增加、角色修改、角色授权、角色查询；操作员组的增加、修改、授权、查询；操作员的增加、修改、授权、查询； （4）日志管理模块
日志管理模块提供用户登录日志管理功能以及日志管理工具，让系统管理人员能方便地查看到用户访问的历史数据及各种系统日志信息。日志主要包括系统参数日志、系统运行日志、信息打印日志、系统用户操作日志、接口访问日志。
3.5数据库设计
数据库系统包括专业数据库、数据库维护体系、数据库管理体系。其中，专业数据库包括基本单位名录库、人口信息资源库、地理信息库、财政业务数据库。同时，制定统一的数据库标准规范，实现各类财政数据的统一管理、集成和应用；制定统一的服
40
智慧财政大数据云平台建设方案
务接口规范，实现跨行业、跨部门、跨平台的信息共享与服务。
3.5.1数据库设计目标
（1）数据库的本地性，外部数据通过采集模块加载到大数据财政平台的数据库中；
（2）控制数据适当冗余，考虑到本地性、并发行、可靠性、一致性、开销等；
（3）工作负荷分布，充分利用每个节点的计算能力和资源提高性能；
（4）存储的能力，分布式的存储提高数据的存储能力。 3.5.2数据库架构
图3-11 数据库架构
41
智慧财政大数据云平台建设方案
基础数据层
基础数据层包括财政业务数库（普查数据库、人口信息资源库、地理信息库、基本单位名录库、一套表数据库、宏观数据库）、外部数据库（住建部门数据、国土部门数据、税务部门数据、金融机构数据）及互联网数据库作为基础明细数据，是支撑整个业务应用系统的数据财政及数据挖掘分析的基础。
轻度汇总层
基于基础数据层的相关数据，进行数据整合，生成多维信息库、“三新”财政基础明细数据库、文化产业财政基础明细数据库及宏观经济预测基础明细数据库。主要整合的相关部门的数据指标如下：
1.公安厅人口总数、性别分布、城镇分布、乡村人口，年龄段分布、户籍迁出、迁入等数据信息；
2.人社厅新增就业人数、登记失业率、失业动态监测、人力资源市场供需资料、农民工调查数据等数据信息；
3.科技厅的孵化器内企业总数、在孵企业从业人员、在孵企业总收入、在孵企业累计获得财政资助额、当年获得投融资的企业数量、孵化器孵化基金总额等数据信息；
4.国土部门土地招、拍、挂拍卖情况，购置面积、购置价款、投资主体等数据信息；
5.住建部门房地产项目审批系统资质、许可证书、房地产开发项目预售许可证发放情况等数据信息；
42
智慧财政大数据云平台建设方案
深度汇总层
实现主题域之间进行关联、汇总计算及模型预测。汇总数据服务于各项业务财政， 模型预测服务于宏观经济预测。
3.6大数据处理设计
3.6.1并行处理设计
并行计算是大数据财政平台基础支撑，通过分布式的计算框架可以实现对历史数据的批量处理、实时数据处理、SQL联邦查询及标签引擎搜索等。 （1）批量历史数据处理
分布式的内存数据实现数据历史数据的批量处理，分布式内存数据库提供数据的高速存取，高频事务处理能力。通过高扩展的分布式高速内存架构，具备了支持复杂事务、容错机制、高吞吐、低延时，高并发等特性。根据业务口径规则实现对专题财政业务的T+1的数据处理。 （2）实时数据处理
实时数据处理：实时数据获取源数据，快速进行数据分析确保在规定时间内获取到分析结果。分布式内存流数据库能够在毫秒级内连续、稳定地传输及分析处理数据的流数据库。数据流具有时间序列特征的有序项集,有着连续的、无限的、随时间不断变化的、仅能处理一遍等特点。分布式内存流数据库能够自动优化Pipeline，具有容错、可重复和高可用性特征的复杂数据处
43
智慧财政大数据云平台建设方案
理工作负载、确保资源可用性，管理作业间的从属性、不必担心重试瞬时失效或超时的单个任务，还可以做到侦测问题并将故障报告给系统等问题。提供基于时间的窗口和基于事件数量的窗口来呈现滚动式窗口和滑动窗口两种模式，基于滑动窗口的数据流模型对于处理概率数据、不确定数据及模糊数据等,有着十分重要的作用。同时，分布式内存流数据库所拥有着优秀数据整合能力，提供对流动的数据和相对“静态”的数据，比如状态数据的集成。
（3）SQL联邦查询
平台提供SQL联邦查询技术，通过该技术增强功能将使客户机能够访问和集成数据，能够专门计算各种关系型（Oracle、Mysql等数据库）和非关系型数据源。SQL联邦查询具备有以下的特性：
1.透明性。SQL联邦查询对用户掩盖了底层数据源的差异、特
质和实现。最理想的情况是，它使一组联邦数据源对用户而言象是一个系统。用户不需要知道数据是以哪种物理方式存储的，或者数据是否被分区或被复制；用户应该看到一个统一的接口，包括单一的一组错误代码（错误代码透明性）。SQL联邦查询提供了所有这些特性，使得在编写应用程序时就好象所有数据都位于一个数据库中，尽管事实上，数据可能存储在异构的数据源集合中。
2.异构性。SQL联邦查询可以异构是指各数据源之间的差异程
44