地税局大数据云平台整体解决方案
3.2.2.5 备份系统建设方案建议 ........................................................................................ 20 3.2.2.5.1 数据备份系统建设方案 ............................................................................... 20 3.2.2.6 系统资源管理平台建设方案建议 ......................................................................... 24
3.2.3 地税局云大数据平台基础设施平台两地三中心建设方案建议 ......................... 0
3.2.3.1 两地三中心建设依据 ............................................................................................. 0 3.2.3.2 两地三中心建设目标 ............................................................................................. 1 3.2.3.3 容灾技术的选择 .................................................................................................... 2 3.2.3.4 两地三中心总体架构设计建议 ............................................................................... 3 3.2.3.4.1 总体架构描述 ............................................................................................... 4 3.2.3.4.2 资源池功能描述 ............................................................................................ 5 3.2.3.4.3 总体架构设计 ............................................................................................... 5
第四章 大数据支撑平台设计 ......................................................................................... 11
4.1 设计思路 ................................................................................................................ 11
4.1.1 轻量服务化架构 ............................................................................................ 11 4.1.2 弹性可扩展.................................................................................................... 12 4.1.3 开放共享 ....................................................................................................... 12 4.1.4 安全可靠 ....................................................................................................... 12 4.1.5 自主可控 ....................................................................................................... 12
4.2 设计内容 ................................................................................................................ 13
4.2.1 数据存储 ....................................................................................................... 15
4.2.1.1 分布式文件系统 .................................................................................................. 15 4.2.1.2 分布式数据库 ...................................................................................................... 18
6
地税局大数据云平台整体解决方案
4.2.1.2.1 基于MySQL的关系数据库集群 ................................................................. 18 4.2.1.2.2 基于HBase的NoSQL数据库集群 ............................................................ 19 4.2.1.3 分布式缓存 ......................................................................................................... 22 4.2.1.3.1 基于Memcached的缓存 ............................................................................ 22 4.2.1.3.2 基于Redis的缓存 ...................................................................................... 24 4.2.1.3.3 缓存分片路由控制器 ................................................................................... 24
4.2.2 计算能力 ....................................................................................................... 25
4.2.2.1 离线计算Map/Reduce ........................................................................................ 27 4.2.2.2 离线计算Hive ..................................................................................................... 28 4.2.2.3 流式计算Storm ................................................................................................... 28 4.2.2.4 内存计算Impala ................................................................................................. 29 4.2.2.5 图计算 ................................................................................................................. 29
4.2.3 高速服务框架 ................................................................................................ 29
4.2.3.1 服务注册中心 ...................................................................................................... 30 4.2.3.2 服务监控中心 ...................................................................................................... 31 4.2.3.3 服务引擎 ............................................................................................................. 31
4.2.4 垂直搜索引擎 ................................................................................................ 32 4.2.5 开放服务 ....................................................................................................... 34
4.2.5.1 云服务器 ............................................................................................................. 34 4.2.5.2 云存储 ................................................................................................................. 34 4.2.5.3 关系数据库 ......................................................................................................... 34 4.2.5.4 海量结构化存储 .................................................................................................. 35
7
地税局大数据云平台整体解决方案
4.2.5.5 云搜索 ................................................................................................................. 35 4.2.5.6 消息推送 ............................................................................................................. 35 4.2.5.7 负载均衡 ............................................................................................................. 35 4.2.5.8 云监控 ................................................................................................................. 36
4.2.6 分布式应用服务器 ......................................................................................... 36
第五章 大数据创新平台设计 ......................................................................................... 37
5.1 采集整合服务 ........................................................................................................ 37
5.1.1 现状分析 ....................................................................................................... 37 5.1.2 设计思路 ....................................................................................................... 37
5.1.2.1 爬取方式 ............................................................................................................. 38 5.1.2.2 购买方式 ............................................................................................................. 38 5.1.2.3 合作方式 ............................................................................................................. 38 5.1.2.4 数据整合 ............................................................................................................. 39
5.1.3 设计内容 ....................................................................................................... 39
5.1.3.1 互联网原始数据采集 ........................................................................................... 39 5.1.3.2 互联网合作伙伴数据采集 .................................................................................... 41 5.1.3.3 其他部门数据采集 ............................................................................................... 41 5.1.3.4 社会机构和商业组织数据采集 ............................................................................. 41 5.1.3.5 数据整合 ............................................................................................................. 42
5.1.4 分步建设 ....................................................................................................... 42
5.1.4.1 互联网原始数据 .................................................................................................. 42 5.1.4.2 互联网合作伙伴数据 ........................................................................................... 42
8
地税局大数据云平台整体解决方案
5.1.4.3 国家其他部门数据 ............................................................................................... 43 5.1.4.4 社会机构和商业组织数据 .................................................................................... 43
5.1.5 运营方式 ....................................................................................................... 43
5.2 质控治理服务（云平台） ...................................................................................... 44
5.2.1 质量规则 ....................................................................................................... 46 5.2.2 自动化监控数据流转 ..................................................................................... 46 5.2.3 数据比对 ....................................................................................................... 47 5.2.4 数据检测 ....................................................................................................... 48 5.2.5 数据质量评分 ................................................................................................ 48
5.3 数据资源服务（云平台和智慧城市） .................................................................... 49
5.3.1 架构设计 ....................................................................................................... 49 5.3.2 服务总线 ....................................................................................................... 50
5.3.2.1 服务总线架构 ...................................................................................................... 50 5.3.2.2 服务生命周期管理 ............................................................................................... 51 5.3.2.3 服务目录 ............................................................................................................. 52 5.3.2.4 服务授权 ............................................................................................................. 52 5.3.2.5 服务网关 ............................................................................................................. 52 5.3.2.6 服务监控 ............................................................................................................. 53 5.3.2.7 服务SDK ............................................................................................................ 54
5.3.3 数据超市 ....................................................................................................... 54
5.3.3.1 数据多维展示 ...................................................................................................... 54 5.3.3.2 数据检索 ............................................................................................................. 55
9
地税局大数据云平台整体解决方案
5.3.3.3 数据订阅 ............................................................................................................. 55 5.3.3.4 数据评分、评论 .................................................................................................. 55 5.3.3.5 数据可视化 ......................................................................................................... 55 5.3.3.6 数据地税局 ......................................................................................................... 55 5.3.3.7 数据反馈 ............................................................................................................. 56
5.4 数据资源服务 ........................................................................................................ 56
5.4.1 数据目录创建 ................................................................................................ 56
5.4.1.1 数据目录申请 ...................................................................................................... 56 5.4.1.2 数据集目录完善 .................................................................................................. 57 5.4.1.3 数据目录初始化 .................................................................................................. 57
5.4.2 标签生成 ....................................................................................................... 58 5.4.3 目录审批管理 ................................................................................................ 58
5.5 数据洞察服务（云平台） ...................................................................................... 58
5.5.1 数据挖掘 ....................................................................................................... 58 5.5.2 数据可视化.................................................................................................... 62
5.5.2.1 地图 .................................................................................................................... 63 5.5.2.2 图表 .................................................................................................................... 64
5.6 数据开放服务 ........................................................................................................ 73
5.6.1 数据开放目录管理 ......................................................................................... 73
5.6.1.1 目录设计 ............................................................................................................. 73 5.6.1.2 数据开放目录的梳理 ........................................................................................... 74
5.6.2 数据开放加工机制 ......................................................................................... 74
10