警务综合平台
? 通过数据库标示信息来抽取数据：对于规范的数据库结构，可以
通过数据库表字段来标示信息是否已被抽取，从而达到获取增量数据的目的，此方法适用于数据集成厂商同应用开发商为同一家公司的情况，本方法简单、不影响业务系统的运行速度。 ? 触发器模式抽取数据：对于结构已经固定并且没有抽取信息字段
标示信息的数据，可采用本方法抽取增量数据。
? 数据库日志同步模式抽取数据：对于同种兼容的数据库，可采用
本方法实现增量数据的获取。
? 数据时间戳方式抽取数据：对于有时间段标示的增量数据，通过
记录数据抽取日志，定时按时间段增量抽取数据
4. 网页及其他媒介信息抽取。搜索引擎产品自带的“网络爬虫“可以不
间断的获得可访问的网络通路上的任何资源，并动态更新资源的快照以缓存资源。
3.4 综合库建设
具备数据分析与辅助决策功能，是综合应用的设计目标之一。它与一般统计功能区别在以下几方面：
综合应用系统的分析与决策功能，是为高层领导和指挥决策人员服务的。它能在大量数据中，发现规律，找出问题，从而为打击、预防犯罪以及提高部门的管理水平提供有力的辅助手段。
一般统计功能往往只能输出预先定义好的报表，而决策与分析系统则是针对特定主题，从宏观的，历史的角度对信息进行分析挖掘，从而得出结论的一个过程。
决策与分析系统需要在具有大量参考数据和高性能数据库系统的基础之上，利用专用的数据分析与挖掘工具软件实现辅助决策的功能。
以下将对能够实现数据分析与挖掘功能的综合库解决方案进行简要概述。
盖特佳信息安全技术股份有限公司 第 16 页
警务综合平台
3.4.1 建设内容
3.4.1.1 体系架构
决策支持情报研判OLAP多维分析数据挖掘全文检索库基础业务库业务模型,OLAP分析, 数据挖掘数据仓库综合库ETL系统数据字段抽取权限管理日志管理数据清洗数据转换数据抽取信息采集数据库错误管理数据装载数据整合层数据存储层引擎爬虫网页等非结构化数据公安业务数据库部级数据库社会信息数据库信息采集平台
综合库建设体系架构包括三层架构，第一层为数据存储层，是所有数据
的来源地，包括所有公安业务数据库，公安部数据库，社会信息数据库（需要建设安全接入平台，还需要与有关部门协调获得数据，系统留有接口），网页等非结构化数据，信息采集平台采集的人工采集数据，第二层为数据整合层，完成对数据存储层数据的整合，第三层为整合以后生成的综合库，包括全文检索库，基础业务库和数据仓库
盖特佳信息安全技术股份有限公司 第 17 页
警务综合平台
3.4.1.2 综合库内容
综合库包括以下几个数据库： 1．全文检索数据库
新增全文检索库，主要提供对非结构化数据的存储和全文检索功能，信息包括：
? 公安网上各级网站信息，包括：公安部、各省公安厅、地市公安局的门
户网站信息，情报研判信息网信息，最新发案情况信息，高危人群信息，典型案例信息等
? 公安局各业务系统业务信息，包括：案事件系统、派出所综合系统、刑
侦综合系统，人口系统，交管系统，旅馆业系统，出入境系统，禁毒系统，经侦系统，人事系统，被装系统，民爆系统，违法犯罪人员系统，重大刑事案件系统，消防系统等，同时还包括公安部级数据库（八大资源库）和社会信息数据库（需要安装安全接入平台，同时还需要与其他部门协调获得，系统留有接口）。
2．基础业务数据库
基础业务数据库是在现有综合库基础上通过增加信息来源而产生的，信息包括
? 现有综合库已经包括业务系统中尚未抽取的数据 ? 现有综合库尚未包括业务系统
? 信息采集平台产生的综合应用必需的而业务系统无法覆盖的手工采集数
据
? 社会信息数据库（需要安装安全接入平台，同时还需要与其他部门协调
获得，系统留有接口）
3．数据仓库
新增数据仓库建设，数据仓库是在基础业务数据库基础上，数据结构以公安 部五要素分类为基础，并在上层综合系统的要求下进行一定的扩充，数据将
盖特佳信息安全技术股份有限公司 第 18 页
警务综合平台
以利于整合信息逻辑、能优化检索速度的格式存储，通过深层次挖掘公安业务信息，按照不同的分析主题（OLAP多维分析）、数据挖掘和情报研判模型，建立模型库、主题库和知识库，应用一定的推理逻辑，实现情报研判和公安宏观分析的自动化，为领导和一线民警提供辅助决策和侦察破案服务。
数据仓库分析主题库建设可以包括治安专题、户籍专题、消防专题、旅客专题、监管专题和民警专题，以下以治安专题为例描述各分析对象的分析维度：
? 接警分析：分析维度：报警方式,事别,报警发生和发现时间的年、月、
日
? 处警分析：分析维度：处警单位，处警事别，处警意向，处警时间(时间
的年、月、日)，时间段(0－6；6－12；12－18；18－24)
? 刑事案件分析：分析维度：案件的阶段：受理、立案、破案、不立案、
侦查终结；案件受理的时间：年、月、日；办案单位：分局、派出所、民警；案件的类别：大案别、二级案别、小案别
? 行政案件分析：分析维度：案件的阶段：受理、裁决处罚、处罚执行、
行政复议、行政诉讼；案件受理的时间：年、月、日；办案单位：分局、派出所、民警；案件的类别：大案别、二级案别、小案别
? 多发性案件分析：分析维度：在特定时间范围内各种事别占总案件数的
百分比，具体分析每天各时间段(0－6；6－12；12－18；18－24)的案发率
? 多犯罪人员综合分析：分析维度：犯罪人员的年龄，性别，婚姻状况，
文化程度，所属行政区划，籍贯，所犯罪别，职业
? 社会治安综合分析：发案率的环比，同比，辖区管辖人口发案率
3.4.1.3 综合库数据整合过程
1．全文检索库的生成：网页等非结构化数据、各数据库数据通过搜索引擎产品
自带的“网络爬虫“可以不间断的获得可访问的网络通路上的任何资源，并
盖特佳信息安全技术股份有限公司 第 19 页
警务综合平台
动态更新资源的快照以缓存资源。通过对数据字段的抽取生成全文检索库 2．基础业务数据库的生成：公安业务数据库（包括市局各业务部门数据库和区
县各业务部门数据库），公安部级数据库（八大资源库），社会信息数据库（需要建设安全接入平台，还需要与有关部门协调获得数据，系统留有接口）通过ETL工具完成数据抽取、清洗，转换，装载到基础业务数据库，ETL工具运行描述如下：
? 标准库建立：首先根据公安部标准，国家标准建立公安业务数据标准，
并建立标准库，包括数据字段类型，长度，可选数值和标准代码库 ? 数据抽取：以标准库为基础，建立业务库与基础业务数据库的数据映射
规则，即数据抽取规则，然后根据数据抽取规则抽取业务库数据到转储数据库中，数据抽取遵循原则参照3.3
? 数据清洗：对转储的业务数据，根据定义的数据清洗规则进行清洗，对
于有问题的数据则存储到问题数据库中
? 数据转换：以标准库为基础定义数据转换规则，包括字符集转换，格式
转换，代码转换，值转换，根据数据转换规则对经过第一步清洗的数据，进行数据转换
? 数据校验：对完成整合的综合数据通过校验器按定义好的校验规则进行
数据校验，找出第二批的问题数据，使得数据的质量进一步提高 ? 数据装载：把完成前面步骤的数据装载到基础业务数据库中，产生的数
据是经过整合的基础业务数据库
3.4.2 平台工具
3.4.2.1 ETL工具
ETL工具完成定期把公安的各个业务系统中的数据按照新的主题模型加载到数据仓库中去的任务，随着业务需求的发展，有更多的业务系统如人口系统的数据源将通过ETL过程集中并转换到数据仓库中去，目前我们的ETL工具完全可以满足市级公安每天100万条的业务新增数据量。同
盖特佳信息安全技术股份有限公司
第 20 页