警务综合平台
时我们在选择ETL工具时必须考虑了以下几点性能： 1、对平台的支持 2、对数据源的支持 3、数据转换功能 4、管理和调度功能 5、集成和开放管理 6、对元数据的管理
3.4.2.2 数据仓库的存储
我们以公安目前需要的TB级以上数据的需求来看，我们在建设数据库仓库从以下几点来保证系统性能： 1、对平台的支持 2、对数据源的支持
3、数据建模的功能，能方便的建立客户的商业模型 4、管理和调度功能
5、提供对服务的进度、资源等项目的管理。 6、与其它数据仓库的数据迁移功能
3.4.2.3 前端展现工具
为了满足目前公安系统对计算性能的需求，以及开发人员的开发速度和系统低维护成本的要求，在前端工具的选择上我们从以下几点来保证性能： 1、易于使用 2、易于设臵
3、灵活地展现数据仓库的结构，将数据仓库的设计翻译成业务术语。 4、能弥补SQL的限制，增加如running totals、跨聚合级别比较数据、排名次等功能。便于最终用户使用，无须编程。
5、使用查询和报表的同一工具必须也提供分析能力，这样不需要另外的培训学习，而且也不需要IT人员的帮助将数据从一个工具转换到另一个
盖特佳信息安全技术股份有限公司
第 21 页
警务综合平台
工具中。
6、允许在一个报表中溶入多个数据源的数据。这些数据源可以包括任何异构的关系数据库、OLAP Server和本地数据文件
3.4.3 开发方法
针对公安系统的业务发展特点，以及采用的基于数据仓库技术的系统架构，我们在项目实施上采用CRISP-DM方法论来规范、指导开发实施人员的工作，我们在开发系统中发现数据仓库项目不单是数据的组织或者呈现，也不仅是数据分析和统计建模，而是一个从理解业务需求、寻求解决方案到接受实践检验的完整过程。
我们在系统建设中包括以下六个阶段（如下图所示）：业务理解，数据理解，数据准备，建模，评估和发布。
商业理解 数据理解 数据准备 发布 数据 建模 评估 图 系统建设的六个阶段
在项目的具体实施过程中我们将严格按照以下的开发流程。
盖特佳信息安全技术股份有限公司 第 22 页
警务综合平台
3.4.3.1 业务理解
1. 找问题－确定分析的业务目标 2. 对现有数据的评估
3. 确定问题是否能够通过数据分析来解决 4. 确定数据分析的目标 5. 制定数据分析的计划
3.4.3.2 数据理解
1. 确定数据分析所需要的数据 2. 对数据进行描述 3. 数据的初步探索 4. 检查数据的质量
3.4.3.3 数据准备
1. 选择数据 2. 清理数据 3. 对数据进行重建
4. 调整数据格式使之适合建模
3.4.3.4 建立模型
1. 对各个模型进行评价 2. 选择数据分析模型 3. 建立模型
3.4.3.5 模型评估
1. 评估数据分析的结果
盖特佳信息安全技术股份有限公司
第 23 页
警务综合平台
2. 对整个数据分析过程的前面步骤进行评估
3. 确定下一步怎么办？是发布模型？还是对数据分析过程进行进一步的调
整，产生新的模型
3.4.3.6 模型发布
1. 把数据分析模型的结果送到相应的管理人员手中 2. 对模型进行日常的监测和维护 3. 定期更新数据分析模型
3.4.4 系统的特点
3.4.4.1 基于数据仓库技术的体系结构
本系统采用了数据仓库的技术体系，该体系结构从技术架构和管理体系上保证了面向分析型的数据处理，使得公安系统能快速地从原有的操作型数据库系统建立面向主题的、集成的、相对稳定的、反映历史变化的数据集合。并且为业务分析的改进提供一个平台，逐步把先进的数据仓库技术引入到公安系统的实际业务工作中。
3.4.4.2 灵活的多维数据分析
系统采用成熟的多维数据建模技术。在数据分析时可以灵活地在任意维度上进行不同层次的数据分析，在完成对数据的钻取、旋转和切片等基本操作功能时,最终取代传统的定制报表程序设计的方式，满足用户各种不同角度的数据统计分析。
3.4.4.3 强大的数据分析技术
基于数据仓库技术，系统可以方便地提供优秀的数据分析技术，例如：挖掘算法模型,如粗集方法、遗传算法、决策树方法、神经网络方法等。通过对公
盖特佳信息安全技术股份有限公司
第 24 页
警务综合平台
安行业业务的深刻理解，快速建立原始数据挖掘模型，提供模型评估机制对模型和结果进行评估和优化，从而形成优化的、可持续改进的针对业务主题的数据分析模型。
3.4.4.4 工程方法论的运用
本系统在实施上针对数据仓库技术的特点,采用CRISP-DM方法论来规范、指导开发实施人员的工作。CRISP-DM方法论是实际项目的经验总结和理论抽象，完成一个从理解业务需求、寻求解决方案到接受实践检验的完整过程。在系统其它辅助模块开发上，运用软件工程方法管理、指导系统建设。
3.4.5 数据仓库建设
我们依据公安系统的特点，结合数据仓库的技术原则，在系统建设上采用如下的体系结架构
人口系统 元数据服务 治安信息 数据集市 . 案件系统 (ETL) 元数据管理 数据清理 数据集成 数据变换 数据归约 . . . 分析建模服务 报表 OLAP分析 数据挖掘 等 数据展现 数据仓库 人口信息等 车辆等系统 数据集市 数据抽取层 数据分析建模层 数据发布层
盖特佳信息安全技术股份有限公司 第 25 页