ODBC 输入界面
ETL(数据抽取.清洗.转换.加载 指标数据抽取子系统 中间数据库
指标数据加载子系统
我们在上述ETL 处理的过程中, 我们将面临底层数据结构的变化。 我们在发生叔叔数据结构的变化时, 我们就需要一个机制来控制该变化。其中变化的情形包括了如下: 1) 主题的增加
系统的分析方向众多,涉及公司的不断发展,公司的关注点也将会发生变化。分析主题会随着公司的发展不断有所增加,我们采用自顶向下的设计方法来设计数据仓库系统,采用自底向上的方式实施,这样每增加一个主题就是建设一个新的数据集市,每个数据集市都是整体数据仓库的有机组成部分,分步骤分阶段建成完整的数据仓库,在完整的数据仓库建立起来以后,就可以更快的建立更多的数据集市,满足系统不断增加的主题需求。
2) 主题所含指标的修改
主题的内容是由指标来体现,主题的分析目标可能在一定的范围内发生变化,其所包含的指标就会有相应的增加或减少,由于数据仓库采用的是多维方式的数据存储方式,某个主题下指标的增加(减少),只需要在相应的指标维表、事实表中增加(减少)新的数据即可;每个主题在数据库对应一个指标代码表,具体解释主题下所含指标。每个主题相关数据组成一个事实表。这样主题可以很方便增加,且效率比较高,主题下指标可以适当调整。
a 指标数据修改
数据仓库中一个非常重要的原则,数据具有不可修改性。然而制度在不断地完善,指标口径会发生变化,为保持同一指标不同历史时期的数据具有可比性,则要求数据在一定范围
内可调整。为了解决这一矛盾,我们在数据库设计时把数据分为原始专业数据和主题事实数据,的原始数据一旦进入数据仓库(专业事实表)将不容许发生变化,对指标进行调整都是基于原始专业数据进行的,调整后的数据放入主题数据表中,用户查询的是调整后具有可比性的数据。这种设计可以容许对同一数据在不同历史时期进行不同的调整,同时又能保存最原始的历史数据不丢失,保持历史的真实性。
b 数据更新权限
由于数据仓库的数据维护由分散的生产系统在不同的时间进行,为了防止数据的
异步操作给系统的数据一致性问题。我们通过数据库操作权限的控制,保证每个指标数据只有唯一的用户拥有更新(增加、删除、修改)权限,但可以有多个用户有查询权限。
c 定时报警
定时检测各个生产系统的数据是否按设计要求及时导入数据仓库,否则以适当方式报警。
d 决策算法的扩展
由系统结构的高度模块化实现。 e 跨主题指标的查询
通过调整主题指标,减少跨主题指标的查询;
临时性的跨主题指标查询,利用全局指标库,从不同的主题事实表中查询。 f 高频指标智能维护
系统实现高频指标自适应功能:用户每次查询数据时,数据库自动指标查询次数,系统定时刷新高频指标表,完成高频指标的自动维护。
其中该数据仓库将采用多种展示风格:
应用服务器直接与数据平台交互,处理外界查询请求;WEB 服务器完成和用户的交互,直接为用户提供查询、分析数据,接受用户输入;OLAP 服务器与用服务器交互得到大量数据,将对大量数据进行分析计算的结果返回给WEB 服务器。
提供给用户访问数据仓库的接口,使数据仓库的访问对用户透明,完成数据从数据仓库中提取后通过运算、分析,用直观的方式展现给用户。
数据展现采用多种灵活的方式, 浏览器/服务器模式。我们分为以下子系统: 1、 应用服务器
是数据仓库与应用系统的统一,使应用系统访问数据不需了解数据仓库设计。 2、 OLAP 决策分析子系统
进行多维分析、利用决策模型进行决策分析。按要求生成简单文字分析报告。 3、 WEB 服务器
使用户能通过浏览器访问数据仓库,其中还包括协调控制数据展现系统的各子系统,为用户提供与数据仓库交互界面,处理用户的查询分析请求。
4、 报表处理子系统
满足用户对报表的处理、打印请求。 5、 数据挖掘子系统 对数据进行分析挖掘。 6、 图形展示子系统
对输入的数据进行各种图形展示,输出数据表格、饼图、柱状图、折线图等等。 7、 数据导出子系统
2.4 考核指标的简要说明 2.5 项目启动全国推广