中国电信EDA
依附于三大平台进行建设,考虑到系统性能和应用效果也可以采用物理部署的模式,但是数据必须由EDA 统一提供,不允许直接和生产系统对接。
? 数据展现和数据服务:该层将数据存储与处理平台生成的数据进行封装处理后,
提供统一数据共享接口,通过固定报表、多维分析、界面集成、自助取数对数据进行展现,同时以数据服务调用的方式提供给周边系统或内部应用。
? 数据封装:利用数据封装技术按照业务需求,根据一定规律将底层数据封装
成上层服务。
? 数据展现:展现层接收用户请求,响应用户操作,并以Web页面的形式向用
户返回结果,具备基于Portlet技术与门户平台集成的能力。
? 数据服务:数据服务提供是指将EDA 经过整合、加工处理后的数据,以数据
服务调用的方式提供给周边系统或内部应用。数据服务提供主要有数据共享、服务调用和API接入服务多种技术实现手段。
? 数据应用:数据应用基于数据服务层的共享接口获取数据或通过展现工具实现数
据的直接展现。统一的数据应用平台,对内支撑企业管理分析、企业经营分析、企业服务分析、企业销售分析及产品开发;对外支撑产品化的数据服务以及数据提供。
? 企业管理分析:企业管理分析是对企业管理涉及的人、财、物等各方面进行
综合分析,为企业管理层制定企业战略及预算考核等提供决策依据,主要包括战略分析、绩效管理、预算管理、人力分析、财务分析、工程与物资分析。 ? 企业经营分析:企业运营分析是对企业在营销、销售、服务管理等方面进行
分析与支撑,包括业务发展分析、客户发展分析、营销活动策划、结算分析等。企业运营分析面向市场、营销、和策划人员日常工作的分析支撑。 ? 企业服务分析:企业服务分析是对企业在服务管理方面进行分析与支撑,包
括客户满意度分析、产品评估、服务质量分析、营销活动评估等。企业服务分析面向服务管理和服务质量的分析支撑。
? 企业销售分析:企业销售分析是对企业在销售管理方面进行分析与支撑,包
版权声明,保密
总体规范2.0
第7页 共123页
中国电信EDA
括终端销售分析、产品与套餐分析、流量热点区域分析、营销活动过程监控分析、业务收入分析等。企业销售分析是面向产品或营销活动过程的分析支撑。
? 产品开发:通过数据分析应用,发现用户的消费行为习惯、消费心理,支持
对企业的产品、网络资源、财务管理等方面进行产品优化和产品开发,使产品更适应市场需求,满足用户需求,方便企业管理。
? 产品化:是对企业内部的数据资源按需进行分析、整合、包装,形成产品,
通过统一的服务接口,对外提供数据经营。
? 数据提供:直接以数据信息形式,通过统一的服务接口,对外提供数据经营。 ? 数据运营管理:数据运营管理平台是中国电信集团在ITSP3.0规划的数据运营体
系下,所建立的面向EDA域各数据系统和支撑系统的,统一的、综合性的运营数据管理支撑平台。主要包含数据质量、数据安全、元数据管理、主数据管理和统一调度管理五个方面。
? 元数据管理:元数据是关于数据的数据,是对数据的含义、功能、来源等进
行描述,元数据管理贯穿于EDA构建、运行和维护的整个生命周期。 ? 主数据管理:主数据是指在企业生产运营过程中产生,被多个系统重复使用
的,相对稳定的核心实体数据。其特点是基于业务、长生命周期、跨系统使用。主数据的属主特性以产生主数据的系统为主。
? 数据安全管理:企业数据是企业的核心资源,数据安全管理是数据管理工作
重要组成部分,需要集中管控。
? 数据质量管理:是数据采集、传输、处理、汇总、审核、发布等各个环节的
质量的闭环管理体系。
? 统一调度管理:实现对元数据、主数据、稽核规则的变更日志、程序运行日
志的查询;实现对流程的调度配置。
总体规范2.0
版权声明,保密
第8页 共123页
中国电信EDA
总体规范2.0
4.2 数据架构
EDA数据架构是EDA整体架构设计中的关键部分,它围绕数据共享服务中心的目标,对EDA的数据体系进行科学规划和全面设计,EDA数据架构图如下所示:
EDA数据架构描述了 ODS 、EDW和大数据平台的数据分层架构,以及 ODS、EDW、大数据平台和数据集市之间的数据流向。ODS 分成接口层、整合层、汇总层和共享层,EDW 分成接口层、整合层、汇总层和应用层,大数据平台分为接口层、处理层和共享层。数据源通过ETL平台加载到ODS和大数据平台,在ODS、EDW和大数据平台中通过一系列整合、汇总后,形成各类数据集市,最终支撑各类数据应用、展现和服务。
数据源按照数据类型可以分为结构化核心数据、海量结构化数据、非结构化数据和消息类流数据。
结构化核心数据如MSS、BSS、OSS和业务平台等应用系统中的数据,通过传统ETL平台加载到ODS中, 存储在ODS的接口层,接口层的数据模型与外围系统基本保持一致,ODS整合层的数据主要来源于ODS接口层,是ODS的核心数据层,数据模型遵循集团EDM模型对数据进行整合,按照应用和主题报表的要求将ODS整合层的数据进行汇总,形成汇
版权声明,保密
第9页 共123页
中国电信EDA
总层,基于ODS中各层整合好的数据,形成共享数据层,对外提供共享数据,通过共享数据层将数据提供给EDW平台和大数据平台,提供给大数据平台的主要有用户资料类、客户资料类等数据。EDW的数据主要采集ODS整合层的数据,存储在EDW的接口层,根据企业经营分析、企业管理分析等应用要求,对数据进行整合、汇总最终形成应用集市、专业集市、地域集市等各类数据集市。同时,也允许EDW的分析结果回送给ODS,弥补ODS分析加工数据能力的不足,支撑ODS的对内对外数据支撑需求。
海量结构化数据和非结构化数据如语音详单、DPI详单等数据从源系统通过分布式ETL平台加载到大数据平台,存储在大数据平台的接口层,接口层的数据模型与外围系统基本保持一致,大数据平台的数据处理层主要对采集到的大数据平台接口层的数据和ODS提供的用户资料、客户资料等数据进行整合、汇总,最终对处理整合好的数据形成共享数据层,通过共享数据层对外提供数据共享服务,并将客户标签清单、用户标签清单等数据回送给ODS汇总层,支撑ODS的对内对外数据支撑需求。同时为了支撑移动互联网业务创新,基于大数据平台建立创新集市,如增值和移动互联网数据集市等。
消息类流数据如互联网日志,信令等通过分布式ETL平台加载到大数据平台,大数据平台对消息类流数据进行流处理实时对外共享等。
总体规范2.0
4.3 功能架构(待定)
各平台功能模块
4.4 部署架构
根据数据共享服务中心的建设要求,全网EDA体系结构分为两级,如下图所示,即集团企业数据应用(EDA)和省分公司企业数据应用(EDA)。
版权声明,保密
第10页 共123页
中国电信EDA
集团EDA模式EDWSMP/MPP架构(小型机/分布式集群/一体机)总体规范2.0
大数据平台ODSSMP架构(小型机/一体机)Hadoop/MPP/流处理架构(X86平台/小型机)数据运营管理平台E T L第一级:集团级别全网数据交换枢纽第二级:省分级别省EDA 模式A(含大数据平台)EDWSMP/MPP架构(小型机/分布式集群/一体机)省EDA 模式B(不含大数据平台)数据运营管理平台EDWSMP/MPP架构(小型机/分布式集群/一体机)大数据平台Hadoop/MPP/流处理架构(X86平台/小型机)SMP架构(小型机/一体机)ODSODSSMP架构(小型机/一体机)数据运营管理平台E T LE T L
图4-3 中国电信EDA部署架构
第一级:集团企业数据应用(EDA),在原有ODS、EDW、ETL平台的基础上,部署总部大数据平台,对ETL平台进行改造以满足非结构化海量数据处理要求。
第二级:省分企业数据应用(EDA),有两种模式,一种是含大数据平台的EDA模式,一种是不含大数据平台的EDA模式,根据集团统筹安排建设情况。
两级EDA通过全网数据交换枢纽进行数据交互。通过数据服务体系,进行数据的上传和下发工作,通过数据运营体系,进行主数据、元数据、数据安全、数据质量和统一调度等工作管理。
版权声明,保密
第11页 共123页