基于大数据的能力开放平台解决方案(2)

2019-08-03 11:14

任务监控:接收来自Agent 的程序执行状态及资源状态并产生新的消息。

(2)AGENT:部署到参与调度的执行平台,负责任务执行及系统资源、任务状态收集报告。

任务监听:轮询扫描控制中心发出的任务;

任务执行:支持tcl、shell、python、java 等程序,可以手工设置各个执行平台进程数,支持多进程并发处理;

资源状态及心跳报告:支持分钟级和主动资源收集报告,将资源信息进行反馈。控制中心实时监控Agent 运行状态,并进行短信告警,防止Agent 挂死。

3.2.2 统一开发

统一开发提供图形化的开发能力以及统一元数据管理:

(1) IDE 图形化的开发界面及统一封装函数库的集成,如下图所示:

??满足业务部门自助开发的需求,集成图形化的开发界面,通过拖拽

的方式实现快速数据处理逻辑设计及开发;

??通过JAVA 包对SQL 命令、Hadoop、DB2 执行平台的系统命令、时间函数、字符串函数、聚合函数等基础函数库进行统一封装,屏蔽底层执行平台的系统差异,实现类SQL 开发语言支持,降低系统的技术门槛;

??前台提供图形化开发界面、拖拽式开发方式、统一封装的函数库、灵活的脚本编辑能力对开发过程进行支撑。包含以下功能:查看元数据、数据模型注册、数据模型导入、设计、开发、测试、上线、优化;

??数据处理过程API 分为7 大类:数据输入(Reader)、数据输出(Writer)、行集处理(Process)、字段级处理、流程控制类、数据检查类、数据交换类,并提供了一套可扩展的机制;

??函数编排支持条件分支、循环、异常控制等,支持变量读取、定义,能够实现复杂场景下的开发;

??数据同步采用开源的Sqoop 来实现大数据平台和DB2、HBASE 的高效数据同步。

(2) 统一的元数据开放共享与实时更新

为实现公司内部模型及数据的复用,并实现数据资产的编目管理、共享及分级存储,同时实现数据安全的可控可管,能力开放平台搭建了元数据管理模块。包含全局数据字典、程序逻辑等元数据,提供元数据维护、权限控制等工具实现元数据

整个生命周期的管理。元数据的管理界面如下图所示:

??元数据的自动更新:通过统一开发平台开发的程序,相关元数据(表、字段、数据流图、触发条件)将自动纳入元数据管理,实现元数据的自动更新,并为统一调度平台提供程序调度触发消息;

??元数据的可控开放:为了保障开放数据的安全性,安全管理员要对即将开放的基础元数据进行逐个审批,只有得到安全管理员审批的基础数据才能对外开放,从而保障开放数据的安全性。

3.2.3 数据共享

为发挥大数据的价值,通过标准API 封装的方式为企业内各种实时的业务运营提供信息支撑,并对外部系统提供统一的数据调用接口,具有实时、动态的信息交互能力。标准的数据开放接口实现数据和应用的解耦、应用和UI 的解耦,有利于各应用系统功能集成。

(1)数据层

为实现快速的数据查询,数据共享平台采用了HBASE 及Redis 作为数据层。

??HBASE:作为分布式的、面向列的开源数据库,HBASE 在Hadoop 之上提供了大数据的存储和快速查询能力。

??Redis:作为基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的API。其查询速度比HBASE 更高。 (2)封装层

基于Restful 架构实现API 封装,使用Nginx 的代理功能,整合后端多个Tomcat服务器,实现高并发的查询能力。

内部结构如下:

??服务注册:服务属性配置:如服务标识、服务名称、服务描述、服

务发布地址等信息的配置; 服务参数配置:包括输入参数、输出参数、输出内容等配置。

??服务安全管理:服务认证鉴权是用于鉴别服务请求方是否有服务调用权限;数据交换安全是用于保证服务请求-响应过程中的数据安全;权限管理是用于确定服务请求方可调用的服务权限。

??认证鉴权:确定服务请求方是否有访问服务提供方提供的具体服务的功能权限;对于有功能权限的服务请求方,还需要再确定其可访问的具体服务的数据范围权限。

??服务运维:服务监控对数据服务的运行状况提供实时的监控和分析,帮助运维人员及时了解数据服务的健康情况。

??查询响应:负责处理数据和各类数据源进行交互,获取查询结果。数据获取处理主要包含: 连接相应的数据源,执行经过模型映射解析的可执行SQL 语句,获取结果数据。

??通信协议:通信协议采用全球公认的WEB SERVICE 标准协议。

需求方更容易安全接入系统。

3.3 方案效果

统一调度方案效果:统一调度集中整合了运营商经分系统、大数据平台、集团集市、VGOP 等应用系统的调度管理,提高了各个平台程序的并发度,减少重复建设,节约成本近百万;

统一开发方案效果:目前互联网中心和信安部已经开始进行客户体验工作,统一开发平台上线之后,需求的开发速度由原来的数十天量级提升到小时内量级实现,数据变现能力得到数倍的增强;

数据共享方案效果:目前某省运营商已部署基于Redis 的“用户剩余流量”实时查询系统,采用Redis 内存数据库作为内存存储单元;每天分流500 万以上的查询需求,同步数据达到秒级;扫描用户流量档次变化达到分钟级,单机支持并发查询量由原有BOSS系统的300 次每秒提高到5000 次每秒,并支持水平扩展。数据共享平台上线后将进行融合对外提供统一的API 接口查询服务。

4 运营场景

互联网中心在8 月中旬准备开展新学年营销活动,业务人员小明通过统一开发平台的可视化界面进行拖、拉、拽的方式直接在经分仓库上进行目标用户群的数据挖掘程序开发,经过近3 个小时的开发和测试,最终完成了程序的配置和固化上线工作,固化上线后程序自动通过统一调度进行每日的例行调度,大大节省了需求的周转时间。


基于大数据的能力开放平台解决方案(2).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:2014年元旦二二班节目表

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: