任务监控:接收来自Agent 的程序执行状态及资源状态并产生新的消息。
(2)AGENT:部署到参与调度的执行平台,负责任务执行及系统资源、任务状态收集报告。
任务监听:轮询扫描控制中心发出的任务;
任务执行:支持tcl、shell、python、java 等程序,可以手工设置各个执行平台进程数,支持多进程并发处理;
资源状态及心跳报告:支持分钟级和主动资源收集报告,将资源信息进行反馈。控制中心实时监控Agent 运行状态,并进行短信告警,防止Agent 挂死。
3.2.2 统一开发
统一开发提供图形化的开发能力以及统一元数据管理:
(1) IDE 图形化的开发界面及统一封装函数库的集成,如下图所示:
??满足业务部门自助开发的需求,集成图形化的开发界面,通过拖拽
的方式实现快速数据处理逻辑设计及开发;
??通过JAVA 包对SQL 命令、Hadoop、DB2 执行平台的系统命令、时间函数、字符串函数、聚合函数等基础函数库进行统一封装,屏蔽底层执行平台的系统差异,实现类SQL 开发语言支持,降低系统的技术门槛;
??前台提供图形化开发界面、拖拽式开发方式、统一封装的函数库、灵活的脚本编辑能力对开发过程进行支撑。包含以下功能:查看元数据、数据模型注册、数据模型导入、设计、开发、测试、上线、优化;
??数据处理过程API 分为7 大类:数据输入(Reader)、数据输出(Writer)、行集处理(Process)、字段级处理、流程控制类、数据检查类、数据交换类,并提供了一套可扩展的机制;
??函数编排支持条件分支、循环、异常控制等,支持变量读取、定义,能够实现复杂场景下的开发;
??数据同步采用开源的Sqoop 来实现大数据平台和DB2、HBASE 的高效数据同步。
(2) 统一的元数据开放共享与实时更新
为实现公司内部模型及数据的复用,并实现数据资产的编目管理、共享及分级存储,同时实现数据安全的可控可管,能力开放平台搭建了元数据管理模块。包含全局数据字典、程序逻辑等元数据,提供元数据维护、权限控制等工具实现元数据
整个生命周期的管理。元数据的管理界面如下图所示:
??元数据的自动更新:通过统一开发平台开发的程序,相关元数据(表、字段、数据流图、触发条件)将自动纳入元数据管理,实现元数据的自动更新,并为统一调度平台提供程序调度触发消息;
??元数据的可控开放:为了保障开放数据的安全性,安全管理员要对即将开放的基础元数据进行逐个审批,只有得到安全管理员审批的基础数据才能对外开放,从而保障开放数据的安全性。
3.2.3 数据共享
为发挥大数据的价值,通过标准API 封装的方式为企业内各种实时的业务运营提供信息支撑,并对外部系统提供统一的数据调用接口,具有实时、动态的信息交互能力。标准的数据开放接口实现数据和应用的解耦、应用和UI 的解耦,有利于各应用系统功能集成。
(1)数据层
为实现快速的数据查询,数据共享平台采用了HBASE 及Redis 作为数据层。
??HBASE:作为分布式的、面向列的开源数据库,HBASE 在Hadoop 之上提供了大数据的存储和快速查询能力。
??Redis:作为基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的API。其查询速度比HBASE 更高。 (2)封装层
基于Restful 架构实现API 封装,使用Nginx 的代理功能,整合后端多个Tomcat服务器,实现高并发的查询能力。
内部结构如下:
??服务注册:服务属性配置:如服务标识、服务名称、服务描述、服
务发布地址等信息的配置; 服务参数配置:包括输入参数、输出参数、输出内容等配置。
??服务安全管理:服务认证鉴权是用于鉴别服务请求方是否有服务调用权限;数据交换安全是用于保证服务请求-响应过程中的数据安全;权限管理是用于确定服务请求方可调用的服务权限。
??认证鉴权:确定服务请求方是否有访问服务提供方提供的具体服务的功能权限;对于有功能权限的服务请求方,还需要再确定其可访问的具体服务的数据范围权限。
??服务运维:服务监控对数据服务的运行状况提供实时的监控和分析,帮助运维人员及时了解数据服务的健康情况。
??查询响应:负责处理数据和各类数据源进行交互,获取查询结果。数据获取处理主要包含: 连接相应的数据源,执行经过模型映射解析的可执行SQL 语句,获取结果数据。
??通信协议:通信协议采用全球公认的WEB SERVICE 标准协议。
需求方更容易安全接入系统。
3.3 方案效果
统一调度方案效果:统一调度集中整合了运营商经分系统、大数据平台、集团集市、VGOP 等应用系统的调度管理,提高了各个平台程序的并发度,减少重复建设,节约成本近百万;
统一开发方案效果:目前互联网中心和信安部已经开始进行客户体验工作,统一开发平台上线之后,需求的开发速度由原来的数十天量级提升到小时内量级实现,数据变现能力得到数倍的增强;
数据共享方案效果:目前某省运营商已部署基于Redis 的“用户剩余流量”实时查询系统,采用Redis 内存数据库作为内存存储单元;每天分流500 万以上的查询需求,同步数据达到秒级;扫描用户流量档次变化达到分钟级,单机支持并发查询量由原有BOSS系统的300 次每秒提高到5000 次每秒,并支持水平扩展。数据共享平台上线后将进行融合对外提供统一的API 接口查询服务。
4 运营场景
互联网中心在8 月中旬准备开展新学年营销活动,业务人员小明通过统一开发平台的可视化界面进行拖、拉、拽的方式直接在经分仓库上进行目标用户群的数据挖掘程序开发,经过近3 个小时的开发和测试,最终完成了程序的配置和固化上线工作,固化上线后程序自动通过统一调度进行每日的例行调度,大大节省了需求的周转时间。