创新创业大数据平台建设解决方案
数据平台采用基于Hadoop技术架构的处理技术,为数据分析师及开发者提供几十种具备自主知识产权的分布式算法。平台提供相应的SDK开发工具套件及算法调用API,从而让各种应用能够方便的使用平台数据及其算法。拥有基础算法的支持仅仅完成了数据分析和挖掘的第一步,对于每一个具体的基于数据的应用系统,都需要根据其自身特点建立相应的分析模型,才能够有效的支撑应用系统。简单的说,分析模型可以看作是由一个或多个基础算法组合而成,基础算法提供了大量的中间结果,而模型则将大量的中间结果处理为最终结果。
? 数据分析开发套件SDK
大数据平台提供的三种分布式计算框架为平台提供了强大的分布式计算能力,从而为各种基于数据的应用提供了基本的运行环境;同时,基础算法库中大量的分布式算法实现则为数据分析模型的建立提供了底层的工具支撑。为了让平台的计算能力和算法分析能力应用到实际业务之中,还需要通过研发人员开发出使用这些计算能力和算法库的分析程序。分布式计算开发套件SDK则使平台具备了二次开发的能力,它可以让研发人员利用大数据平台中分布式并行计算的能力,通过基于数据分析的定制开发,实现对海量大数据进行分析处理,建立数据分析处理的结果性数据,为上层大数据业务应用提供数据支撑。
3.1.2.4 数据信息管理系统
? 数据审核
数据审核模块主要是接受供应商门户网站上传的流数据和块状数据,对这些数据进行审核,决定其是否能通过,并进入数据评估。
创新创业大数据平台建设解决方案
? 数据评估
数据评估模块主要是对已审核过的数据,针对各个指标项进行数值评估,最终保存其评估结果,供用户查询和数据定价时参考。
? 数据定价
数据定价模块主要是设置经过数据评估的数据,对应不同用户、不同使用环境进行数据定价。
? 数据发布管理
数据发布管理模块主要是发布经过定价或评估的数据,进行对外发布,设置其发布范围和发布状态。
3.1.2.5 数据日志系统
? 数据日志存储
对外提供数据日志存储服务接口,供其他系统进行数据日志信息的存储。
? 数据日志查询
基于Web浏览器端,向后台系统管理员提供数据日志查询功能。
3.1.2.6 数据审计系统
? 数据服务使用情况审计
基于web浏览器端,向后台系统管理员提供对登陆和使用平台进行数据服务使用情况的用户行为进行跟踪记录和统计,并形成分析报告的功能。
? 服务状态监视
创新创业大数据平台建设解决方案
基于web端,向后台系统管理员提供对所有已注册并发布的开放数据API和数据下载服务的服务状态信息进行监视记录,并形成分析报告的功能。
3.1.2.7 数据使用权标记系统
? 块状数据水印服务
向数据平台提供webservice形式的块数据水印服务接口。 ? 流数据水印服务
向API管理系统和创新工场API系统提供webservice形式的流数据水印服务接口。
? 水印管理服务
基于web浏览器端,向后台系统管理员提供对水印的管理和验证功能。
3.1.3 创新创业管理子系统
3.1.3.1 创新创业应用管理系统
? 创新应用APP测试
创新工场APP测试:当APP上架之前需要经过后台管理人员的测试,创新工场开发者用户应当提供给数据平台测试账号,布置测试环境,提供测试数据,以及对应APP的一些基本信息。后台管理员会根据提供的信息对该APP进行测试。 ? 创新应用APP发布
创新创业大数据平台建设解决方案
APP发布:对于测试通过的APP应用,后台管理员会进行发布,添加新的APP应用,输入APP有关的基本信息“名称、开发者、访问方式、说明描述、使用说明及演示地址等”。
3.1.3.2 开放数据API管理系统
? API发布
开放数据API发布:API数据系统主要提供给用户使用API的方式,进行数据下载。是通过接口形式,实时获取最新数据。后台管理员上架API,填写API的详细信息包括:API数据的描述(api的收费情况描述、接口作用信息、接口的参数对照信息、返回字典等信息),接口信息(调用地址、返回格式),API调用的文档,以及API调用的地址。之后会经过后台管理人员审核确认API通过审核,才会发布到数据平台。
? API测试
API发布之前必须经过测试,确保API的可用性、正确性、以及数据的完整性,对一些法律规定不允许公布的数据将不予以发布。
3.1.4 数据统一展示门户子系统
3.1.4.1 数据统一展示门户
数据统一展示门户主要为普通用户提供浏览、确定数据范围的功能,数据是由平台或者数据供应商提供的,用户可以通过分类、查找、过滤等方式找到自己关注的数据,然后查看数据的详细信息,数据自
创新创业大数据平台建设解决方案
身都是经过脱敏和加密,符合对外展示的具体要求的,成为数据驱动的运营体系的统一对外展示接口。
数据统一展示门户系统功能包括,数据展示,数据的过滤功能,数据的查找功能,数据列表,数据的详细信息。
? 数据展示
数据展示功能主要是将数据种类、描述、样例、历史访问量等信息展示给客户,以方便用户的分析使用。具体包括以下内容:
? 数据的分类显示
数据的分类会出现页面的头部导航栏,当用户把鼠标放到某一大分类出,弹出当前大分类下的所有子分类,用户点击子分类进入当前子分类有关数据的详细列表页面。 ? 数据的过滤功能
提供标签过滤功能,用户点击其中某个标签,会按照此标签 以及之前的过滤标签重新过滤目标数据。目标数据的将以标签匹配的数据标题的关键字查找出来,以列表的形式展示出来,以供用户选择。 ? 数据的查找功能
提供查找功能,用户通过页面的搜索查找有关输入关键字所匹配的数据,搜索框前可以选择搜索数据的标题还是搜索详情,默认的是标题的关键字,输入数据的关键字,根据程序的处理搜索有关数据的关键字匹配,以列表的形式展示出来以供用选择。 ? 数据列表