某市旅游大数据集成平台建设技术方案(近600页完整版)(8)

2018-11-22 20:27

类对象时,选准信息的最稳定的本质属性,此乃分类的基础和依据。

系 统 性

系统性即合理的顺序排列。 可 延 性

可延性是指信息分类体系的建立应满足事物或概念不断出现或变化的需要,这就要求在建立信息分类体系时,应留有足够的空位,以便安置新出现的信息,而不至于打乱已建立的分类体系或推倒重来。

兼 容 性

兼容性是指相关的信息分类体系间的协调性问题。随着企业信息化建设的展开,经营管理、项目管理、营销管理等各类信息系统纷纷上马,采用信息分类编码标准协调一致的问题就摆在我们面前,这就要求信息分类的原则及类目设置有可能经过技术性的处理后满足系统间信息交换的要求。

标 准 化

标准化就是要充分考虑和参照已有的国家编码规范,这些规范是编码工作中应该认真学习和研究的。

1.4.2.1.4.4 信息编码的基本原则

编码的目的在于方便使用,因此编码时在考虑计算机处理信息使用方便的同时还要兼顾手工处理信息的需求。编码时应遵循如下的基本原则。

唯 一 性

尽管编码对象可能有不同的名称或不同的描述,但代码结构必须保证一个编码对象仅赋予一个代码,一个代码只反映一个编码对象。即:一个分类代码必须与指定的类目一一对应。

可 扩 性

代码结构必须能适应编码对象不断增加的需要,也就是说,必须为新的编码对象留有足够的备用码,从而使分类集可以进行必要的修订和补充。

简 短 性

在不影响代码系统的容量和可扩性的情况下,代码位数应尽可能少,以减少差错率,减少计算机处理时间和存储空间。

36

稳 定 性

代码不宜频繁变动,否则将造成人、财、物的浪费。编码时,应考虑其变化的可能性,尽可能保持代码系统的相对稳定性。

识 别 性

代码应尽量有最大可能限度的含义,较多含义的代码可以反映分类编码对象更多的属性和特征,以助记忆并便于人们了解和使用。

可操作性

代码应尽可能方便事务员和操作员的工作,减少机器处理时间。 自 检 性

具有检验差错的自身核对性能,以适应机器的处理。

上述原则中,有些原则彼此之间是互相冲突的,如:一个编码结构为了具有一定的可扩充性,就要留有足够的备用码,而留有足够的备用码,在一定程度上就要牺牲代码的简短性,代码的含义要强、多,那么代码的简短性必然要受到一定的负面影响。因此,设计代码时必须综合考虑以求代码设计最优化的结果。

1.4.2.2 数据资源整合

数据中心的数据来源包括下面几类:内部各部门业务系统的数据、外各单位的业务数据。上述数据经过采集、清洗、转换后最终存储在综合基础资源库。

系统内的各个业务数据库中,存在各种类型的数据库,同时还存在大量以Excel表格形式存在的数据文件。

由于各单位业务系统分别在不同时期进行建设,各业务数据在数据库和数据标准化上都参差不齐,因此在整合各类数据时需要按照标准化的要求,对各种来源的数据进行清洗和转换,以提高数据中心的数据质量。

从数据来源分析,成都旅游大数据中心的数据信息主要包括: 市旅游局内部系统数据

市旅游局内部数据是成都旅游工作的具体体现,主要有景区数据、住宿业数据、旅行社数据、旅游动态数据、旅游执法数据、以及公共服务数据等。市旅游局及授权用户可实时调看及历史查阅。

涉旅数据

37

涉旅数据是有效整合部门统计数据,利用大数据完善旅游统计数据收集、整理、评估、分析工作,真实、准确反映全市旅游市场状况。主要有涉旅企业数据、对接公安、气象、安全、交通、工商、商务、食药监等、以及银联、移动、百度搜索、携程、去哪儿等数据。旅游数据中心平台通过实时对接、定期推送、数据导入等多种方式进行处理、分析、统计等。

综合业务数据

主要是旅游数据分析和测算、宣传、信用、行业监管、营销等业务数据,是成都旅游数据中心大数据集成应用平台的重要数据,也是大数据应用的应用成果数据。通过采集的各类的数据,建立分析和测算模型,产生旅游产业客流监控功能、旅游产业宏观监管功能、旅游产业服务功能等。数据是保证系统良好运行的关键,要求对该类数据在中心平台实时、准确汇总。市旅游局及授权用户可实时调看、分析数据及历史查阅。

地理信息数据

地理空间信息数据是成都旅游数据中心大数据集成应用平台设计方案的基础。地理信息数据库可直接对旅游管理各相关部门、游客、服务商等提供准确、实时的基础地理信息。保证了成都旅游数据中心对基础地理信息的要求。包括景区、景点、住宿点、购物点、餐饮点、道路、交通线路、车站等多种类别的地理位置信息。

视频监控数据

景区、景点、住宿点等场所的视频监控数据是本系统大数据量来源之一,3A及以上A级景区要接入实时视频监控点。市旅游局及授权用户可远程实时接入查看或调看及历史查阅。

日志数据

系统运行期间所产生的用户操作日志、系统运行日志等日志记录数据,要求准确、实时保存,该数据不可更改,不可删除。

1.4.2.3 数据处理流程

数据中心的数据建设流程如下图所示:

38

各类数据库数据服务数据文件Web Service数据接口程序异构数据源清洗转换汇集结构化数据整合归类元数据数据仓库数据接口报表服务服务提供数学模型库全域营销行业管理公共服务抽取传输规整标准化质量控制信用全景分析服务企业服务文档数据数据集市检索服务 数据报送系统协调库中心库数据采集数据管理数据服务数据应用

数据处理流程包括数据采集、数据管理、数据服务、数据应用。数据采集对异构数据进行抽取、存储;数据管理对采集的数据进行清洗、转换、汇集、规整、标准化及质量监控,为数据分析提供符合要求的基础数据;数据服务对用户和业务系统提供查询、分析、报表、统计、展示等服务或接口;数据应用对数据服务及接口进行授权调用,支撑各类业务系统运行。

1.4.2.4 数据存储及管理 1.4.2.4.1 数据存储

数据中心数据存储除合理设计数据存储层次外,还可以利用服务器、存储设备和数据库产品特性,充分保证数据存储的要求。

? 压缩存储

数据中心采用高性能数据库,采用增强型压缩技术可存储更多的数据,并针对具体情况灵活采用最佳压缩机制,以大幅节省存储空间。

数据库具备多值压缩 (MVC) 的增强功能,通过减少 I/O 和节省存储空间使性能获得大幅提升。每个数据库许可证均包括这些极具价值的压缩技术,可为客户提供卓越的灵活性和强大的高级压缩功能。

? 多温度

数据中心数据库还可以从数据\温度\这一视角来自动、智能地进行数据放置管理。这一内置的智能可以在不干扰用户或管理员的前提下自动将使用最频繁的数据或者叫\热\数据放到速度最快的存储单元并将使用频率最低的数据或者叫\冷\数据放到速度最慢的存储单元。数据的合理放置可支持热数据的高性能访问

39

从而助力实时决策,同时在数据渐渐成为历史或日益变\冷\并迁移到成本较低的磁盘时提供自动化的生命周期管理流程。

? 分级存储

分级存储管理(Hierarchical Storage Management,HSM)是一种将离线存储与在线存储融合的技术。它将高速、高容量的非在线存储设备作为磁盘设备的下一级设备,然后将磁盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。当需要使用这些数据时,分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上。对于用户来说,上述数据迁移操作完全是透明的,在逻辑磁盘的容量上明显感觉大大提高了。通俗地讲,数据迁移是一种可以把大量不经常访问的数据存放在磁带库、光盘库等离线介质上,只在磁盘阵列上保存少量访问频率高的数据的技术。当那些磁带等介质上数据被访问时,系统自动地把这些数据回迁到磁盘阵列中;同样,磁盘阵列中很久未访问的数据被自动迁移到磁带介质上,从而大大降低投入和管理成本。

1.4.2.4.2 数据库性能调整优化策略

实际上随着数据中心系统上线后,随着业务在不断发展,有些性能问题可能会随着数据的变化以及数据量的不断增长逐渐暴露出来;使用者也会越来越多,这样就会导致系统的工作负载越来越繁重,所以需要不断的根据当前的实际使用情况动态的进行调整,以保证系统的整体性能;因此数据仓库需要持续地进行性能管理。

系统性能管理一般包括日常系统性能监控、简单的日常性性能问题排除以及不定期的系统调优服务三个部分。

? 日常系统性能监控

因为数据仓库系统始终处于动态发展的状态,所以系统性能管理也将是一个持续过程,会一直伴随在系统的发展过程中,所以对于系统性能的日常监控非常重要。日常系统性能监控需要记录和监控系统运行参数,如CPU、IO的使用情况、ETL任务的运行情况、日常系统中运行的工作负载(作业和查询)的时间及执行路径等,并对监控的内容按照一定的周期建立基线性能指标,进行不断地比对分析,及时发现性能的问题。

40


某市旅游大数据集成平台建设技术方案(近600页完整版)(8).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:高考填报志愿专业代码-高考专业报考指南

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: