智慧气象大数据规划设计方案V3.0
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘（SaaS），但它必须依托云计算的分布式处理、分布式数据库（PaaS）和云存储、虚拟化技术（IaaS）。
大数据可通过许多方式来存储、获取、处理和分析。每个大数据来源都有不同的特征，包括数据的频率、量、速度、类型和真实性。处理并存储大数据时，会涉及到更多维度，比如治理、安全性和策略。选择一种架构并构建合适的大数据解决方案极具挑战，因为需要考虑非常多的因素。
气象行业的数据情况则更为复杂，除了“机器生成”（可以理解为遥测、传感设备产生的观测数据，大量参与气象服务和共享的信息都以文本、图片、视频等多种形式存储，符合“大数据”的4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、veracity(真实性) 。这些信息长期存储于气象各部门的平台上未能加以合理利用。另一方面，这些数据本身就是分散存储于多个服务器平台上，急需应用分布式平台统一管理。
因此，我们亟需一种结构化和基于模式的方法来简化定义完整的大数据架构的任务。因为评估一个业务场景是否存在大数据问题很重要，所以我们包含了一些线索来帮助确定哪些业务问题适合采用大数据解决方案。
数据基础决定平台框架
— 7 —
智慧气象大数据规划设计方案V3.0
从分类大数据到选择大数据解决方案 RDBMS：关系型数据库；
ETL：数据清晰、转换、装载的过程； ELT：数据清晰、装载、转换的过程； CDC：增量数据复制。有同步和异步两种模式。 数据种构 类 主数据 事务 分析数据 元数据 参结交中平灵XML/xQETL/ELT、消息 使用基于系统 结构化 测数据 观中数预RDBMS/ETL/ELT、CDC 应用程序、BI和统计程序 结例 示量安模 建存储和检索 集成 用 使全性 -高 据库、定义SQL 应用的关程序系建和用模或户访维度问 建模 考数构化和换据 半结构数化 — 8 —
-低 台安活可uery 全性 扩展 据 智慧气象大数据规划设计方案V3.0
文非预高基随文件系统/搜索 操作系内档和结构化 报内容 文件 大数据 -网页 -物联网 -卫星/雷达等传感器
结构化数据
志 结构化、图 半结构化、非频 结构化 音 网语视云于文意 件系统 高文灵统级文件移容管动 理 分布式Hadoop、B件系活（键文件系统MapReduce、I和统和值） 数据库 /noSQL ETL/ELT、消统计息 工具
半结构化数据“
— 9 —
智慧气象大数据规划设计方案V3.0
非结构化数据
非结构化数据
— 10 —
智慧气象大数据规划设计方案V3.0
依据大数据类型对业务问题进行分类
根据气象服务需要，业务问题可分类为不同的大数据问题类型。以后，我们将使用此类型确定合适的分类模式（原子或复合）和合适的大数据解决方案。但第一步是将业务问题映射到它的大数据类型。下表列出了常见的业务问题并为每个问题分配了一种大数据类型。
业务问题 公用事业：临近天气预报 大数据问题 机器生成数据 描述 依据站点观测数据汇总和国家局下发文件、全球交换数据只做的预报信息 政府决策：区域天气预警 据 机器生成的数政府机构通过“智慧都市”等平台整合IS关联天气地理信息数据 预警产品、预警通知反馈、政府交换数据 城区建筑布局与灾害易发分图片视频资料 析结果预测预判辖区内的灾语音播报数据 情险情，做好防灾避险工作 历史灾害汇总 微博等网页数据 保险业：气象相关险种 气象预报 依据气象预报信息以及Web与社交媒体网络媒体调查反馈，开辟“中数据 暑险”、“赏月险”等多个险— 11 —