? 导航装置
? 电离辐射、亚原子粒子等 ? 靠近、存在等
? 位置、角度、位移、距离、速度、加速度 ? 声音、声震动等 ? 汽车、运输等 ? 热量、热度、温度 ? 光学、光、成像、见光度 ? 化学 ? 压力
? 流动、流体、速度 ? 力、密度级别等
? 来自传感器供应商的其他数据 3.1.1.2 大数据存储层
因为传入的数据可能具有不同的特征,所以数据改动和存储层中的组件必须能够以各种频率、格式、大小和在各种通信渠道上读取数据:
? 数据获取— 从各种数据源获取数据,并将其发送到数据整理组件或存
储在指定的位置中。此组件必须足够智能,能够选择是否和在何处存储传入的数据。它必须能够确定数据在存储前是否应改动,或者数据是否可直接发送到业务分析层。
? 数据整理— 负责将数据修改为需要的格式,以实现分析用途。此组件 可拥有简单的转换逻辑或复杂的统计算法来转换源数据。分析引擎将会确定所需的特定的数据格式。主要的挑战是容纳非结构化数据格式,比如图像、音频、视频和其他二进制格式。
? 分布式数据存储— 负责存储来自数据源的数据。通常,这一层中提供 了多个数据存储选项,比如分布式文件存储 (DFS)、云、结构化数据源、 NoSQL 等。 3.1.1.3 分析层
这是从数据中提取业务洞察的层:
? 分析层实体识别— 负责识别和填充上下文实体。这是一个复杂的任务, 需要高效的高性能流程。数据整理组件应为这个实体识别组件提供补充,将数据修改为需要的格式。分析引擎将需要上下文实体来执行分析。
? 分析引擎— 使用其他组件(具体来讲,包括实体鉴别、模型管理和分 析算法)来处理和执行分析。分析引擎可具有支持并行处理的各种不同的工作流、算法和工具。
? 模型管理— 负责维护各种统计模型,验证和检验这些模型,通过持续
培训模型来提高准确性。然后,模型管理组件会推广这些模型,它们可供实体识别或分析引擎组件使用。
3.1.1.4 使用层
这一层使用了从分析应用程序获取的业务洞察。分析的结果由组织内的各个用户和组织外部的实体(比如客户、供应商、合作伙伴和提供商)使用。此洞察可用于针对客户提供产品营销信息。例如,借助从分析中获取的洞察,公司可以使用客户偏好数据和位置感知,在客户经过通道或店铺时向他们提供个性化的营销信息。
该洞察可用于检测欺诈,实时拦截交易,并将它们与使用已存储在企业中的数据构建的视图进行关联。在欺诈性交易发生时,可以告知客户可能存在欺诈,以便及时采取更正操作。
此外,可以根据在数据改动层完成的分析来触发业务流程。可以启动自动化的步骤 — 例如,如果客户接受了一条可自动触发的营销信息,则需要创建一个新订单,如果客户报告了欺诈,那么可以触发对信用卡使用的阻止。
分析的输出也可由推荐引擎使用,该引擎可将客户与他们喜欢的产品相匹配。 推荐引擎分析可用的信息,并提供个性化且实时的推荐。
使用层还为内部用户提供了理解、找到和导航企业内外的链锁信息的能力。对于内部使用者,为业务用户构建报告和仪表板的能力使得利益相关者能够制定精明的决策并设计恰当的战略。为了提高操作有效性,可以从数据中生成实时业务警告,而且可以监视操作性的关键绩效指标:
? 交易拦截器— 此组件可实时拦截高容量交易,将它们转换为一种容易
被分析层理解的实时格式,以便在传入数据上执行实时分析。事务拦截器应能够集成并处理来自各种来源的数据,比如传感器、智能仪表、麦克风、摄像头、GPS 设备、ATM 和图像扫描仪。可以使用各种类型的适配器和 API 来连接到数据源。也可以使用各种加速器来简化开发,比如实时优化和流分析,视频分析,银行、保险、零售、电信和公共运输领域的加速器,社交媒体分析,以及情绪分析。
? 业务流程管理流程— 来自分析层的洞察可供业务流程执行语言 (BPEL) 流程、API 或其他业务流程使用,通过自动化上游和下游 IT 应用程序、人员和流程的功能,进一步获取业务价值。
? 实时监视— 可以使用从分析中得出的数据来生成实时警告。可以将警 告发送给感兴趣的使用者和设备,比如智能电话和平板电脑。可以使用从分析组件生成的数据洞察,定义并监视关键绩效指标,以便确定操作有效性。实时数据可从各种来源以仪表板的形式向业务用户公开,以便监视系统的健康或度量营销活动的有效性。
? 报告引擎— 生成与传统商业智能报告类似的报告的能力至关重要。用 户可基于从分析层中得到的洞察,创建临时报告、计划的报告或自助查询和分析。
? 推荐引擎— 基于来自分析层的分析结果,推荐引擎可向购物者提供实 时的、相关的和个性化的推荐,提高电子商务交易中的转换率和每个订单的平均价值。该引擎实时处理可用信息并动态地响应每个用户,响应基于用户的实时活动、存储在 CRM 系统中的注册客户信息,以及非注册客户的社交概况。
? 可视化和发现— 数据可跨企业内外的各种联邦的数据源进行导航。数 据可能具有不同的内容和格式,所有数据(结构化、半结构化和非结构化)可组合来进行可视化并提供给用户。此能力使得组织能够将其传统的企业内容(包含在企业内容管理系统和数据仓库中)与新的社交内容(例如 tweet 和博客文章)组合到单个用户界面中。
3.1.2 垂直层
影响逻辑层(大数据来源、数据改动和存储、分析和使用层)的所有组件的各方面都包含在垂直层中:
? 信息集成 ? 大数据治理 ? 系统管理 ? 服务质量 3.1.2.1 信息集成
大数据应用程序从各种数据起源、提供程序和数据源获取数据,并存储在 HDFS、NoSQL 和 MongoDB 等数据存储系统中。这个垂直层可供各种组件使用(例如数据获取、数据整理、模型管理和交易拦截器),负责连接到各种数据源。集成将具有不同特征(例如协议和连接性)的数据源的信息,需要高质量的连接器和适配器。可以使用加速器连接到大多数已知和广泛使用的来源。这些加速器包括社交媒体适配器和天气数据适配器。各种组件还可以使用这一层在大数据存储