几款分布式数据库的对比(2)

2019-08-31 10:10

基本层:数据库管理系统 (DBMS),这是一个全共享 MPP 分析 DBMS 引擎,是Sybase IQ 最大的独特优势。

第二层:分析应用程序服务层,其提供 C++ 和 Java 数据库内 API,并可实现与外部数据源的集成和联邦;包括四种 与Hadoop 的集成方法。

顶层:Sybase IQ 生态系统,由四个强大且不同的合作伙伴和认证 ISV 应用程序组成。 基于这种 PlexQ 技术,Sybase IQ 15.4 将大数据转变成可指挥每个人都行动的情报信息,从而在整个企业的用户和业务流程范围内轻松具备大数据的分析能力。

2.3.2 主要特性

Sybase IQ(15.4)的关键特性: 1. 更强的数据管理

大量增强的功能改善了Sybase IQ 的数据管理、部署和可维护性。

更快速的批量加载: 批量加载数据通过ODBC 和 JDBC 接口插入到Sybase中,从而实现具有更高可扩展性的应用程序,同时可极大提高加载性能。

更出色的文本压缩: 更出色地对 VARCHAR、VARBINARY、CHAR 和 BINARY 压缩可实现以更高效率、更低成本部署高性能文本分析应用程序,同时极大提高压缩速率。

2. 丰富的应用程序

Sybase IQ 15.4 增加了一系列 API 和工具,用于创建在数据库内运行的高级分析算法,并且能通过 PlexQ 网格能充分利用大规模并行处理的能力。

支持自带Map Reduce的表参数化用户自定义函数(UDF)——这是 Sybase IQ 的本地应用程序编程接口,可使应用程序编程人员在 Sybase IQ 数据库服务器内构建和部署 C++

库。使用这些 API 可实现专有算法或算法包,安全地位于 Sybase IQ 内,通过在保存于 Sybase IQ 数据库服务器中的数据附近执行,以快 10 倍的速度返回结果。此框架可实现在 Sybase IQ 中开发和部署 MapReduce 程序,以分析涉及结构化、半结构化和非结构化数据格式的超大数据集。C++、Map 和 Reduce 算法通过标准 SQL 加以调用,并且由 Sybase IQ 强大的查询引擎自动在 PlexQ 网格中进行分发和并行化。

Hadoop集成与联邦——将基于Hadoop的分析的结果与运行于 Sybase IQ 中的查询相集成。Sybase 是唯一一家提供4种不同方法将标准SQL查询(客户端联邦、ETL处理、数据联邦和查询联邦)中的 Hadoop 数据和分析与分析数据库相集成的厂商。Sybase IQ 15.4 充分利用Hadoop来识别海量结构化和非结构化数据集中的相关数据点,然后将 Hadoop 中的相关数据点集成到 Sybase IQ 中,以便利用传统数据和来自其他数据源的结果集进行分析。

预测模型标记语言 (PMML) 支持——通过 Zementis 提供的认证插件,自动执行使用业界标准语言定义在SAS、SPSS、―R‖等工具以及其他流行预测工作平台产品中所创建的分析模型。充分利用流行的分析工具构建预测模型,自动执行在Sybase IQ中部署的预测模型,并使用业界标准语言,以避免形成厂商捆绑。

―R‖集成: ——用户可使用 RJDBC 接口,以及流行的开源统计工具―R‖查询Sybase IQ 数据库。此外,用户还可以将来自 Sybase IQ 的―R‖库作为SQL查询中的函数调用加以执行,并返回结果集。

3. 数据库内分析库

更新的数据库内统计和数据挖掘库(来自Fuzzy ? Logix 的 DBLytix): 在 Sybase IQ 内运行的高级分析、统计和数据挖掘算法库。Sybase IQ 15.4中的更新可使该库充分利用一些数据挖掘算法中的MapReduce API进行大规模并行处理,并且包含多种新函数,例如支持向量机、神经网络和Adaptive Boosting。

4. 扩展的生态系统

Sybase IQ 还非常适合面向大数据分析的端到端全面解决方案。重要的工具和互补的合作伙伴产品可在以下方面提供帮助:

Sybase PowerDesigner? 16.1 参考架构生成器: 可通过在实施 Sybase IQ 数据仓库和数据集市时生成最佳硬件配置,快速实现价值。

Sybase Control Center(SCC) : 改进方面包括大量管理功能,例如过程、函数、UDF(表、TPF 和JavaEE )及文本索引。用户能够更轻松地管理 SCC 中频繁使用的功能,以及更轻松地部署内置、外部和文本数据库内分析。此外该版本还包含了新的SQL 执行窗口,该窗口可实现易于测试的特定 SQL 例程。

已通过 SAP?BusinessObjects? 认证: Sybase IQ 15.4已通过认证,可与SAP Business Objects Business Intelligence Platform 4.0 和SAP Business Objects Data Services 4.0配合使用,以提供丰富的端到端业务分析框架。

2.3.3 主要局限

? ? ? ?

Sybase IQ MPP是Share-Disk 架构 增加硬件,无法线性的提升数据库性能。

列存储的一些劣势,装载速度,复杂查询等性能不理想。 插入操作上表级锁,影响数据导入时影响表上的并发操作。(*)

2.4 Teradata Aster Data

Teradata 天睿公司的 Aster Data 分析平台是市场领先的大数据分析解决方案。Aster Data 分析平台嵌入了 MapReduce,对新数据源和多结构数据类型进行更深入的分析处理,提供具有突破性的性能和可扩展性的分析能力。Aster Data 解决方案利用 Aster Data 专利 SQL-MapReduce 来并行处理数据和应用程序,可在大范围内提供丰富的分析洞察力。

2.4.1 基础架构

TD Aster Data平台架构如下:

其中Aster Database架构如下:

2.4.2 主要特性

TD Aster Data有如下技术特点: ? Shared-nothing架构

海量数据库采用最易于扩展的Shared-nothing架构,每个节点都有自己的操作系统、数据库、硬件资源,节点之间通过网络来通信。

? S Q L –MapReduce

SQL-MapReduce 是Aster Data公司的专利,在同类技术中(Greenplum)属于领先地位。SQL-MapReduce 框架可以使数据科学家和商业分析师对复杂的信息进行快速调查分析,允许一组关联计算机(计算机群集)使用软件语言(如 Java、C#、Python、C++ 和 R)并行进行程序表达,然后通过标准 SQL 激活(调用)使用。

? 基于MPP的并行分析平台

第一个大规模并行分析平台, 借助 S Q L -MapReduce 支持嵌入式分析应用程序,使企业能显著加快 TB 乃至 PB 级数据的处理,为提供新的交互性大数据应用带来了无数机会

? 可视化集成开发环境

第一个可视化集成开发环境 (Aster Data Developer Express),拥有立即可用的 SQL-MapReduce 模块(Aster Data Analytic Foundation 的一部分),使大数据分析更快、更简单。

? 动态负载管理(Dynamic Mixed Workload Management) 支持最细粒度的负载均衡管理机制。 ? 多种容错、自动恢复机制

Aster Data nCluster 的设计彻底地避免了由于硬件和软件故障、用户或管理员的错误以及本地或站点的破坏引起的意外停机。此外,现场管理的独特功能尽量减少或完全避免了计

划停机。倘若出现了硬件和软件故障,ROC(面向修复计算)技术便在在线数据重新分配中提供了大规模容错性的实时修复。同时,它允许在查询、在线备份和修复、在线复原和在线向外扩展过程中进行下载或导出,这样就不再需要考虑停工计划预算了。

? 支持行、列压缩存储技术

2.4.3 主要局限

? ? ?

在国内目前没有发现有实施案例,没有较完整的解决方案,应用市场较小; 产品还不够成熟,如表管理可能导致性能问题; 混合负载控制能力较差。

3 对比分析

对比项 Greenplum ★ ★ ★ ★ ★ ★ ★ ★不能动态减少节点 ★ ★ 用户只能设定优先级,系统Vertica ★ ★ ★ ★ 不支持 提供hadoop的接口 ★ ★可动态增减节点 ★ 可控制CPU/内存等系统Sybase IQ TD Aster Data 无共享MPP架构 支持开放硬件平台 负载管理 按列存储 按行存储 In-DB MapReduce 系统在线扩容 线性扩展 表分区 索引 share-everything ★ ★ ★ ★ 不支持 提供Mapreduce API接口 ★ ★ ★ ★ ★ ★ ★ 不确定 ★ ★ 资源分配

不确定 自动分配资源 资源分配


几款分布式数据库的对比(2).doc 将本文的Word文档下载到电脑 下载失败或者文档不完整,请联系客服人员解决!

下一篇:货运检查员

相关阅读
本类排行
× 注册会员免费下载(下载后可以自由复制和排版)

马上注册会员

注:下载文档有可能“只有目录或者内容不全”等情况,请下载之前注意辨别,如果您已付费且无法下载或内容有问题,请联系我们协助你处理。
微信: QQ: