此文档着重强调数据库方面
*自带Hadoop插件可以从HDFS文件系统中提取文件,但是有的Hadoop集群不允许直接通过HDFS方式访问,而是通过一些标准的API。*的数据载入模块针对不同协议已经进行了一定的封装,如果遇到未知协议,我们也可以根据协议要求定制开发相关读取模块。
对于增量数据,读取时需要标记读取位置,这样才能有效避免数据重复。
3数据库产品非功能性技术指标
3.1 单节点故障不影响系统的操作,并且系统性能至少能保持正常性能的50%
*有着较高的高可用性。在数据库集群在任意节点网络异常、主机异常、掉电情况下都体现较高的可用服务能力。在单节点故障下,对整体集群性能不会产生大的波动。对于某个重要的节点,*提供主从灾备方案,切换时间小于1分钟(主要是网络探测不可用时间,根据路由设备的不同略有不同),只要备机和主机性能相当,性能只会衰减50%。