此文档着重强调数据库方面
这样就可以弥补本来的磁盘瓶颈。
当4个资源有两个或者以上达到瓶颈的时候,基本上可以优化的余地不大了,需要通过扩展节点或者提升硬件水平(比如添加内存条、CPU、更换SSD、或者提升网速)的方式进行处理。
*数据库自带的管理工具,可是使用的通过网页监控CPU、内存、网络、IO四大资源,对于调试监控性能十分有用。
4.1物理结构
硬件部署结构,整体分5个部分:
1. Hadoop集群层。提供数据,和交换机2对接。
2. 数据加载层。有2台主机组成,从Hadoop集群提取数据,把数据从Hadoop集群入库到
数据处理层的49个节点中。
3. 数据处理层。有49台主机组成,用于存储数据,根据SQL命令计算数据返回数据集合
给协调节点。
4. 协调节点层。有2台主机组成,接受客户端的SQL语句,发送给相关的49个数据节点,
接收数据层的返回数据集合。两个协调节点互为主备,不存储任何数据,一个节点宕机,整个集群仍然可用。
5. 测试客户端。有1台主机。没有在架构图中画出,主要用来访问协调节点,进行开发测
试。
下图描述了整个硬件部署情况: