存储利旧云化改造方案
2015-10
第 1 页 共 12 页
目录
1. 方案概述 .................................................................. 3 2. 现状分析与挑战 ............................................................ 3
2.1. 现状分析 ............................................................ 3 2.2. 面临挑战 ............................................................ 3 3. 解决方案设计 .............................................................. 3
3.1. 指导思想 ............................................................ 3 3.2. 总体框架 ............................................................ 4 3.3. 系统组成 ............................................................ 4 3.4. 系统优势 ............................................................ 6 4. 客户价值 .................................................................. 7 5. 案列分享 .................................................................. 7
第 2 页 共 12 页
一、方案概述
随着国家对社会治安的越来越重视，在平安城市的建设中视频图像也越来越高清化，原来视频点位已不能满足现实需求，因此有了平安城市二期和三期的建设。在大量视频点投入和视频高清化后，原有的存储系统也不能满足现实需求，如果重新建设新的存储系统就会占用大量资源，而且原有资源也不能再利用造成大量的浪费，基于对城市存储系统的深入分析，我们推荐使用云存储改造为公安局架设统一云存储系统，通过其高性能、高IO、高可靠、易扩展、易管理的五大特性，从存储底层来保障公安行业相关应用的安全稳定可靠的运行。
二、现状分析与挑战
（1）现状分析
旧存储为XX品牌，XX年采购，共计XXT存储容量， 架构为SAN+NAS，一个机头+3个盘柜，FC交换机为XX品牌。目前放到分局使用，容量已不够，现阶段迫切需要解决的问题是存储空间扩容的问题，同时对陈旧设备整合有一定要求，保护现有投资。
（2）面临挑战
警务平台现阶段用户所面临的瓶颈依然是性能问题、安全性问题、扩展性问题以及管理问题
1、性能瓶颈
针对智能分析等应用数以万计的小文件使得存储系统针对个别文件的索引速度降低，往往查找数据和读取数据需要等待很长的时间。
2、安全隐患
视频监控平台，智能分析平台等海量数据下，传统Raid安全难以保证在磁盘故障率越来越高的情况下数据的安全，且硬盘级别的安全机制已不适用于大规模的数据存储平台。
3、扩展问题
长时间保存的视频文件，案件资料等海量数据占用空间每时每刻都在增长，越来越庞大的数据规模如果扩展存储平台将是越来越多警务平台存储所面临的问题。
4、管理问题
海量数据下如何做到统一管理和统一分配空间是传统存储所不能及的。 5、投资保护
新设备的加入无法保证旧设备的高利用率，无法保护现有建设的投资。 现阶段存储容量已不够，迫切需要解决的问题是存储空间扩容的问题，同时对陈旧设备整合有一定要求，保护现有投资。
三、解决方案设计
（1）指导思想
第 3 页 共 12 页
1．充分利用原有存储设备不浪费。
2．新存储设备和原有存储设备通过云平台改造可以通用，实现一体化管理。
3．云平台建设要突出安全性高、高性能、扩展性强、高可用性强、操作简便、易整合等特点。
（2）总体框架
云存储平台架构应用了国际领先的分布式HxStor全局文件系统作为支撑，可支持海量的环境信息数据处理。计算性能与数据处理规模可以动态伸缩。未来可以自由的扩展，满足不断增长的应用需求。将所有硬件资源构建成一个大的集群资源池，将处理性能、缓存、带宽聚合按需分配资源。服务应用不再与硬件一一绑定，即一个硬件不再单独为一个硬件服务，资源从专有独占的方式转变为完全共享方式，现实自动化的管理，故障自动迁移恢复，不需人工干涉。通过DRS技术自动合理分配资源，自动休眠。透明的IT资产管理，清晰的网络运维情况，在线人数检测 ，设备使用率在线检测。 原有存储云改造：原有存储两台SNA设备分别挂接到两台PC服务器和新增两台X86架构存储一体机构成云节点，PC服务器和X86架构存储一体机上分别部署互信HxStor云存储平台软件共同组成云存储池，为应用平台提供存储空间。
（3）系统组成
1．原有存储SAN设备挂到PC服务器下，作为云改造节点。
2．X86架构存储一体机（16、24、32等盘位）做为新增云节点。 3．云平台软件(HxStor)构成：
第 4 页 共 12 页
应用系统应用系统应用系统存储集群访问客户端HxStor AP（POSIX、NFS、iSCSI）虚拟存储池元数据集群管理引擎MDSC对象存储集群管理引擎OSSC存储系统交换网络IB、1GbE、10GbE A. 元数据服务集群管理模块：
存放整个文件系统的元数据，管理整个文件系统的名字空间。提供单一的系统映像，部署在一组通用X86 结构的PC服务器上。 B. 对象存储集群管理模块：
存储应用系统的文件数据，具有故障探测、自我修复功能，内置独特的文件存储与备份机制，每个文件被系统分割成多块后按一定规则存放在多个存储服务器中，并且每块文件在其他服务器中至少有1份备份（根据安全和性能需求可设定为多份），这些软件部署在一组通用X86 结构的PC服务器上。 C. 访问客户端：
对上层提供标准POSIX语义的访问接口和统一的文件系统映像，响应上层应用对文件访问请求并通过内部私有协议高速访问后端集群存储上的文件数据，形成对上层统一的虚拟存储池。访问客户端软件可以安装在应用系统服务器上，对应用系统提供访问存储的文件支撑，也可以单独安装在一组服务器上并与NFS或iSCSI系统结合。为了更好的支持高性能计算或虚拟机应用场景下对高IOPS的要求，（HxStor）提供高速缓存模块SOCache（Super IO Cache），利用高性能的SSD盘做访问客户端的二级缓存，大幅提高性能，同时在两个访问客户端之间使用InfiniBand实现高速缓存同步，即时备份和保护用户数据。SOCache部署在HxStor AP的服务器上，可根据用户实际需求进行选择。
第 5 页 共 12 页
标准访问客户端HxStor集群存储对象存储集群管理引擎高性能访问客户端SOCache元数据集群管理引擎IB
（4）系统优势
1．在线扩容能力
A、存储支持在线扩展，当存储空间不够后，直接增加新的存储设备，就可以看到存储空间的增加，应用不用进行停机操作。而传统存储，由于提供的为卷设备，无法进行方便的扩展，扩展的时候需要将大量数据导出－增加设备－数据倒入的操作，在扩容的时候需要停止应用且扩容周期较长。
B、随扩容性能提升，HxStor的架构对决定其存储访问效率与存储设备数量有直接关系，随着存储设备的增多其访问效率也将近线性增加。传统磁盘阵列，架构所限，后端盘柜的扩展并不能影响机头的能力，无法实现存储性能的近线性增加。
2．原有存储改造
可以将现有磁盘阵列接入系统。对于磁盘阵列起到利旧作用，同时依靠数据副本技术提高其可靠性，同时可以对所有纳入HxStor存储的空间进行统一管理。
3．数据副本高可用
存储系统采用数据副本技术，准许1～5台设备同时故障而不影响应用访问。例如有10台我们当存储设备，对于关键数据我们做了6份副本，如果有5台存储设备完全故障，对于该关键应用来说也将不受任何影。
4．HxStor存储系统可以输出多种接口
Linux Posix接口，用于Linux系统应用使用，文件级别接口，效率高。 ISCSI接口，用于支持桌面虚拟化，特点为高IOPS。可NFS、CIFS，windows、unix操作系统访问使用，windows、unix操作系统可以获得海量数据存储能力。
第 6 页 共 12 页