难共享，而且这种分散的存储模式也带来了巨大的资源浪费，系统管理人员无法在多个系统间有效的调度存储资源。再有，这种处理模式也不利于新业务的快速部署，而更快的测试、部署新的应用意味着更快的抢占市场，吸引用户，这在Internet中无疑是有着举足轻重的意义。
IDC之间的竞争目前主要表现是网络带宽、基础设施等IDC的基本要素的比较，随着IDC产生的越来越多，IDC之间的竞争已经表现在如何能够为IDC的用户提供更多的数据及安全服务，如：防火墙、数据备份、镜像站点、负载均衡、统计分析等数据安全、管理、分析等增值服务。IDC如何利用现有的带宽优势、基础设施优势来提供更多的数据增值服务并且最大的压缩成本是未来IDC之间竞争的制胜法宝。因此IDC如何能够提供更多的数据保护、数据管理服务成为IDC建立时系统设计的一个重要方面。其实答案是很简单的，那就是集中存储管理。 作为IDC的集中存储系统需求要面对未来IDC用户的需求的多样性，可以按照模块方式为用户提供模块化的服务。作为IDC的存储中心首先应该具有极高的安全性，试想如果存储系统产生问题如何为用户服务，存储中心还应该具有很强的功能弹性：可以实现集中的数据备份、冗灾、连接主机的多样性等等。
作为存储中心的成本可以有两种评测，一种是简单的容量成本，另一种是与IDC系统有关联关系的功能或服务成本。第一种比较简单，第二种我们可以通过以下两个示例来说明：
示例一：很多Web Hosting 用户需要使用高速的文件访问，要求容量配置管理简单、扩容方便。假设有400台主机需要托管并且主机类型主要是NT、 LINUX等平台。如果每台主机都通过光纤通道的IO通道，则我们需要在每台主机上安装一个FC的卡，价格大约是US$2000.00，那么我们共需要80万美金，如果将这些成本加到用户身上显然不合适。
示例二：如果有100台SUN或HP的服务器提供ASP等业务，用户需要对数据进行备份保护，那么一般情况下需要在每台服务器上安装备份软件，如果每套软件价格大约US$15000.00，需要花费150万美金，并且这种备份方式要站用大量的网络资源和服务器的计算资源。
既然存储服务是中心化的，有没有更好的解决方案，答案是NETAPP的FILER。通过下面的方案介绍我们就会明白为什么目前10大IDC中会有9家采用NETAPP的存储解决方案来为IDC的用户提供基础设施和增值服务。 2．存储系统的建设目标
存储系统重点是对整个网站内的数据进行整合，建立起真正的企业存储平台，在统一的企业存储平台上建立集中式的处理中心，更有效的完成业务处理，并极大的提高系统的可管理性，降低系统的管理难度及管理开销，提高信息的可用性和共享性。
存储系统要达到的建设目标如下： ·完成数据整合，建立全网站的信息基础设施，在统一的信息存储平台上高效的完成业务处理，将所有应用系统连入已采用的智能存贮系统平台，进行数据整合，整合后整个网站的数据信息将位于统一的企业存储平台之上。 ·在新的信息基础设施上更有效的完成系统管理，降低系统管理的难度和工作量，从单点实现对企业存储平台的统一管理和控制。 ·利用新的信息基础设施最大限度的提高信息的共享性，信息共享可在存贮系统平台内快速有效的完成，无需占用网络资源。 ·提高信息的可访问性和访问速度，所有的数据磁带备份工作，可通过备份机利用本地磁盘镜像数据来完成，有效降低生产系统的备份窗口需求，大大延长生产系统的在线服务时间。 一个完整的存储系统还应与数据备份系统做到无逢结合，即存储系统还达到如下目标： ·关键数据实现实时备份 ·关键业务系统的主机实现热备份 ·关键业务系统的网络部分实现热备份 具体目标如下: ·关键数据实现远程实时备份，备份技术应不占用主机资源，对应用系统无任何影响。 ·建立灾难备份中心。 ·在灾难备份中心，放置主机系统以用作热备份，其处理能力为生产中心主机的80％以上。 ·在灾难备份中心，建立网络备份系统，其中包括备份网络设备如路由器、HUB等和备份线路，备份线路的接入分局应不同于生产中心连接的分局。
在存储系统建成后，IDC的信息系统将为未来的发展（包括业务和技术）奠定了坚实可靠的电子信息基础架构。所有的业务可以在这一信息基础架构上进行集中的控制和统一的管理。信息的可用性、保护性和可管理性将大大提高。系统的可扩展性和灵活性也将比传统的分布式存储方式大大改善，可以充分满足目前及未来的业务发展和管理的需要。
3．存储方案概述
IDC的存储系统是为应用提供服务的，所以在设计IDC存储系统时，必须要考虑到所服务的类型。IDC的服务类型主要有：Web服务（Web-hosting）、数据库、邮件、目录、计费系统等。根据应用服务的类型和特点，我们把数据库、邮件、目录、计费等系统规划为一类，此类服务的特点是服务器的种类相同，如数据库服务器全为Sun ,存储的数据共享型少，比较集中；把Web服务归为另一类，Web服务器可能是多厂家的（Sun, PC server）,而Web服务的内容共享型比较多，特别是在Web负载均衡时，要求多台Web服务器的提供的内容要一致。
下图展示了NAS存储结构，此存储系统主要为IDC的基于Web的应用服务，如Web、Web-Hosting等，在IDC中Web服务器是很多台的，而且可能是不厂家的服务器，同时很多Web服务器采用负载均衡的方式运行，这需要保证每个Web服务器在同一时刻必须提供相同的内容，NAS存储系统能够很好地满足这些要求，同时NAS的良好扩展性能够满足Web应用对存储系统扩展的需求。
我们建议采用Netapp公司的F840作为IDC的NAS存储系统。我们采用两台Netapp的F840作为存储系统，两台F840以双机备份的方式运行，具体描述如下：
多应用系统数据存储的独立性和安全性
由于在NAS的存储系统上要存放多家的数据，如何保证用户间的数据安全性，是NAS存储系统应重点考虑的问题。在F840 filer系统上，首先，filer具有高度的安全性，安全认证由UNIX主机和WINDOWS NT主域控制器负责，安全等级达C2级；在NT环境中，filer 与NT的ACL（access control list）功能相结合可提供更高的安全保护。
为保证数据存放的独立性，可在一台filer中将不同应用系统的数据分别存放于多个卷组中，同时对每一卷组授予不同的操作系统访问权限，用户组和用户权限，以细化对数据的保护。且在网络配置上可安装多个网卡使filer拥有多个IP地址，通过子网配置实现数据的分流和隔离，确保应用系统的数据独立性。 另外，filer的Data Ontap操作系统还提供名为QTREE的空间配额管理工具。只需简单的命令行配置即可对卷组下的用户目录空间和最大可创建文件数作配置，实现细化管理。 Cluster Failover简介
文件系统专用设备Filer除了软硬件本身具有99.99%的高可靠性以外，为了消除一些单点故障（如系统主板出错，等），在以低成本、低性能开销、不增加系统复杂度的前提下，将两台独立的Filer耦合起来，实现一旦一台Filer因故障而停止运行并且不能重新启动，另一台Filer立即就可接管这一台Filer的全部工作，保证系统正常运行。Cluster Failover系统结构图如下图所示。
图中的两台Filer都与磁盘阵列相连，并处于同一子网中，两台Filer之间用高速、冗余的光纤互连。光纤通道（FC-AL）的硬盘有两个端口，分别与两台Filer相连。
每个Filer有自己主管的一组硬盘。正常运行时，两台Filer各自独立工作，硬盘、风扇或电源出错不影响另一台Filer的工作。同样，若一台Filer的软件出错，这也仅仅引起这台Filer重新启动，不会影响到另一台Filer的工作。如果一台Filer发生灾难性故障，即不能重新启动，则另一台Filer会自动接管原属于有故障的Filer的硬盘、文件系统、同时将其IP地址也归为己有。 在整个接管过程中，客户端仅简单地感觉到系统像是在重新启动。所有在系统本身重起过程中，能够保留的状态，另一台Filer也同样通过接管保留。当然，如果一台Filer在其重新启动过程中丢失一些状态，如CIFS 锁（LOCK）状态和文件状态等，则在接管后，另一台Filer也不能保留这些状态。
一旦有故障的Filer恢复正常运行后，它不会自动地再接管自己的文件系统，这需要系统管理员干预才能实现。系统管理员也可强制一台Filer交出自己的文件系统，从而可实行计划中的Filer和硬盘维护工作。 Cluster Failover的工作原理
Cluster Failover主要依靠以下两个方面工作：
其一是WAFL的特性，特别是WAFL文件系统的盘上状态（ON-DISK STATE）永远是一致的。这个盘上状态从一个一致点移动到另一个一致点的过程为一个交易，也就是说，要么完成一个状态迁移，要么无状态迁移，因此它永远保持一致。另外，WAFL在日志文件中记录所有被服务过的、能够转移到非易先性RAM（NVRAM）中的客户请求。日志文件中那些已被转移到硬盘上的客户请求只有在一个盘上状态迁移完成后，才被丢弃。Filer通常利用这些特征将盘上数据从故障中恢复。当Filer重新启动时，它只是简单地重新执行在最近（一致性）盘上状态未反映的NVRAM中的客户请求。
其次是互连的特性，特别是互连具有远程内存存取能力（有时也称作非一致性内存存取，或者简称NVRAM）。当一个客户请求到来时，Filer将其记录在它本地的NVRAM中。在Cluster的配置中，Filer利用远程内存存取特性将日志文件中的记录项拷贝到另一台Filer的NVRAM中。这个技术的一个突出优点是发送方发送的拷贝极快，几乎不影响到接收方的操作（如，没有包处理过程）。同样，另一台Filer也会将自己的NVRAM中的日志记录项拷贝到这台Filer的NURAM中。 当一台Filer不能从互连的光纤通道、网络或硬盘上探测到另一台Filer的心跳（HEARTBEAT）或I/O活动，他即认为这台Filer已出故障，接管过程开始。主要是接管出故障的Filer的IP和MAC地址、文件系统和硬盘，以及后台服务器进程(daemon)，并将其使用的NVRAM中的日志记录项回现。这个技术与Filer重新启动时所使用到的技术类似。接管后，正常工作的Filer中的每个后台服务器进程(daemon)具有两个标识符，一个用于本地Filer，另一个用于另一台Filer。
Cluster Failover的配置
从以上的简单描述，我们已了解了Clustered Failover 的原理，我们知道这个解决方案能够使得文件/存储系统在filer本身具有的高可靠性的基础上进一步保证了系统的高可用性。为了避免一些软硬件的兼容性问题，以及系统运行后配置和管理的方便，我们建议将两台F840的软件和硬件，包括存储容量配置成完全相同的两台filer。