数据中心DCI应用模型 数据中心间二层互联（DCI）的方案选择与设计
文/李蔚
在传统的数据中心服务器区网络设计中，通常将二层网络的范围限制在网络汇聚层以下，通过配置跨汇聚交换机的VLAN，可以将二层网络扩展到多台接入交换机，这种方案为服务器网络接入层提供了灵活扩展能力。近年来，服务器高可用集群技术和虚拟服务器动态迁移技术（如VMware的VMotion）在数据中心容灾及计算资源调配方面得以广泛应用，这两种技术不仅要求在数据中心内实现大二层网络接入，而且要求在数据中心间也实现大范围二层网络扩展(DCI: Data Center Interconnection)。
一、 数据中心之间的互联方式
如图1所示，数据中心间通常部署三种互联链路，每种互联链路所承载的数据不同，实现的功能不同，并且这三种链路在逻辑上相互隔离。
? 网络三层互联。也称为数据中心前端网络互联，所谓“前端网络”是指数据中心面向企业
园区网或企业广域网的出口。不同数据中心（主中心、灾备中心）的前端网络通过IP技术实现互联，园区或分支的客户端通过前端网络访问各数据中心。当主数据中心发生灾难时，前端网络将实现快速收敛，客户端通过访问灾备中心以保障业务连续性；
? 网络二层互联。也称为数据中心服务器网络互联。在不同的数据中心服务器网络接入层，
构建一个跨数据中心的大二层网络（VLAN），以满足服务器集群或虚拟机动态迁移等场景对二层网络接入的需求；
? SAN互联。也称为后端存储网络互联。借助传输技术（DWDM、SDH等）实现主中心和灾
备中心间磁盘阵列的数据复制。
图1. 数据中心的三种互联方式
二、 数据中心二层互联的业务需求
? 服务器高可用集群
服务器集群（Cluster），是借助集群软件将网络上的多台服务器关联在一起，提供一致的服务，对外表现为一台逻辑服务器。多数厂商（HP、IBM、微软、Veritas等）的集群软件需要各服务器间采用二层网络互联。将集群中的服务器部署于不同数据中心，可实现跨数据中心的应用系统容灾。
杭州华三通信技术有限公司
www.h3c.com.cn 第1页, 共11页
数据中心DCI应用模型 ? 服务器搬迁和虚拟机动态迁移
数据中心进行扩建或搬迁时，需要将物理服务器从一个数据中心迁至另一个数据中心。在此过程中，考虑以下两个因素，需要在数据中心间构建二层互联网络：
? 当服务器被迁至新机房，如未构建新老中心间的二层互联网络，则面临重新规划新中心服
务器IP地址的问题，同时还需修改DNS，或修改客户端应用程序配置的服务器IP。因此，构建跨中心的二层互联网络可保留被迁移服务器的IP地址，进而简化迁移过程；
? 在服务器搬迁期间，经常在给定的时间内，只能将服务器群的一部分服务器迁至新中心，
为保证业务连续性，需建立跨中心的服务器集群，构建跨越中心的二层互联网络可实现服务器平滑迁移。
与服务器搬迁类似的情况是“虚拟机迁移”。当前，一些服务器虚拟化软件可实现在两台虚拟化的物理服务器之间对虚拟机做动态迁移（如图2所示）。迁移至另一中心的虚拟机不仅保留原有IP地址，而且还保持迁移前的运行状态（如TCP会话状态），所以必须将涉及虚拟机迁移的物理服务器接入同一个二层网络（虚拟机在迁移前后的网关不变），这种应用场景要求构建跨中心的二层互联网络。
图2. 虚拟机动态迁移
三、 数据中心二层互联设计要点 1. 前提要素—— 现网状态
选择数据中心二层互联方案的前提要素是明确用户在多个数据中心之间具有哪些网络资源。网络资源的不同直接决定了用户将采用何种组网方案：
? 运营商、大型互联网企业：裸光纤或DWDM传输资源，对应RRPP环网方案或HUB-SPOKE
方案；
? 运营商、大企业、金融、政府机构：MPLS网络，对应VPLS组网方案；
杭州华三通信技术有限公司
www.h3c.com.cn 第2页, 共11页
数据中心DCI应用模型 ? 中小企业客户：IP网络，对应VPLS over GRE组网方案 2. 核心要素—— 性能
? 时延
数据中心之间二层互联是为了实现虚拟机的异地调度和集群异地应用，为了实现这一点，必须满足虚拟机VMotion和集群存储异地访问的时延要求。第一个限制是VMotion同步会话距离。第二个要求是存储网络。DC之间的存储必须实现同步访问或是镜像访问。
需要注意的是，在VPLS或是IP网络环境中，由于网络中存在大量复杂的应用，所以必须通过部署全网QoS来保证DCI互联数据流的服务质量。流量环境越复杂，则QoS配置工作量越大，时延指标越难以满足。VPLS网络通常应用于企业或是行业的专用业务，流量环境相对于IP网络较简单，所以在部署QoS方面有一定优势。
? 带宽
数据中心互联的核心需求之一就是保证虚拟机跨DC的迁移。vSphere 5.0之前的版本，VMotion对于迁移链路的带宽有明确的要求—带宽不小于622M；vSphere 5.0的版本，VMotion对于迁移链路的带宽不小于250M。
从带宽资源的分配情况来看，裸光纤或DWDM的带宽资源最为充足，VPLS和IP网络的带宽资源相对紧张，必须部署全网端到端的QoS优先级来保证DCI业务流量的带宽要求。 3. 关键要素—— HA
数据中心二层互联的关键因素就是如何提高可用性。提高HA的一个最有效的方式就是设计备份链路、备份节点。如果结合提高互联带宽的需求，则建议设计负载分担的互联路径，在提高互联带宽的同时，也能够保证系统异常时能够实现业务的快速收敛，提高HA指标。
以DWDM网络为例，建议利用IRF实现DCI链路的高HA和链路负载分担设计方案。
在裸光纤或是DWDM互联组网方案中，DCI互联的两端PE设备必须支持IRF，将PE之间的两条（或多条）链路通过聚合（LACP）技术形成一条逻辑链路，会极大的简化DCI的组网拓扑。同时，这两条HA链路的带宽会得到100%的利用，达到1:1的负载分担效果（如图3所示）。
图3. IRF+LACP负载分担设计方案
四、 数据中心二层互联方案设计 1. 基于裸光纤或DWDM线路的二层互联
裸光纤或DWDM二层互联方案需要用户在现网中拥有光纤或传输资源，对用户要求较高，但从使用的角度来看，裸光纤或DWDM方案的性能是最优的。
基于裸光纤或DWDM线路的二层互联方案有两种选择：HUB-SPOKE方案和RRPP环网方案。
杭州华三通信技术有限公司
www.h3c.com.cn 第3页, 共11页
数据中心DCI应用模型 前者的优点是基于最短路径转发，所以转发效率高；后者的优点则是环网天然的转发路径冗余设计，所以HA性能较高。
? Hub-Spoke组网方案
通过裸光纤或是DWDM将多个（例如4个）数据中心互联。为了方便扩展更多的数据中心节点，一个最常用的方案就是采用HUB-SPOKE组网模型，即通过一个核心节点与各数据中心的汇聚层互联。在逻辑结构上，多个中心与核心节点构成了一个Hub-Spoke的星形拓扑，其中核心节点为HUB，各中心汇聚层为Spoke（如图4所示）。
图4. 多中心HUB-SPOKE组网方案
在Hub-Spoke组网环境中，核心节点是最重要的，关系到全网是否能正常运转，是保证多数据中心HA的关键因素。如何提高核心节点的HA性能？一个最重要的设计理念就是在核心节点应用IRF技术，将两台设备通过IRF技术形成一台设备，将核心设备故障异常的收敛时间从几十秒降低到毫秒级，也就是说可以将系统的HA性能提高将近两个量级。这一点对于Hub-Spoke组网方案是非常重要的。
注意：建议将应用IRF技术的两台核心设备放在同一中心内，不建议部署在不同的中心（如图4所示）。具体原因如下：
图5. HUB-SPOKE方案的链路部署示意图
从图5（左）可以看到，两台核心设备分别部署在两个数据中心，通过DWDM连接，通过IRF将两台核心设备形成一个逻辑的核心节点。但是两个数据中心之间并不是只有一条链路相连。各数据中心的汇聚层节点需要通过聚合链路连接到核心节点上，以便提高链路HA性能。这样就要求聚合链路中的一条链路也需要跨越数据中心之间的距离连接到另一中心。需要注意的是，一个数据中心内
杭州华三通信技术有限公司
www.h3c.com.cn 第4页, 共11页
数据中心DCI应用模型 会存在多个汇聚节点，如果部署了扁平化二层方案（核心/接入），则需要大量的聚合链路连接到另一中心。这样，会要求在两数据中心之间建立多条链路，可以是多条裸光纤，也可以是DWDM上的多个波长λ。但无论采用哪种方式，都不可避免的导致数据中心互联成本成倍提高。
图5（右）是多中心链路的物理部署示意图。A设备部署在A中心，B设备部署在B中心。从A中心到核心节点有两条链路，其中一条链路是中心内的光纤，另一条链路承载于A、B中心间互联DWDM设备分配的波长λ上。B中心与核心节点连接方式与上述情况类似。需要注意的是，将IRF之间的控制信令链路大范围延长增加了系统分裂的风险，一旦信令链路异常导致IRF分裂，会导致DCI网络的业务大量丢包，严重影响服务的可靠性。因此，该方案风险极大。
综上所述，Hub-Spoke组网在应用IRF技术后的优点是非常明显的： ? 逻辑节点少，结构简单；
? 可用于大范围连接，便于扩展。
HUB-SPOKE组网比较明显的缺点在于各节点与核心单连接方式，一旦核心节点出现异常，会导致整网故障。
? RRPP环网方案
RRPP环网模型是一种更便捷的组网方式，即通过RRPP环网直接将各数据中心的汇聚层互联形成一个DCI核心网（如图6所示）。
应用RRPP环网的主要目的是为了避免单一核心节点的出现。这样就避免了核心节点异常导致全网崩溃的风险。在RRPP环网中，所有的节点（即各中心的汇聚节点）都是对等的，任意节点出现异常，都可以通过备份路径保持互联。而且所有备份节点、链路都是分布式部署。
图6. RRPP环网方案示意图
为了进一步提高RRPP环网方案的HA性能，建议在RRPP环网上部署IRF+LACP技术。即各中心的汇聚层都部署IRF技术，各汇聚节点之间通过LACP部署聚合链路互联。这样可以通过提高RRPP环网上各节点和环网上各链路的HA性能。
由此可见，RRPP环网、IRF和LACP技术将DCI的核心网的HA提高到毫秒级的水平。同时，通过聚和链路提高DCI核心网络的互联带宽，可以有效地提高DCI核心网的性能，改善用户业务的服务质量。
因此RRPP环网方案的优点是非常明显的： ? 结构更加健壮，风险因素分布合理； ? HA性能很高；
杭州华三通信技术有限公司
www.h3c.com.cn 第5页, 共11页