中国移动2013年Web Cache系统集中采购工程技术规范书
当判定缓存服务器不可用时，负载均衡设备需将该服务器从WebCache服务队列中取出，不参加下一次的分发，直到该设备恢复正常。
2. 负载均衡功能
支持将用户请求和Internet网络流量按照配置的负载分担算法分发到不同的Cache服务器进行处理。当用户请求到达缓存子系统时，负载均衡功能根椐配置策略，选择特定的缓存服务器，由该台Cache服务器响应用户的请求、提供缓存服务，例如选择性能最佳的缓存服务器，存储该份内容的缓存服务器等。
支持会话保持功能，对于同一用户、同一会话的多个访问请求，可分配至同一台缓存服务器中，避免出现会话失效的问题。
支持基于L4和L7的流量分发机制。负载均衡模块必须支持配置多个VIP地址。
支持对IPv6协议报文的负载均衡功能，能够对IPv6报文实现接收、解析和分发处理。
支持根据使用的分发机制来决定选择监控的数据项，监控数据项的采集周期可灵活配置。支持的流量分发机制如表所示。
序号 均衡算法 轮询 1 池的队列顺序，分发给资源池内每台Cache服务（RoundRobin） 器进行处理，依次循环。 按照用户请求的4层信息，如IP地址、端口等对2 L4负载分担 必选 数据流进行分配。 按照用户请求的7层信息对数据流进行分配，例3 L7负载分担 如根据目的URL映射至特定的Cache服务器中。 根据收集到应用程序和Cache服务器的各项性动态性能分配 4 （DynamicRatio) 能参数如CPU、内存和磁盘的占用情况，动态可选 调整流量分配。动态性能分配可通过标准SNMP或Cache服务器端的插件实现。 最快模式 5 （Fastest） 将新的用户请求分发给响应最快的Cache服务可选 器。 必选 必选 详细描述 负载均衡设备将所有用户请求按照Cache资源是否必须 13
中国移动2013年Web Cache系统集中采购工程技术规范书 最少连接方式 6 (LeastConnection) 将新的用户请求分发给最少连接的Cache服务可选 器。 负载均衡设备将所有Cache服务器进行分组，为每个组定义优先权，将用户请求分配给优先级最高的Cache服务器组（在同一组内，采用轮询优先权 7 或比率算法，分配用户请求）。 （Priority） 当最高优先级中所有Cache服务器出现故障，才将请求送给次优先级的Cache服务器组。为用户提供Cache服务器组的热备份功能。 可选 其中L7负载分担功能中要求至少支持如下两类方式：
? Hash：负载均衡设备同一文件的Hash结果，把相同的HASH文件用户
请求分发到每台Cache服务器；
? 一致性Hash：对请求内容和缓存服务器使用相同的Hash函数，并将资
源和地址节点在统一地址空间进行编址，从数据映射到的位置开始顺时针查找，将请求转发至找到的第一个服务器； 3. 主备冗余功能
负载均衡模块应具备多台设备的冗余能力，不同设备之间应当具有心跳监控及切换能力，监控对端负载均衡设备的状态。主用负载均衡设备将心跳信号定时发送到备用负载均衡设备，备用设备在一定周期内没有收到主用设备的心跳信号，支持主动将自己切换为主用设备。
2.2.2.2 负载均衡模块
缓存服务服务模块是整个WebCache系统的核心组件。 1. 网页对象缓存功能
支持对于互联网站点页面的解析，能够将网页中的静态Web对象存储于本地的缓存服务器中。在接收到用户发送的Web访问请求时，分析请求是否在本地命中，对于命中请求直接响应，就近为用户提供服务；对未命中的请求，系统能够从互联网源站下载内容，并就近返回给用户终端。
缓存的网页对象类型包括但不限于：
? 文本：HTML、XML、XHTML、JS、CSS、DOC、PDF、TXT等； ? 图像：JPG、PNG、GIF等；
14
中国移动2013年Web Cache系统集中采购工程技术规范书
? 视频：FLV、MP4、MOV、WMV、RMVB、F4V等； ? 音频：MP3、WAV等； ? 其他：ZIP、RAR等；
支持HTTP/1.0、HTTP/1.1协议定义的缓存字段：
? 支持根据Expires头域对页面对象的可缓存性进行判断，在Expire Date
到达之前不再向源站发送HTTP请求获取该文件；
? 支持根据Cache-Control头域对页面对象的可缓存性进行判断，对于设置
为public的内容进行缓存，对于设置为private、no-cache、no-store等的对象，默认不进行缓存，支持根据max-age参数所指定的相对时间间隔进行数据缓存；
对于源网站中在HTTP头域中指明不应被缓存的内容，要求缓存服务模块工作于代理模式，所有数据不在本地缓存。
对于互联网中的动态内容，要求系统能够予以识别，不在本地缓存，对于所有用户的请求，均以代理方式向源网站下载数据并传送给用户。
支持针对特定网站或域名实现静态对象的缓存周期配置，用户可以通过修改配置来设定本地缓存时间和缓存对象的类型。在本地设置与源站设置冲突时，优先以本地设定为准。
2. 大文件/视频缓存功能
支持基于HTTP协议传输的大文件缓存加速功能，如游戏、软件、升级包下载服务等。缓存服务模块接收用户的文件下载请求，分析该内容是否已经被WebCache系统在本地缓存，对于已缓存的内容，将通过重定向引导用户从缓存服务器下载数据。
工作于代理模式时，对于被引导至缓存服务器，但本地未命中的请求，要求系统能够以代理方式向内容源站下载后，将对应的数据发送至用户终端。
支持HTTP视频内容的缓存和下载，主要针对基于HTTP方式的各类在线视频媒体对象，包括FLV、MP4、MOV、WMV、RMVB、F4V等多种文件格式，设备应该支持对流媒体对象的缓存配置。
支持基于HTTP Live Streaming（HLS）协议的互联网视频内容的缓存和加速。 支持面向手机终端的各类应用软件（APP）内容的下载与加速功能。 3. 代理下载功能
15
中国移动2013年Web Cache系统集中采购工程技术规范书
在用户请求被引导到缓存子系统后，缓存子系统首先检查用户请求的文件是否在本地命中，如果命中则直接为用户提供服务；如果未命中，缓存子系统将作为代理转发用户的请求至互联网源网站，并将源网站返回的数据转发给用户。如果源网站返回的是有效数据且可缓存，缓存服务器根据热度规则，在本地同时存储热点内容的文件副本。
对于大文件和视频播放等应用场景，需能够支持边下载边服务功能，避免将用户请求长时间置于等待状态。
代理下载功能必须根据实际的网站列表选择开启，对于可能存在认证失败、cookie校验等问题的网站，要求不开启。
4. URL防盗链功能
针对主流的文件下载、视频播放、网络存储类网站的URL文件防盗链功能，支持对加密后的URL进行反向处理，获取真实的文件对象URL。
支持网站URL规则库，可以识别并兼容国内绝大多数视频及下载网站。可根据互联网站的功能及版本升级，支持通过加载新的规则库插件即可实现对新规则的反向处理，支持自动远程升级。
支持校验排错功能，能够对已缓存的下载类资源对象进行验证，例如通过对进行文件HASH运算，读取资源部分头信息或散列信息等方式，以防止内容资源定位错误，影响用户的正常访问。
5. 持久连接功能
支持基于HTTP/1.1的持久连接（Persistent Connection），能够针对同一对象的多个用户请求只建立一条连接。当多个用户请求相同的网页对象时，缓存服务器仅与源网站服务器建立一条连接，以便避免为每次单独的请求/应答建立新的连接。得到响应报文后，WebCache系统将响应内容的副本保存在本地，同时复制报文分发给发起请求各个用户。通过使用同一HTTP连接的方式以解决频繁建立连接带来的时间消耗，缩短响应时间提升用户体验，有效减少终端与服务器建立的连接数。
6. 内容复制功能
对于用户从Cache系统下载的TOP N热点资源，缓存服务器支持自动检测（如可按照命中次数排序），能够根据热度在本地不同缓存服务器之间进行复制，使得热点内容可以由多个缓存服务器并行提供加速服务，支撑高性能并发。
16
中国移动2013年Web Cache系统集中采购工程技术规范书
复制时间周期、复制的热点资源数量应支持灵活配置，默认时间周期为一天。 7. 数据复用功能
针对不同URL但文件内容相同的互联网文件，Cache服务器能够通过文件比对或依据站点的防盗链处理规则处理后实施甄别比对，识别出相同的文件对象，实现缓存数据复用，仅缓存初始URL所对应的数据，对于向其他URL发起的文件请求也可以保持命中。通过重用初始缓存文件的数据，能够提升访问命中率，节省系统回源流量，也避免针对同一对象重复下载，减少对于本地存储空间的占用。
对于不同URL、但内容一致的文件内容，必须支持通过URL规则、文件名称、大小进行关联，如：
? URL1：http://jsmcc2.newhua.com/down/ppstreamsetup_onlinedown.zip ? URL2：http://qzmcc.newhua.com/down/ppstreamsetup_onlinedown.zip ? URL3：http://jltt.onlinedown.net/down/ppstreamsetup_onlinedown.zip 系统也可支持通过对文件内容计算Hash值的方式进行有效关联。通过该算法生成与文件内容相对应的摘要数值，通过该摘要信息可以唯一标识某一文件。
8. 内容热度更新功能
内容热度更新是指在缓存服务器的存储空间占用达到一定程度时，必须删除掉一些不常用的缓存数据。对于每个对象，缓存服务器根据其访问频率计算相应的热度值，访问频率越高则其热度值也越高，热度值较低的缓存对象将会被优先删除。对于相同热度值的对象，可以比较对象的超时周期，优先删除超时周期指标较低的数据对象。
内容热度更新算法的核心是输入参数及权值函数，缓存对象在某时间点的热度值可根据如下输入参数计算：
? 上次数据热度值计算时间 ? 特定时间段内数据访问次数 ? 数据对象上一次的热度值 ? 文件大小
缓存对象的老化时间的设定需要参考网页HTTP 头域中的超期参数，当超期时间到达时内容也会被自动删除。当源网站没有指定超期参数或错误参数时，可以根据WebCache系统配置进行更新，支持对不同域名、不同类型的对象独立设
17