云计算
图1-4 简化的IaaS实现机制图
用户交互接口向应用以Web Services方式提供访问接口，获取用户需求。服务目录是用户可以访问的服务清单。系统管理模块负责管理和分配所有可用的资源，其核心是负载均衡。配置工具负责在分配的节点上准备任务运行环境。监视统计模块负责监视节点的运行状态，并完成用户使用节点情况的统计。执行过程并不复杂，用户交互接口允许用户从目录中选取并调用一个服务，该请求传递给系统管理模块后，它将为用户分配恰当的资源，然后调用配置工具为用户准备运行环境。
1.4 网格计算与云计算
网格（Grid）是20世纪90年代中期发展起来的下一代互联网核心技术。网格技术的开创者Ian Foster将之定义为“在动态、多机构参与的虚拟组织中协同共享资源和求解问题”[6]。网格是在网络基础之上，基于SOA，使用互操作、按需集成等技术手段，将分散在不同地理位置的资源虚拟成为一个有机整体，实现计算、存储、数据、软件和设备等资源的共享，从而大幅提高资源的利用率，使用户获得前所未有的计算和信息能力。
国际网格界致力于网格中间件、网格平台和网格应用建设。就网格中间件而言，国外著名的网格中间件有Globus Toolkit、UNICORE、Condor、gLite等，其中Globus Toolkit得到了广泛采纳。就网格平台而言，国际知名的网格平台有TeraGrid、EGEE、CoreGRID、D-Grid、ApGrid、Grid3、GIG等。美国TeraGrid是由美国国家科学基金会计划资助构建的超大规模开放的科学研究环境。TeraGrid集成了高性能计算机、数据资源、工具和高端实验设施。目前TeraGrid已经集成了超过每秒750万亿次计算能力、30PB数据，拥有超过100个面向多种领域的网格应用环境。欧盟e-Science促成网格EGEE（Enabling Grids for E-sciencE），是另一个超大型、面向多种领域的网格计算基础设施。目前已有120多个机构参与，包括分布在48个国家的250个网格站点、68000个CPU、20PB数据资源，拥有8000个用户，每天平均处理30000个作业，峰值超过150000个作业。就网格应用而言，知名的网格应用系统数以百计，应用领域包括大气科学、林学、海洋科学、环境科
6 6
第1章 绪论 学、生物信息学、医学、物理学、天体物理、地球科学、天文学、工程学、社会行为学等。
我国在十五期间有863支持的中国国家网格（CNGrid，863-10主题）和中国空间信息网格（SIG，863-13主题）、教育部支持的中国教育科研网格（ChinaGrid）、上海市支持的上海网格（ShanghaiGrid）等。中国国家网格拥有包括香港地区在内的10个节点，聚合计算能力为每秒18万亿次，目前拥有408个用户和360个应用。中国教育科研网格ChinaGrid连接了20所高校的计算设施，运算能力达每秒3万亿次以上，开发并实现了生物信息、流体力学等五个科学研究领域的网格典型应用。十一五期间，国家对网格支持的力度更大，通过973和863、自然科学基金等途径对网格技术进行了大力支持。973计划有“语义网格的基础理论、模型与方法研究”等，863计划有“高效能计算机及网格服务环境”、“网格地理信息系统软件及其重大应用”等，国家自然科学基金重大研究计划有“网络计算应用支撑中间件”等项目。
就像云计算可以分为IaaS、PaaS和SaaS三种类型一样，网格计算也可以分为三种类型：计算网格、信息网格和知识网格[6]。计算网格的目标是提供集成各种计算资源的、虚拟化的计算基础设施。信息网格的目标是提供一体化的智能信息处理平台，集成各种信息系统和信息资源，消除信息孤岛，使得用户能按需获取集成后的精确信息，即服务点播（Service on Demand）和一步到位的服务（One Click is Enough）。知识网格[8]研究一体化的智能知识处理和理解平台，使得用户能方便地发布、处理和获取知识。
需要说明的是，目前大家对网格的认识存在一种误解，认为只有使用Globus Toolkit等知名网格中间件的应用才是网格。我们认为，只要是遵照网格理念，将一定范围内分布的异构资源集成为有机整体，提供资源共享和协同工作服务的平台，均可以认为是网格。这是因为，由于网格技术非常复杂，必然有一个从不规范到规范化的过程，应该承认差异存在的客观性。虽然网格界从一开始就致力于构造能够实现全面互操作的环境，但由于网格处于信息技术前沿、许多领域尚未定型、已发布的个别规范过于复杂造成易用性差等原因，现有网格系统多针对具体应用采用适用的、个性化的框架设计和实现技术等，造成网格系统之间互操作困难，这也是开放网格论坛OGF（Open Grid Forum）提出建立不同网格系统互通机制计划GIN（Grid Interoperation Now）的原因。从另一个角度看，虽然建立全球统一的网格平台还有很长的路要走，但并不妨碍网格技术在各种具体的应用系统中发挥重要的作用。
网格计算与云计算的关系如表1-1所示。
表1-1 网格计算与云计算的比较
目标 资源来源 资源类型 资源节点 不同机构 异构资源 高性能计算机 网 格 计 算 同一机构 同构资源 服务器/PC 虚拟机 松耦合问题 数据处理为主 商业社会 按量计费 尚无标准，但已经有了开放云计算联盟OCC 云 计 算 共享高性能计算力和数据资源，实现资源共享和协同工作 提供通用的计算平台和存储空间，提供各种软件服务 虚拟化视图 虚拟组织 计算类型 应用类型 用户类型 付费方式 标准化 紧耦合问题为主 科学计算为主 科学界 免费（政府出资） 有统一的国际标准OGSA/WSRF
7 7 云计算
网格计算在概念上争论多年，在体系结构上有三次大的改变，在标准规范上花费了大量的人力，所设定的目标又非常远大——要在跨平台、跨组织、跨信任域的极其复杂的异构环境中共享资源和协同解决问题，所要共享的资源也是五花八门——从高性能计算机、数据库、设备到软件，甚至知识。云计算暂时不管概念、不管标准，Google云计算与亚马逊云计算的差别非常大，云计算只是对它们以前所做事情新的共同的时髦叫法，所共享的存储和计算资源暂时仅限于某个企业内部，省去了许多跨组织协调的问题。以Google为代表的云计算在内部管理运作方式上的简洁一如其界面，能省的功能都省略，Google文件系统甚至不允许修改已经存在的文件，只允许在文件后追加数据，大大降低了实现难度，而且借助其无与伦比的规模效应释放了前所未有的能量。
网格计算与云计算的关系，就像是OSI与TCP/IP之间的关系：国际标准化组织（ISO）制定的OSI（开放系统互联）网络标准，考虑得非常周到，也异常复杂，在多年之前就考虑到了会话层和表示层的问题。虽然很有远见，但过于理想，实现的难度和代价非常大。当OSI的一个简化版——TCP/IP诞生之后，将七层协议简化为四层，内容也大大精简，因而迅速取得了成功。在TCP/IP一统天下之后多年，语义网等问题才被提上议事日程，开始为TCP/IP补课，增加其会话和表示的能力。因此，可以说OSI是学院派，TCP/IP是现实派；OSI是TCP/IP的基础，TCP/IP又推动了OSI的发展。两者不是“成者为王、败者为寇”，而是滚动发展。
没有网格计算打下的基础，云计算也不会这么快到来。云计算是网格计算的一种简化实用版，通常意义的网格是指以前实现的以科学研究为主的网格，非常重视标准规范，也非常复杂，但缺乏成功的商业模式。云计算是网格计算的一种简化形态，云计算的成功也是网格的成功。网格不仅要集成异构资源，还要解决许多非技术的协调问题，也不像云计算有成功的商业模式推动，所以实现起来要比云计算难度大很多。但对于许多高端科学或军事应用而言，云计算是无法满足需求的，必须依靠网格来解决。
目前，许多人声称网格计算失败了，云计算取而代之了，这其实是一种错觉。网格计算已经有十多年历史，不如刚兴起时那样引人注目是正常的。事实上，有些政府主导、范围较窄、用途特定的网格，已经取得了决定性的胜利。代表性的有美国的TeraGrid和欧洲的EGEE等，这些网格每天都有几十万个作业在上面执行。未来的科学研究主战场，将建立在网格计算之上。在军事领域，美军的全球信息网格GIG已经囊括超过700万台计算机，规模超过现有的所有云计算数据中心计算机总和。
相信不久的将来，建立在云计算之上的“商业2.0”与建立在网格计算之上的“科学2.0”都将取得成功。
参考文献
[1] Michael Armbrust, Armando Fox, and Rean Griffith, et al. Above the Clouds: A Berkeley
View of Cloud Computing, mimeo, UC Berkeley, RAD Laboratory, 2009
[2] Ian Foster, Carl Kesselman, and Steve Tuecke. The Anatomy of the Grid: Enabling Scalable
Virtual Organizations. International Journal of High Performance Computing Applications, 15(3), 2001
[3] 刘鹏. 提出一种实用的网格实现方式——网格计算池模型，2002
8 8
第1章 绪论 http://www.chinagrid.net/show.aspx?id=1672&cid=57
[4] Peng Liu, Yao Shi, San-li Li, Computing Pool—a Simplified and Practical Computational Grid Model, the Second International Workshop on Grid and Cooperative Computing (GCC 2003), Shanghai, Dec 7-10, 2003, published in Lecture Notes in Computer Science (LNCS), Vol. 3032, Heidelberg: Springer-Verlag, 2004
[5] Peng Liu, Yao Shi, Francis C. M. Lau, Cho-Li Wang, San-Li Li, Grid Demo Proposal:
AntiSpamGrid, IEEE International Conference on Cluster Computing, Hong Kong, Dec 1-4, 2003, selected as one of the excellent Grid research projects for the GridDemo session [6] 李国杰. 信息服务网格——第三代Internet. 计算机世界, 2001年第40期
[7] Foster, I., C. Kesselman, and S. Tuecke, The Anatomy of the Grid: Enabling Scalable
Virtual Organizations. International Journal of High Performance Computing Applications, 2001. 15(3): p. 200-222
[8] H. Zhuge, The Knowledge Grid, World Scientific Publishing Co., Singapore, 2004
9 9 云计算 第2章 Google云计算原理
Google拥有全球最强大的搜索引擎。除了搜索业务以外，Google还有Google Maps、Google Earth、Gmail、YouTube等各种业务，包括刚诞生的Google Wave。这些应用的共性在于数据量巨大，而且要面向全球用户提供实时服务，因此Google必须解决海量数据存储和快速处理问题。Google的诀窍在于它发展出简单而又高效的技术，让多达百万台的廉价计算机协同工作，共同完成这些前所未有的任务，这些技术是在诞生几年之后才被命名为Google云计算技术。Google云计算技术具体包括：Google文件系统GFS、分布式计算编程模型MapReduce、分布式锁服务Chubby和分布式结构化数据存储系统Bigtable等。其中，GFS提供了海量数据的存储和访问的能力，MapReduce使得海量信息的并行处理变得简单易行，Chubby保证了分布式环境下并发操作的同步问题，Bigtable使得海量数据的管理和组织十分方便。本章将对这四种核心技术进行详细介绍。
2.1 Google文件系统GFS
Google文件系统（Google File System，GFS）是一个大型的分布式文件系统。它为Google云计算提供海量存储，并且与Chubby、MapReduce以及Bigtable等技术结合十分紧密，处于所有核心技术的底层。由于GFS并不是一个开源的系统，我们仅仅能从Google公布的技术文档来获得一点了解，而无法进行深入的研究。文献[1]是Google公布的关于GFS的最为详尽的技术文档，它从GFS产生的背景、特点、系统框架、性能测试等方面进行了详细的阐述。
当前主流分布式文件系统有RedHat的GFS[3]（Global File System）、IBM的GPFS[4]、Sun的Lustre[5]等。这些系统通常用于高性能计算或大型数据中心，对硬件设施条件要求较高。以Lustre文件系统为例，它只对元数据管理器MDS提供容错解决方案，而对于具体的数据存储节点OST来说，则依赖其自身来解决容错的问题。例如，Lustre推荐OST节点采用RAID技术或SAN存储区域网来容错，但由于Lustre自身不能提供数据存储的容错，一旦OST发生故障就无法恢复，因此对OST的稳定性就提出了相当高的要求，从而大大增加了存储的成本，而且成本会随着规模的扩大线性增长。
正如李开复所说的那样，创新固然重要，但有用的创新更重要。创新的价值，取决于一项创新在新颖、有用和可行性这三个方面的综合表现。Google GFS的新颖之处并不在于它采用了多么令人惊讶的技术，而在于它采用廉价的商用机器构建分布式文件系统，同时将GFS的设计与Google应用的特点紧密结合，并简化其实现，使之可行，最终达到创意新颖、有用、可行的完美组合。GFS使用廉价的商用机器构建分布式文件系统，将容错的任务交由文件系统来完成，利用软件的方法解决系统可靠性问题，这样可以使得存储的成本成倍下降。由于GFS中服务器数目众多，在GFS中服务器死机是经常发生事情，甚至都不应当将其视为异常现象，那么如何在频繁的故障中确保数据存储的安全、保证提供
10 1