在采用云计算技术之前,运维人员会认为一切尽在掌控之中,可以如数家珍地讲述系统A运行在第X排Y列机柜里的Z主机上,设备已经纳入备采用云计算技术后,运维人员很难讲清楚A系统具体运行在哪个主机上,因为全部采用了设备虚拟化管理,A系统在不同时刻可能处在不同主机份管理,最近设备运行正常,安全上只允许B上。运维人员从静态管理到动态管理的转变。引网段的主机访问。 入了云计算之后,运维的重点将不仅仅是原来管理的设备运行正常,网络畅通,还将关注资源的主动供给、自动配置、可持续性、可追踪的实时配置管理。 传统的运维管理中,为了保证可靠性和伸缩性,云计算环境中运维人员一部分负责物理设备运不仅需要在部署阶段进行支持,而且还需要随时监视应用的运行状态,判断是否存在节点失效或者负载过高等情况。 一旦发生异常,管理员根据事先制定好的工作流程来启动备用的服务器,运行相应的管理脚本来对新的服务器进行配置和初始化等。 转,一部分负责应用相关的监控和管理。定位系统故障不再只是依靠传统的网管手段,需要更深入地通过云计算管理平台以及虚拟设备管理平台,来分析系统的运行效率和故障原因。 在云计算环境中,虚拟机虚拟镜像磁盘文件把基本操作系统、客户需要使用的应用及运行应用所需的中间件等组件一并打包在内,免去了传统环境下为用户进行复杂安装配置的过程,做到开箱即用,实际上成为了企业的虚拟资产。 在云计算实践之前,数据中心的绝大多数应用服云计算技术以后,人们采用新的虚拟化的辅助技务都部署在物理机上,随着物理设备逐渐老化,术(P2V)能够把应用服务与操作系统一起从物理性能逐渐下降,所运行的应用软件的稳定性和可靠性都受到了极大的影响。要把服务迁移到新的系统上会面临很大的风险:一方面是因为开发人员的流动性,当需要迁移服务时,难以找到原开发团队的相关人员;另一方面是软件对新运行环境的兼容性问题,软件所依赖的特定接口或者函数库在新的系统里并不一定兼容。 服务器上迁移到虚拟环境中,管理员不再需要触及与系统紧密整合的应用的相关代码,大大提高了系统迁移的可行性和成功率。 迁移后的服务器,不仅可在一个统一的界面中进行管理,而且借助虚拟机化管理软件,在这些服务器因故障停机时,可以自动切换到网络中其他可替代的虚拟服务器中,从而达到不中断业务的目的。 1
“去IOE”究竟是人为的推动?还是产业发展的必然?
作者: 来源:CNET科技资讯网 时间:2014-04-04 18:34:35 关键字:去IOE
4年前,阿里集团为解决业务快速发展而给IT系统带来的巨大挑战,启动“去IOE”战略时,肯定不会想到,如今“去IOE”在国内已经演变成为一场轰轰烈烈的运动。 所谓的“IOE”,指的是以IBM 、Oracle、EMC为代表的小型机、集中式数据库和高端存储所组成的IT技术架构。其中 I指IBM p系列小型机;O指的是Oracle的数据库(RDBMS);E指的是EMC的中高端 SAN 存储。
而“去IOE”,指的是在企业IT建设中,以开源的数据库软件来替代Oracle的数据库系统,以PC Server替代EMC的存储设备、IBM的小型机,以达到降低成本、使IT架构更加灵活的目的。
可以看到,“去IOE”无非是一种新的IT技术架构和建设思路。对于用户而言,根据自身的业务和IT应用需求,可以选择“去IOE”这一技术架构,也可以采用“IOE”来进行自身IT系统的建设。这本没有是非对错之分,只是看哪一种方式更加适合自己的需求。
不过,从2013年开始,“去IOE”开始逐渐在国内升温,并有逐渐演变为一场“运动”的趋势。在“棱镜门事件”爆发后,“去IOE”更是被一些人上升到国家信息安全层面,认为“去IOE”是保证我国信息安全的一个重要措施,并呼吁用国产IT设备、系统全面取代国外产品。 那么,事实果真如此吗?
“去IOE”的本质究竟是什么?去掉“IOE”之后,是否就真正的实现了信息安全?在“去IOE”运动的背后,又隐含着哪些利益的驱动和推手? 阿里集团的“去IOE”之旅
阿里集团的“去IOE”之旅,始于2009年年底。
2
图 阿里集团去“去IOE”之旅
沃趣科技CEO陈栋,当时曾任阿里集团DBA团队资深经理,可以说亲历了阿里集团“去IOE”的整个过程。在陈栋看来,阿里集团的IT建设似乎经历了一个轮回,“三国演义的卷首有一段经典的话:话说天下大势,分久必合,合久必分。我觉得这段话同样适合IT行业的发展轨迹。”
据陈栋回忆,在2004年时,阿里集团采用的还是PC服务器,但随着企业业务的高速增长,PC服务器所面临的压力越来越大,系统宕机的现象越来越多,此时,PC服务器已经对企业的业务发展带来了影响。
因此,在2005年时,中国互联网界第一台IBM小型机在阿里集团落户,从此阿里数据库都逐渐变成了IBM+Oracle+EMC 的技术架构。之后两年,虽然业务发展很快,但“IOE”架构的稳定性确实得到了很好的体现,系统基本上没有遇到什么问题。 时间到了2008年,突飞猛进的业务压力,使得小型机和高端存储不断扩容,成本压力巨大。“这时我们突然意识到,被绑架了。”陈栋说。
当时,阿里集团正处于业务的高速发展期,特别是淘宝业务的爆炸式增长,对于企业IT系统的计算和存储能力提出了很高的要求。在此之前,阿里集团在IT建设方面采用的是Oracle的数据库、IBM的小型机、EMC的存储设备。众所周知,这些IT产品在价格方面都比较昂贵,如果按照高速增长的计算需求来购买相应的设备和产品,那将是一笔巨大的投入。
另外,像阿里集团这样处于高速成长中的互联网企业,对于IT系统和架构的灵活性要求很高,而“IOE”的产品在产品体系方面相对比较封闭,这就限制了阿里集团自身技术潜力的发挥。
“出任何问题都要找原厂,做一些数据收集或者是开发也只能照原厂。曾经有一次,
3
系统出现了问题,整整一下午我们都束手无策,什么都做不了。”陈栋说道。 而一旦在业务高峰期出现这样的问题,对于阿里集团的影响显然是十分巨大的。 “比如说在双11时,会出现非常极端的一些问题。而这种问题如果要求助于那些厂商,厂商也要拿具体业务数据做定制化的开发,这中间来来回回的时间成本是我们难以承受的。例如阿里双十一凌晨那一瞬间可能几个亿的交易就过去了,而此时如果出现问题,在?IOE?的架构下,我们的工程师到最后除了等待,什么都不能做。所以说?IOE?确实让我们当时的技术面临失控的风险。”阿里技术保障部DBA负责人周宝方曾在演讲中这样介绍道。
周宝方表示,当时阿里集团之所以启“去IOE”战略,主要有几大因素:集中式的严重制约(集中式强大单点远远满足不了阿里特别是当时淘宝爆炸式业务增长应用的模式,这里可分为三个方面,稳定性、跨IDC容灾切换、快速扩容);技术面临失控,创新潜力受限;专用设备规模化场景下诸多限制;成本;安全。
在这种情况下,如何解决这些难题显然就成为阿里集团技术团队的工作重心之一。而在2009年时,随着硬件还是软件都逐步成熟。特别是PC服务器处理能力和性能的提升、开源数据库软件,以及存储技术(MySQL/OceanBase/RDS)、分布式数据处理技术、数据流技术等的成熟,使得阿里集团技术团队认为,可以用开源数据库加PC服务器来代替“IOE”的产品。软硬件技术成熟为“去IOE”奠定基础。
PC服务器CPU计算能力的提升,使得?去IOE?成为可能。2008年1月,英特尔公司发布的Nehalem架构CPU,对于阿里集团实施“去IOE”有着重要的推动作用。“当时,Nehalem架构CPU的单核计算能力已经POWER5处理器相差无几。如果再能够把PC服务器的稳定性控制在可控范围内,那么取代小型机还是有很大的操作性的。”个人计算机每个CPU芯片的处理能力是200MIPS,就是每秒种执行200M也就是两亿次指令, Yahoo!公司报道他们已经实现了有一万个节点(node)就是一万台PC计算机连接的分布式系统,总的处理能力是 2,000,000MIPS,最快的芯片也达不到这个速度,超级计算机所谓的TOP500,达到每秒几百万亿次指令执行,都是采用分布式设计的,世界第一的IBM BlueGene超级计算机采用了32部机架,每部机架部署有768个PowerPC440 CPU。TOP500基本都是使用Linux操作系统
4
的!现在社会和家庭拥有的个人计算机就是PC,只有30%的计算能力被利用,甚至更低,而其余70%的实际上是被闲置的,这些闲置的计算机资源和计算能力只有通过分布式系统才能得到有效的利用,这样可以大大提高一个国家的计算能力,而计算能力是衡量一个国家国力和科学研究能力的指标,这一点现在还没有被国人充分认识到。一个国家和地区的计算能力现在已经成为一种重要的战略资源,不亚于石油和其他战略物资的重要性。
磁盘技术SSD(固态硬盘)的发展,也给“去IOE”提供了很好的支撑。“尤其是Flash技术的出现,我认为在数据库环节上,是一个革命性的发展。同传统的高端存储设备相比,Flash在吞吐速度方面大幅提升,而成本方面却大大降低。”陈栋分析道。丁香园网站CTO冯大辉认为,硬件的进步给技术体系的变迁做好了铺垫。最主要的关键词是SSD(固态硬盘)。而如果没有SSD的技术成熟以及在商业应用上被普遍接受,“去 IOE”几乎是不可能做到的。“要知道机械硬盘存储的性能数十年几乎没得到什么大的改进。但 SSD 相比机械硬盘来说,则是质的飞跃。每年做 I/O 容量规划的时候都会发愁,因为即使已经使用上了很高端的 EMC 存储设备,但实际上只要应用层 I/O 没有命中到存储内存,直接打到后面的磁盘上,几乎没什么抵抗能力。比如当时一个硬盘极限能撑 100 多个 I/O,100 块硬盘也不过是万把个 I/O 就不行了。 但这样的 I/O?打击?对 SSD 来说,则不是什么大问题。SSD 给解决IOE体系最大的瓶颈 – I/O 能力提供了硬件先决条件。”
开源软件MySQL的迅速成熟也给“去IOE”提供了有力的保障。最近几年MySQL体系的软件进步是相当惊人的,各种经过验证的解决方案成熟。不少知名互联网公司(比如 Facebook)在使用MySQL的同时也将其技术改进回馈给技术社区,把技术方案分享给业界,业界在吸收这些技术的同时再次回馈给技术社区,形成正向的反馈,极大地提升了开源软件在商业领域的竞争力。
2010年1月开始阿里集团启动了“去IOE”战略。是逐步尝试和替代的过程。
5