“去IOE”既有技术挑战,也受市场条件的约束,有机会成本问题,也受人才资源的限制。所以帮助大多数传统企业解决“去IOE”的最好途径是云计算,对企业来讲这是一个好的可以长期发展的路径。
对传统企业来讲,“去IOE”是在做一个选择,是在选择是否信任云计算是一种公共服务,就像企业信任国家电网供电一样。 “IOE”本身是软件时代或者说买计算机时代留下的产物,而到了云计算时代,实际上变成一个买“计算”的时代,不是买“计算机”的时代,所以IOE应该用服务的方式去掉。这个过程中的挑战是,你心里是否接受云计算,而不只是技术上接受。
Q 您怎样看待“去IOE”的人才培养过程?
A 阿里巴巴的技术积累超出很多人的想象。我们真的有很多很好的人才,他们不仅熟悉业务,对技术的理解也不是一般人可比,更重要的是他愿意“革自己的命”,绝不担心“去IOE“会让自己原来的技能没有用。这时候理想变得比什么都重要。
大多数严重依赖IOE的企业在技术人才培养上有点“拿自己的钱给别人交学费,但却给自己戴了手铐”,中国企业对技术的需求旺盛超过世界上任何国家和地区,所以技术上面临的挑战也超过了他们,正是我们对国外IT企业的软硬件的依赖而导致我们失去了很多自己发展的机会,而且国外的技术未必能解决中国企业的问题。“去IOE”的经验表明,现在我们有一次机会把我们的需求和钱用来发展适合长远发展的技术,让IT围绕自己的产品来发展。
对于我们自己的人才选择,阿里很谨慎,很多在国外厂商干过的顶级人才,并没有轻松地收到聘书,这是因为在企业中跟着别人做事,和在阿里用使命感开闯出一片天空有很大不同。“去IOE”需要极其合适的人才,才能带出一支像样的队伍,团队里每一个人的潜力也是逐渐被激发出来的。
揭秘阿里巴巴“双十一”IT部署
“双十一”时每个商家承担比平时大十倍、百倍甚至千倍的容量,这些因素加起来是让云计算变成唯一可以解决这个问题的方法。2012年的“双十一”,阿里巴巴创造了
26
191亿的日交易额神话,其中有20%商家的订单都通过阿里云的平台来处理,在流量剧增的情况下实现了系统零故障、订单零遗漏。2013年“双十一”,支付宝销售额达350.18亿元,提升了75%。
2013年阿里云开发者大会上,阿里云业务总经理陈金培透露:很多商家将O2O以及其他线上线下业务搬到“聚石塔”平台上,同时阿里云也针对银行推出了“聚宝盆”业务,解决银行支付贯通的问题。8月15日,阿里巴巴飞天云计算平台的单集群服务器规模达到5000台,服务淘宝的数据开放平台以及阿里金融的数据处理业务都成功地转移到这一平台上。
Q 2013年“双十一”阿里云是怎么帮助天猫、淘宝度过这么大一个“洪峰”的?
A 阿里云支持“双十一”主要是从三个角度:支付问题、淘宝自身和来自客户的挑战。支付的难点在银行,2012年淘宝和天猫的总交易额有191亿,交易笔数是1.028亿笔。结算笔数非常重要,因为在银行承担不了的前提下,支付宝的技术能力决定了系统的承载能力。以前,交易量过大时支付宝就会对交易进行排队,延迟交易。但“双十一”的交易量太大,延迟时间太长会产生很大的用户体验问题,所以支付宝提前鼓励用户先充值进支付宝,这笔钱的规模当时达到了几十亿,把对银行系统的压力直接转嫁到了支付宝系统上,使得“双十一”当天的交易顺利进行。并且在2013年,中国的中小银行系统也可以跟支付宝对接了。
淘宝自身的挑战在于面对突然出现的并发流量和意外情况时,如何保持系统的稳定性并完成天文数字的交易量。在意外情况下,淘宝无法预测用户行为,任何一个局部的问题都有可能演变为一个全局的问题。“双十一”当天阿里集团近千名技术和业务人员坐在一起,用一个指挥体系处理问题,准备了几百种预案。
解决淘宝客户的问题主要依靠阿里自身的技术力量,比如 “聚石塔”项目将天猫和淘宝卖家的全部交易流程都部署在阿里云平台上,保证交易系统的稳定性才能保证交易顺利完成。把卖家的ERP系统完全架设在云上,这件事的难度和意义比只解决网站流量扩容要大,因为从发票打印到发货都要通过这个系统,不同的ISV(独立软件开发商)也在其中起了关键的作用,让人们体会到一个生态的价值。2013年,淘宝的目标是让75%的交易在云上完成。
27
Q 为什么商家在云上跟在本地部署会有这么大的区别呢?
A 首先,现在中国的IT不像大家想象的那么好,很多小企业的IT建设不仅受制于成本,还受制于人才,云计算可以帮这类商家把业务搬到互联网上来处理。其次,一笔交易从一个数据中心转到另一个数据中心,这当中有很大的不确定性,因此互联网基础设施非常重要,云技术可以帮助大家解决互联网基础设施问题,“双十一”时每个商家承担比平时大十倍、百倍甚至千倍的容量,这些因素加起来是让云计算变成唯一可以解决这个问题的方法。
Q 我记得2012年您大概为“双十一”准备了几百个预案,2013年有没有什么不同的准备?2013年的“双十一”跟上年的“双十一”有什么不同?
A 2013年“双十一”时整个系统的成熟度更高。上年花了大概37分钟支付宝里有了第10亿销售额,2013年大概只花了6分钟就到了10亿。对云计算最有挑战的不是在下单那一刹那,是第二天要发货打单,所有东西都要上云,有的商家最后会因为打发票机器数不够发不出货。
阿里巴巴集团去IOE运动的思考与总结
【导读】
预计2012年5月7日,阿里巴巴集团将正式公布技术团队合并的事情,涉及的部门:阿里巴巴运维团队、阿里巴巴DBA团队、阿里巴巴平台技术部、大淘宝运维团队、大淘宝DBA团队、大淘宝核心系统部、阿里云计算运维团队、阿里云计算DBA团队和阿里巴巴集团安全团队,上述技术团队合并之后,从一些可以猜测到的信息分析,大淘宝的员工成为相关技术团队的掌舵者,以及去IOE政治运动是阿里巴巴集团首席架构师某博士主导的,阿里巴巴和淘宝的技术团队内部非常有影响力的XX负责执行,那么阿里巴巴集团内部所有子公司去IOE运动将继续深化,就淘宝、阿里巴巴和支付宝去IOE事件,以局外人的角度进行利弊分析,希望能达到给明白真相和不明白真相的群众一个合情合理中立的分析。
淘宝和阿里巴巴去Oracle化事件 引发数据库技术人员大讨论一文,只是把对阿里巴巴、淘宝等子公司内部非常熟悉的人士观点和建议分别整理出来,以及还有部分外部人士的猜测和分析,本篇文章我们从几个不同的角度综合分析阐述去IOE事件对阿里
28
巴巴、淘宝等公司的内部DBA团队价值和意义,对阿里巴巴、淘宝等公司的业务和成本影响,对互联网行业的DBA从业者的影响?
(一) 去IOE事件中的IOE名词解释
(1).IOE事件中的I是代表IBM的缩写,也即去IBM的存储设备和小型机,主要是小型机,阿里巴巴、淘宝和支付宝主要是使用了IBM的小型机,IBM存储设备相对较少; (2).IOE事件中的O是代表Oracle的缩写,也即去处Oracle数据库,采用MySQL和Hadoop替代的解决方案,Oracle RAC将会被Hadoop集群替代,其阿里巴巴B2B使用的GreenPlum集群也将会在阿里巴巴集团完成运维团队和DBA团队合并之后,采用Hadoop集群解决方案替代;
(3).IOE事件中的E是代表EMC2,阿里巴巴B2B、淘宝和支付宝都是用大量EMC2的存储设备,也有少量DELL的存储设备,主要是EMC2,的存储设备性价比非常高;
(4).阿里巴巴集团内部最早进行MySQL数据库替代Oracle数据库支持数据服务的子公司,是阿里巴巴B2B用PC Server替代EMC2,存储设备,替代IBM小型机,替换节凑是被控制的,因多方面的原因内部也没有那么雄壮的决心。后续,淘宝也开始进行MySQL数据库的应用摸索和推广,并且高调宣传去IOE事件,最后造成网络上满城风雨;
(二) 去IOE对淘宝、阿里巴巴B2B和支付宝等公司的价值
阿里巴巴集团与甲骨文公司购买的Oracle数据库是三年无限制的Licens,总销价是三年X千万人民币(备注:不能告诉大家具体多少钱,属于商业机密,望理解!),这部分的开销对整个阿里巴巴集团而言并不算什么,花费最大地方是Oracle数据库的座驾,也即主要是IBM小型机和EMC2,存储设备的购买费用和保修费用。
随着淘宝、支付宝和阿里巴巴B2B的注册用户数激增,用户产生的数据也越来越多,即使采用冷热隔离的方式也解决不了大容量数据且大并发的难题,淘宝启用了全亚洲最大的Oracle RAC集群,阿里巴巴B2B中文站的数据量也因数据量大和业务要求,
29
每年早上08:00—09:30之间CPU保持98%的使用率,LOAD也超高,即使更换存储设备不久也会再次出现这样的状况。互联网行业公司迅速发展非常快,集中式数据库系统会逐渐成为业务的瓶颈,不得不面临又喜又忧的事情花费重金升级硬件,这在企业高速崛起的时候,可能不太会在意成本,若是企业占有市场份额足够大、步入平稳发展阶段或企业资金出现问题的时候,就不得不考虑企业的成本, 那么就不得不考虑采用满足企业业务发展需求,企业只需要合理地投入资金,就不得不考虑更加省钱的数据库软硬件解决方案。
大淘宝、阿里巴巴B2B和支付宝等公司,98%以上的软件系统和业务都是采用Oracle数据库提供数据服务,电子商务领域阿里巴巴集团旗下公司拥有的总数据量和用户量是其他任何公司无法比喻的,DBA团队面临的压力盒挑战也是其他公司无法比喻的,肯定要比联网其他公司更早关注此方面的资金需求和业务双重压力。
阿里巴巴集团使用License最多的子公司是大淘宝,2010年及之前,还高调地要部署更多的Oracle RAC数据库集群,但是在阿里巴巴B2B将中文站压力和数据容量最大的Offer数据库,成功从Oracle数据库+IBM小型机+EMC2,存储设备,迁移到MySQL数据库+PC Server的模式,以及大淘宝核心系统部门招聘到@淘宝褚霸、@淘宝丁奇等能修改MySQL源码和Hbase源码,其他产品线使用MySQL数据库提供服务,也使大淘宝的MySQL DBA的经验和技术大幅提高,大淘宝也就有能力把产品线的Oracle数据库迁移到MySQL数据库提供服务,采用Oracle数据库支持的数据分析业务则采用Hadoop集群替代,这是给核心系统部和DBA团队建功立业的大好时机,同时能解决大淘宝业务系统的压力和瓶颈,也能帮助大淘宝降低资金投入。搭配开发完善的自动化系统,可以大大简化数据库的管理成本,也能减小DBA团队的工作量。
阿里巴巴、淘宝和支付宝都曾尝试,将Oracle数据库的AIX系统+ IBM小型机+EMC2,迁移到Linux系统+PC Server的模式。若是对Oracle数据库不拆分的话,PC Server根本无法承受这样的负载;若是对Oracle数据库拆分,将需要增加购买大量的License;故不得不考虑将业务系统的Oracle数据库迁移到开源MySQL数据库和Hadoop平台上(。
30