1. 集中式的严重制约:集中式强大单点远远满足不了阿里特别是当时淘宝爆炸式业务增长应用的模式,这里可分为三个方面,稳定性、跨IDC容灾切换、快速扩容;
2. 技术面临失控,创新潜力受限; 3. 专用设备规模化场景下诸多限制; 4. 成本:这应该是整体最次的因素; 5. 安全。
除掉以上核心因素,他还跟大家分享了当时的内外部环境、去IOE核心技术、需要克服的技术难点及“去IOE”里程碑。 (1)内外部环境
内部环境,主要源于2009年11月份的预算报告初稿,当时决定阿里以后不再购买小型机。外部环境主要包括:PC服务器处理能力增强、以及Flash技术的出现。
36
阿里”去IOE“后整体架构
(2)去IOE核心技术:
? ? ? ?
存储技术(MySQL/OceanBase/RDS); 分布式数据处理技术; 数据流;
规模化运维体系和研发支撑体系。
(3)“去IOE”需要克服的技术难点:
? ? ?
功能:Oracle到MySQL功能上落差大、存储过程、join操作; 高可用:小型机、存储高冗余机制、PC怎么做;
数据一致性:Oracle物理级别的一致、MySQL有没有问题。
对以上技术详细进行拆分,还可分为:
? ? ? ? ? ? ?
如何去存储过程; 如何无缝数据迁移; 如何分库分表分事务; 如何数据路由; 如何异构数据实时同步; 如何数据安全; 如何面对规模运维。
在克服掉以上这些困难后, (4)“去IOE”里程碑
时间 2010年1月 2010年7月 2011年7月 2011年9月 37
关键事件 三淘核心系统”去IOE“启动 完成商品库\去I“ 完成商品库\去OE\ 完成交易库\去IOE“ 2012年12月 2012年6月 2013年4月26日 2013年5月21日 2013年6月4日 完成三淘\去IOE“ B2B/阿里金融启动 CBU/ICBU完成\去I\ 支付宝完成\去IE“ 阿里最大的现金流结算系统\去O\ 2010年1月份启动,大概2011年7月份完成商品库的“去IOE”,这也为后期交易的“去IOE”奠定了坚实的技术基础,这期间主要经历了三个阶段:
1. 16套读写分离Oracle,后来压力太大,根据卖家查询的部分,从数据库移至实时搜索;
2. 2010年7月,商品去小机;
3. 201年7月,商品KOE项目,使用Flashcache和PCIE-SSD。 心得体会
在完成”去IOE“后,周宝方感触很深,他表示,”去IOE“首先赋予了阿里非常灵活的技术架构,支撑业务的快速发展,比如双十一,阿里可以很淡定地做业务扩展;其次是阿里掌握了技术自主可控操作;另外还包括基础工程技术和人才的积累、技术的沉淀、成本、安全性的提升等等。
最后他还跟我们分享了一些心得体会:
对I、O、E们客观上造成误伤,本质是以自主可控的分布式Commodity PC架构替代集中专用的IOE架构,并非为了做而做,也并非纯粹为了成本或纯粹为了不用外国技术,更不是用某些国产PC/RDBMS/存储作为替代技术;
个人的技术成长方向有必要和企业发展所需的方向契合,甚至推动变革; 很高的技术门槛、较大技术风险、水很深;
开源只是在入手时零成本,而后(对传统企业)会是极高的维持和发展成本,这并不为很多人所意识到;
并非所有企业都适合“去IOE”,但规模型的企业需要考虑;
38
“去IOE”技术难以复制,对接“去IOE”技术的云计算平台更合适“去IOE”; 需要信念,才能走的下去。
恒拓开源陈操谈去IOE方案的普及对独立开发商的机遇与挑战
2013-11-05 15:30| 分享到:
阿里巴巴在国内互联网领域是去IOE的强力推动者。今年5月17日,支付宝最
后一台IBM型机下线,整个阿里集团告别IBM小机;7月10日,淘宝广告系统的Oracle数据库下线,淘宝告别Oracle。10月,阿里正式启动“聚宝盆”项目,针对金融行业软件开发商和广大中小金融企业推出云迁移服务,把原来采用IOE的技术方案改造成基于阿里云技术的方案,并通过金融软件开发商把金融业务迁移到阿里云。
在传统企业软件领域,也有很多开发商在致力于开源解决方案的输出。在2013年10月的阿里云开发者大会上,恒拓开源作为阿里云行业合作伙伴之一亮相,主持了一个开源技术分论坛。在航空领域,恒拓开源已经积累了不少客户和项目经验。在下面跟恒拓开源技术副总监陈操的对话中,我们将对整个行业的去IOE普及的状态进行一个概述,请陈操分享一下他们推广开源方案的经验,并聊聊独立开发商在这样的一个环境变化中将面对哪些机遇与挑战等话题。
嘉宾简介:
39
陈操,恒拓开源架构顾问/技术副总监,专注于企业级开源解决方案,在企业级Java开发领域有十多年的经验。积累了丰富的ESB、SOA、JBoss、Drools、分布式计算、高并发高访问量系统架构经验。参与主导了大量中大型企业级信息系统架构设计,具有丰富的实战经验。曾在中国数码集团任职,于2010年加入恒拓开源,目前负责恒拓开源深圳分公司的团队与业务。
InfoQ:能否根据你们目前接触到的客户的情况,描述一下整个行业对去IOE这个概念的接受情况,以及实际实施的进展状态?
陈操:在近几年,我们接触的这些行业形势比之前已经好了非常多,大家对“去IOE”、尤其是对开源的认识,跟过去相比已有显著提高。虽然,能够在实践中真正敢于去尝试的企业为数不多,但是大部分已经有这样的一些规划了,南航算是其中敢于吃螃蟹并获得成功的。我们接触的客户,有航协、航信、东航、国航、中信信托、长安汽车,还有我们在深圳所接触到的深交所、深圳证券通讯有限公司、前海股权交易中心等,我们很高兴看到这些航空行业,制造行业,金融行业的企业纷纷开始想尝试和探索“去IOE”。
目前在航空行业,我们算是走得比较前。对于绝大多数客户,我们目前正在尝试着用开源的解决方案去替换掉IBM的小机和中间件,Oracle的数据库,用我们的分布式存储方案去替换掉EMC的存储设备等等。许多项目都正在接洽或已经在实施,这相比前几年来讲已经是很大的进步和提升。
InfoQ:能否以某个场景为例,简单估算一下去IOE之前的硬件-软件License-服务运维团队方面的成本总和和比例,以及去IOE之后的成本比例?
陈操:举例来说,在没有“去IOE”之前,很多企业,像我们接触到的一些国企,硬件主要是IBM的小型机或者大机,现在给他们换成几万块钱一台的刀片组成的小集群,用普通的PC硬盘或者磁盘阵列替换EMC存储设备作为大数据的存储方案。仅这一块节省的资金就十分可观。
40