亚马逊式创新:在线零售巨头的云计算传奇

来源:第一财经周刊 作者:徐涛 黄俊杰 郑浩榕

大屏幕上正显示《星际迷航:暗黑无界》中企业号引擎舱中的惊险是如何制作出来的。原景在南加州一个寻常百威工厂中拍摄,但后期制作中加入了火花、蒸汽以及金属在光照下的反射等丰富细节。当镜头转动角度,主角背后更多的细节让引擎舱看起来巨大、复杂、充满危险。

“作为一个负责任的公司,以前面对那么多要求,我会说这个你不能做,那个你不能做,这往往限制了导演的创意;但是AWS让我现在不用担心这些,我可以加入很多细节。”大屏幕前,Kevin Baillie这样说。

他是为这部电影承担特效的公司Atomic Fiction的创始人,也是亚马逊AWS(亚马逊网络服务,Amazon Web Service)11月中旬在技术大会Re:Invent 2013第一天最后一个演讲的嘉宾。

他试图解释,作为一个成立于2011年的创意公司,Atomic Fiction如何能够做到没有进行任何硬件投资,还能更高效更有创意地完成特效制作—特效制作中的渲染部分通常需要巨大的计算资源。用传统的方式,特效师在自己的电脑中完成工作后,通常要等待后台电脑进行长时间的运行才能看到最终效果。因此许多传统特效公司通常在数据中心上进行了大量的投资。

“但用AWS,我们就拥有了足够多的计算机资源。这节约了成本,而且效率更高。因为用100台机器在10个小时内完成的工作,和1000台在1个小时完成工作的成本是一样的。”Baillie说。他展现的图显示,在制作的最后时间内,所需要的计算资源远远高于之前的时间,这意味着如果要自己进行硬件投资,得按照高峰期的要求来配置硬件。

如果说Baillie的演讲勾勒出摆脱硬件负担使用AWS后这家公司如何专注创意,以至于凭空创造出一个细节丰富栩栩如生的外星世界;那么你同样可以在AWS上找到最近几年这个物理世界迅速数字化的资源所在。

Re:Invent 2013 keynote上的其他演讲嘉宾,以及之后3天几百个讲座上的演讲者,都在讲述他们如何从传统的IT架构上转移到“云端”。

一个令人印象深刻的讲述来自于Tradewrox的主席Arzhang Kamarei。这家提供金融技术的公司正在帮助SEC(美国证券交易委员会,Securities and Exchange Commission)通过使用AWS来实时存储和处理大量交易信息,以更有效地监管市场。这能避免类似2010年5月6日那种股市闪电崩溃的发生。在那次事件中,SEC花了4个月时间来查看那天发生的几十亿次交易,然后才得出结论在那几秒内究竟发生了什么;现在,他们将每天产生的高达1兆字节的信息存储在AWS,并能通过两行代码,完成此前4个月的调查工作量。

在AWS刚推出时,业内大多数人觉得那只不过是一个玩具,没人真的会将程序跑在这朵“云”上。但SEC等机构对亚马逊这项服务的采用足以让人改变看法。另外两个让人惊异的AWS客户是NASA(美国国家航空航天局,National Aeronautics and Space Administration)和CIA(美国中央情报局,Central Intelligence Agencey)。

比它们更早使用AWS,并受益更早的是那些新成长起来的公司,例如Airbnb和Uber。它们无须考虑底层架构,迅速起步,然后在用户爆发时只需购买更多AWS的服务就能实现规模的增长。

所发生的变化像在一个世纪前,电网铺设给个人和小业主带来了光亮和更多便利,也让有实力的大机构放弃自己已有的发电站。此后创新爆发,整个人类社会也发生天翻地覆的变化。

“如果现在你不用云,那就像是你为了用电而在自家后院建起了一个发电厂。”在这个行业里从业30年的Bill Hood说。他去年和朋友在德克萨斯州建立了一家新公司SoftNAS,开始开发基于云上的虚拟存储技术。他说这番话时正在Re:Invent的展厅中。他身边有将近200多家已踏入AWS生态的公司,其中有Adobe这样的大公司,也有像SoftNAS这样的初创公司。

这种将电网和云计算进行对比的言论并不新鲜。2008年,普利策奖获得者尼古拉斯·卡尔(Nicholas Carr)在《IT不再重要》(The Big Switch:Rewiring the World,from Edison to Google)一书中就做了这样的对比。在这本书中他提到Google、亚马逊等诸多技术公司,并将Google看作是云计算领域最大的引领者。

但之后的时间里,亚马逊这家以在线零售起家的公司将对手甩在了身后。按照Gartner在今年8月的一个报告,亚马逊有效计算资源已经是其它14家云服务供应商总和的5倍。

微软在2010年才宣布名为Azure的云服务;而Google在2012年才起步类似服务,并开始大规模在西雅图与亚马逊争夺人才。

在传统领域,IBM已觉察到威胁因此按耐不住。在Re:Invent会议开始前一周,它于纽约花大力气在卡车上刷上广告,试图宣传IBM才能提供更好的服务—它的着急可以理解,亚马逊刚从它手里抢走了CIA一笔6亿美元的订单。

“亚马逊把对手甩得太远。我不知道为什么是亚马逊,而不是Google或其它硅谷公司做到了这一点。但它的确推动得非常迅速,野心勃勃,价格也很便宜。”John Sheehan说。

他是旧金山初创公司Runscope的创始人,因为看到越来越多的公司创立在AWS的基础上,需要对API进行更有效地诊断,因此开始创建工具。成立半年,他的公司已获得Ture Venture、Andreessen Horowitz等声名赫赫的风投的投资。

一个解释或许在于,亚马逊是第一个试图将计算资源的各种功能拆成小块,并提供给第三方的公司。这种被拆解的小块像积木一般,当需要时能随意搭建并扩展。在2006年,亚马逊将之提供给第三方公司使用。

一个对于亚马逊会如此早就提供这种服务的解释在于,作为电商它在非高峰期计算资源过剩,所以要销售出去。但美国记者Brad Stone在新书The Everything Store中却有不一样的解释:亚马逊AWS的建立源于当时它遇到的困扰。

2000年后,亚马逊已饱受内部系统崩溃之痛,这一系统在1995年后慢慢搭建起来,已日益陈旧;这种陈旧还在于IT部门的员工常常像个看门人,他们严格控制谁能触及亚马逊的服务器,使得其它部门的员工想要有点新尝试时通常被拒之门外。

酷爱读书的亚马逊CEO杰夫·贝索斯(Jeff Bezos)当时刚读完Creation这本书。它的作者Steve Grand是1990年代电子游戏Creature的开发者,他在游戏中设定了简单可计算的叫做“基本体”(Primitives)的小模块,然后就惊讶地发现游戏中的人工智能(AI)自己生长起来。之后,这本书被亚马逊的高管读书俱乐部广泛讨论。再之后,贝索斯敦促员工们头脑风暴,以看看是不是有可能将底层架构拆解成一个个小“基本体”。

这个片段在Re:Invent大会上被证实。会议第二天下午,亚马逊AWS部门副总裁Chalie Bell在说到AWS如何能够保持创新时说,一旦他们确定了一个所要解决的问题,他们就立刻去寻找那个相应的“基本体”。

在建造这种最初的“基本体”之前,亚马逊内部的技术架构已因和外部的合作而有所调整,这多少使得AWS在开发时就已有了成为平台的可能。

当时亚马逊已给Target等线下零售商提供IT系统,并提供大量API。在亚马逊工作多年后跳槽去Google的员工Steve Yegge在2011年发表博客说,这让亚马逊很早就在内部转变成“面向服务架构”(SOA,Service-Oriented Architecture)。虽然当时已经有很多这方面的文献,但“在亚马逊的大规模运用上就像在告诉印第安纳·琼斯在过马路前要朝两边看”—意思是整件事的部署变得异常简单。

“事实上我们从这种API的开放上受益很多,从那时候起,我们决定所有的服务都应该那样去建立。”Jassay在大会上接受媒体采访时说。

“我们所有的‘基本体’都放在‘harden APIs’后面。”Bell说。这就使得AWS的每个小组都能独立创新,但也能通过API结构受益于别人的创新。这些API也意味着一旦开放,就能被外部开发者所使用。

在最初,EC2和S3分别在南非和西雅图开发,前者提供计算服务,后者提供存储服务。那种API的合作方式使得即使这两个团队彼此相隔甚远,但依然能在开发完成之后彼此合作。按Steve Yegge的说法,亚马逊更大胆也因此能领先于别人的地方在于,“吃自己的狗食”(eat our own dog food)。在EC2和S3尚未成熟时,亚马逊内部其它部门就被要求使用这些服务。这让程序员们都痛苦不堪,但这也让亚马逊比其竞争对手提早很多年就直面服务上线后可能会出现的问题。

在亚马逊推出EC2服务,并在美国东海岸开启第一台服务器后,东海岸的创业者蜂拥而至,以至于亚马逊都来不及向西海岸开放资源就已满负荷。

这并非由于亚马逊口碑在外,而是定价上的吸引力。

亚马逊在推出AWS之前就决定按小时收费—这意味着人们开始可以像用电一样使用计算资源,并只为使用的那部分付费。之后,当时EC2的员工Willem Ban Bijion建议定价为一个实例(Instance)每小时15美分时,贝索斯在这个基础上又将定价降低了5美分。

这和亚马逊零售业务上的战略一致,贝索斯相信不断低价带来的飞轮效应。

在零售业务上,他的理论是:价格优势能带来更多客户,进而带来更多销售量;这使得亚马逊能对供货商有更多议价权,也能让更多第三方供货商在其平台上销售;因此亚马逊的固定成本例如仓储和网站平台能达到最大效用。这种策略一直以来让供货商苦不堪言,也给亚马逊带来冷血的恶名。在AWS业务上,亚马逊对待自己和对待这些供货商一样。每个新用户通常都有长达一年的免费试用时间,而时不时的优惠和降价也总是让使用者喜出望外。

这种理念起初是源于贝索斯对大家伙的恐惧。在亚马逊成立初期,创始团队成员Shel Kaphan问贝索斯为什么要那么迫切扩张时,贝索斯说:“当你很小,那些大家伙总能过来把你拥有的拿走。”

但现在亚马逊显然体会到了规模化带来的力量。这和电网发明人塞缪尔·英萨尔所信奉的公式一样:大规模等于高能量,也相当于单位成本的降低。

在大会Keynote上,亚马逊丝毫不隐瞒自己的定价哲学。亚马逊副总裁Andy Jassy说,用户的增加能带来更多的使用量,就能让亚马逊继续增加基础设施的建设规模;这能减少成本,进而支持亚马逊继续降价。而在这过程中,得到好处的是整个系统,因为这种加速过程能产生更多创新,并给整个生态系统提供更多功能和服务。

将这种定价哲学推到极致,以至于违反常理的做法是,AWS有个为客户提供省钱建议的服务,叫做Trusted Advisor。按照Jassy的说法,现在这个部门已为客户提供了70万条建议,在过去一年为其客户们节约下了1.4亿美元。

看不出有什么苗头会让亚马逊在接下来的竞争中失去这种先发优势。使用者们最能体会到的,除了它不断的降价之外,就是它不断的产品发布和疯狂迭代。

AWS在去年推出Redshift这一数据仓库功能之后,已增加了26个新功能。在这次大会上,AWS又推出了诸多功能,包括提供虚拟桌面服务的Amazon Workspaces、提供控件管理的Amazon Management Console,以及让开发者能更好开发计算资源密集型程序(例如3D游戏或互动高清程序)的Amazon Appstream等。

亚马逊的不断扩张已让它将数据中心布置到了全球9个地区。亚马逊最新财报的亏损显示,它还在继续加大这方面的投入。这让憎恶亏损的投资者们少有地继续保持信心。在财报发布后,亚马逊股价大幅上涨。

大会第二天,AWS的副总裁James Hamilton详细介绍了AWS是如何降低成本的。这家公司已经在自己设计服务器、存储设备等硬件,并将之分别定制化,以适应于不同用途,好使成本为之减少。

亚马逊甚至自己建立起发电站,并招聘了精通电力的工程师来重新设计云计算的省电方案。

当亚马逊在说自己如何致力于成本减少时,你可以相信它能做得比Google或微软更好。这家公司从创业早期就把“节约”作为自己的信条。到现在,亚马逊总部大楼的办公室还有用门板搭成的办公桌,而亚马逊的员工从来没有免费的午餐、零食和免费停车位。

亚马逊在云计算方面的远见和优势已让它不像在开发之初那样难以招聘人才。AWS数据科学部门的Matt Wood在接受《第一财经周刊》采访时说,作为一个生命科学方面的研究人员,他在做基因实验时需要处理大量数据,这让他对AWS的应用能力和前景印象深刻,因此在2008年时加入了AWS。而James Hamilton,这个AWS中最重要的构建者,此前是微软未来数据中心的架构师,在1980年代,他帮IBM开发了DB2数据库,被认为是数据库这个领域最关键的人之一。

你很难忽视AWS背后贝索斯的远见和野心。这不光是因为贝索斯说AWS将成为亚马逊最大的业务,并不断推动其快速前进,而是他让AWS完全和零售业独立,并成长为一个中立的、能让竞争对手也使用的服务。

在大会上,最引人瞩目的一个AWS用户是Netflix。这家提供在线视频点播的公司和亚马逊的Instant Video是竞争对手。在今年年初Netflix推出自制电视剧《纸牌屋》后,亚马逊在11月15日也推出了自己制作的电视剧Alpha House。

但Netflix现在已将自己全部业务都放在了AWS架构上,从软件开发到存储,以此基础进行了Netflix Platform的开发,并将之完全开源。

在大会展厅中,Netflix布置了自己的展位。他们的员工拒绝评论Netflix和亚马逊这种竞争合作的关系,却强调他们所做的这些能让整个生态系统更加健康。如果亚马逊Instant Video团队愿意,也能受益于他们开发的开源工具。

Netflix这种信任来源于亚马逊各个业务部门之间的独立。亚马逊宣称AWS在对待它自己的零售业务时,不过是将它们当成自己的另外一个客户。“我们甚至不在同一个办公楼工作,会做严格的区分。”Matt Wood说。

在展区中,Adobe、Ctrix这些传统厂商也都出现了。它们逐渐将建立在传统服务器上的工具搬迁到云上。对于它们而言,完成向“云”的迁徙,AWS是现在可选的最好平台。

AWS有专门的合作伙伴网络业务(Amazon Partner Network),为生态圈中的成员提供技术、业务和营销。

“从第一天起,我们就知道合作伙伴是多么重要,我们知道客户在迁徙到云上还是会想要用现在所正在用的那些软件。”Jassy在接受《第一财经周刊》采访时说。

“你能看到传统IT架构上有的工具和服务,这两年在云上都生长起来,从数据库、安全、数据分析,到帮助传统厂商迁徙的工具。”Geoff Lunsford说,他还和他的同事一起报出这个生态系统中一大串细分的领域。

他所在的公司Qubole是做基于大数据的分析,创始人是曾为Facebook搭建并运营数据服务的Ashish Thusoo和Joydeep Sen Sarma。他们知道因为有了AWS这样相对廉价并取之可用的计算资源,即使是小公司也可以将大数据分析应用到商业运营中去。现在他们的客户中有500强的大公司,也有成立不过3年的Pinterest。

在AWS服务推出的最初几年,它所能对这个世界产生的影响还尚不明显,但现在,一些涟漪已经泛起。

最新在硅谷涌出的创业公司大多使用AWS服务。它便宜,容易搭建,使得小团队无须招聘更多人去负责后端,而只需专注于最能带来特色和竞争力的产品设计。

移动设备上应用程序尤其依赖AWS所提供的支持。无论智能设备发展多迅速,它依然拥有更小的CPU以保持轻巧,这使得这些程序极其依赖云上的存储和计算。当这些程序在竞争中被设计得越来越需要密集计算资源时,它们的创造者也不会去考虑自己建立数据中心,而是继续依赖云所带来的取之不竭的存储和运算能力,以及灵活性。

亚马逊布局到世界各地的数据中心也使这些小公司将业务扩展到海外变得比以前更容易。在技术方面,它们只需将代码放到当地的服务器中,剩下的就是市场推广工作。

“我在5年前根本不敢想象作为一个创业公司能这么快把业务扩展到美国之外的地方去。但因为AWS,我完全可以做到。当我要服务一个澳大利亚的客户时,我在新加坡的代码能迅速响应,在几秒钟而不是几分钟内就和它完成通信。而且,我们才5个人。”Runscope的Sheehan说。

“AWS的出现如此剧烈地降低了创建一个公司的成本,也事实上给我们提高了门槛。以前我们是在等着年轻公司来证明它们自己,但现在我们得更早地去寻找它们成功的迹象。”红杉资本的合伙人Mike Goguen说。

一些创业公司正在加快AWS生态系统中的新一轮创新。Runscope就是其中之一,这些基于云并面向开发者的工具简化了开发,将创业门槛进一步降低。

这些工具让越来越多的公司和行业都更加依赖这个生态。例如在德克萨斯州的奥斯汀,成立于2003年的线上物流平台Uship已经在用Runscope来诊断自己和诸多承运商之间的自动化请求。

对于大公司而言,犹如贝索斯最初试图用“基本体”给公司各部门都带来资源以促进创新那样,大公司也正在使用AWS来获得灵活性。

“上周少数几个大型公司的CIO在一起开会,我们不断重复的词是AWS。”风险投资公司Madrona Venture Group的Matt Mcllwain说,“大公司认识到,自建的数据库这些陈旧设置,根本无法让它们变得灵活。”

在大会的一个演讲中,来自Comcast公司的Jacques Louvet说从一开始,他们就将这个试验性项目Xfinity X1 Platform建立在了AWS上,这使得这个项目有了一个创业公司一样的开端,能迅速启动,并不受预算太大限制。而他的同事Charlies Hammell说在这个过程中,基于云的软件设计完全改变了他们的设计思维,并有能力将搜索、推荐等功能加入到产品中去。现在这个项目已经正式上线,并被Comcast公司大力推广。当迎来用户迅速增长时,AWS让它们能很从容地面对压力。所有这些都没法在之前有线电视的数据中心架构基础上做到。

“研发的灵活性需要底层架构的灵活性。当这些发生变化,之后的变化会是巨大的,甚至连商业模式也会发生变化。”Mcllwain说。

“一个会出现的情况是这样:大公司在了解到AWS的好处后,虽然不会立即放弃原有的数据中心,但会在数据中心陈旧后不再更新,进而慢慢迁移到云上。”出版商Scholatics负责企业架构的Mahipal Komatreddy说。这家世界最大的儿童图书出版公司虽然和亚马逊在图书业务的合作上纠结万分,但依然在年初开始了向AWS的转移。

相关文档推荐

微博基于云计算的广告系统架构优化实践.PDF

22371341424 段绪勇 0.97MB 26页 积分6

云上企业联合演练解决方案.PDF

22331281183 程哲桥 6.74MB 20页 积分5

方正证券云原生架构升级实践.PDF

2203412290 史海峰 2.68MB 16页 积分4

金融云计算与云原生建设实践.PDF

2203412289 王辉 3.11MB 29页 积分6

高德云原生架构变革与演进.PDF

2203412287 福辰 8.28MB 27页 积分5

字节跳动云原生开源资源管理与成本优化.PDF

2203412285 唐鹏程 2.72MB 23页 积分5

告别运维负担腾讯云对 Prometheus Serverless 化的实践.PDF

2203412282 王国梁 2.27MB 21页 积分5

相关文章推荐

云计算的成本与价值概要分析

数字地平线 8小时coding 

从云计算到 Serverless

CIO之家的朋友们 CIO之家的朋友 

从云计算到Serverless架构

CIO之家的朋友们 刘宇 

分布式云计算是什么?

CIO之家的朋友们 CIO之家的朋友 

亚马逊创新如何构筑万亿商业帝国的护城河

Runwise 创研院 CIO之家的朋友