云计算 VS 大数据

有人说云计算和大数据是双胞胎，两个是不同的个体，互相依赖又相辅相成，也有人说大数据是来搅局的。

对此，IBM全球高级副总裁、系统与科技部(STG)总经理Rod Adkins认为，当前全球IT领域有了令人振奋的发展趋势和挑战，现在每天有大量数据和信息生成，这为大数据分析提供了机会;数据中心的挑战也为IT提供了新机会，比如云计算，能降低数据中心成本;IBM希望通过智慧的运算，实现智慧的地球的愿景。

英特尔亚太研发有限公司总经理、软件与服务事业部中国区总经理何京翔认为，大数据本身其实是信息革命的一个新引领。在未来几年随着物联网的发展，可能会有2100亿个RFID或者集群，在我们的环境之中，如果未来的移动互联、物联网如果变成现实，我们的生活会被传感器、会被数据采集装置所拥抱，这时候数据量将更大。这些数据量仅仅是数据，并不能解决问题，它要从数据变成信息、变成智能、变成商业价值，这才能够体现出真正的大数据的价值。
VMware全球高级副总裁范承工认为，在过去三年当中，看到大数据的发展从无到有，市场上大家说大数据的趋势，三年前可能还没有人说这个词，现在已经如火如荼。然而，现在除了数据本身发生了改变，云计算也使数据变得更加分散，在这样的趋势下，传统数据库对于海量数据的需求、快的需求、开发者数据多样化的需求难以满足，使各种各样的解决方案大行其道。

EMC的大数据和存储专家、EMC资深产品经理李君鹏认为，大数据本身就是一个问题集，云技术是目前解决大数据问题集最重要有效的手段。云计算提供了基础架构平台，大数据应用在这个平台上运行。目前公认处理大数据集最有效手段的分布式处理，也是云计算思想的一种具体体现。

对于大数据给云计算带来的影响，Teradata技术总监Stephen Brobst表示，公有云架构对数据仓库没有影响，因为企业的CIO不会无缘无故把财务数据或者客户数据放到云上，那样很危险。然而，是私有云架构确实有影响：第一，通过私有云，可以巩固数据集市，减少利用率不足的问题;第二，可以通过灵敏的方式将数据集成，实现业务价值。

大数据和云计算应用各不同

其实云计算与大数据的不同之处在于应用的不同，主要在两个方面：

第一，在概念上两者有所不同，云计算改变了IT，而大数据则改变了业务。然而大数据必须有云作为基础架构，才能得以顺畅运营。

第二，大数据和云计算的目标受众不同，云计算是卖给CIO的技术和产品，是一个进阶的IT解决方案。而大数据是卖给CEO、卖给业务层的产品，大数据的决策者是业务层。由于他们能直接感受到来自市场竞争的压力，必须在业务上以更有竞争力的方式战胜对手。

大数据不仅仅是Hadoop

Hadoop是Apache基金会发起和研发的，是目前业界公认的开放平台之一。授权公司可以发布自己相应的Hadoop版本。以Hadoop为代表的分布式系统，是大数据系统必要组成部分。必要性体现在现在的大数据中很多数据是机器产生的数据，或者是物联网各种各样的探测器、电脑产生的日志，这些是人为产生的，而且数量巨大，不适合把它直接放到数据库中去，而Hadoop就提供了全新的方式，可以轻松进行平面扩展，把这些数据放在库里进行任意的数据分析。Hadoop成功的建立了这个环境，使得围绕Hadoop的软件能够提供各种各样的功能，完成智能分析工作。

然而，大数据不仅仅是Hadoop，在对数据进行分析时，用户可以把数据放池子里，Hadoop则把这些数据分成几百个、几千个节点，这是在特定的某些应用场景必须进行的部分。但是更多的应用场景是需要实时的反应，互动的反应，这时候就需要其他技术，包括内存类检索技术，甚至在数据产生时要进行实时反应的技术。这些技术都结合在一起，才是一个完整的大数据处理系统。

各大厂商应对大数据

不论大数据时代是否真的来临，作为企业级服务厂商都应该走在受众的前面，应对大数据。

1.IBM：4V理论+大数据分析平台

IBM基于大数据提出了规模性(Volume)、多样性(Variety)、高速性(Velocity)和真实性(Veracity)的“4V理论”，帮助企业直观认知和准确把握大数据特质。

IBM早在2007年11月就推出了蓝云计算平台，“蓝云”基于IBMAlmaden研究中心(AlmadenResearchCenter)的云基础架构，包括Xen和PowerVM虚拟化、Linux操作系统映像以及Hadoop文件系统与并行构建。

此外，IBM还有大数据分析平台——InfoSphere。InfoSphere是IBM进军大数据领域的强有力武器，其包括 BigInsights和Streams,二者互补，Biglnsights基于Hadoop,对大规模的静态数据进行分析，它提供多节点的分布式计算，可以随时增加节点，提升数据处理能力;而Streams采用内存计算方式分析实时数据。InfoSphere大数据分析平台还集成了数据仓库、数据库、数据集成、业务流程管理等组件。

2.英特尔：硬件+软件 火力很猛

硬件上，英特尔从CPU、存储、内存一切的技术考虑怎么样使得新一代的系统架构，以及数据中心的解决方案能够更适合大数据的要求。

软件上，英特尔提供优化的中间件。以Hadoop为例，英特尔在Hadoop系统，在Hbase、HDFS上都做了增强和优化，使它们在英特尔的平台上，在英特尔的硬件上性能得到显著的提高，并推出了Intel Hadoop Manager2.0。

据介绍，Intel Hadoop Manager2.0 优化了Hadoop的处理能力，把拟数据采集到数据处理缩短到近于实时处理，且在英特尔平台上性能会成倍增长。

3.VMware：虚拟化架构+云平台

VMware公司大中华区总裁宋家瑜认为，云的平台才是唯一能解决爆炸性大数据使用的需求，把关键应用移到云平台已经是一个必然趋势。因此，VMware把尝试着把大数据应用到虚拟环境的云端。

VMware推出的开源项目Serenget，支持企业在云端和虚拟环境中，在vSphere上部署和管理Hadoop。据介绍，在这样的环境下，Hadoop部署时间可以从很多天缩短到10分钟。

此外，VMware在统一的vSphere虚拟化架构之上，提供GemFire实时处理、GreenPlum交互处理及Hadoop批处理三种模式，满足用户的海量、快速及灵活的大数据处理需求，并为开发者、数据分析师、数据科学家和商务用户提供数据分析及可视化的数据展示。VMware还公布了一个大数据分析平台 UAP(Universal Analytics Platform)，其中包括Greenplum database、Hadoop和Chorus分析软件，帮助客户同时分析处理结构化和非结构化的数据。

4.EMC：EMC HADOOP

EMC发布了EMC HADOOP版本，它主要进行实时、非结构化的数据处理。EMC的产品系列在HADOOP包括三个方面：Greenplum HD社区版;Greenplum企业版;Greenplum HD Data Computing Appliance。

据介绍，在Greenplum HD中有一些核心的技术创新：可插拔I/O，可以用Isilon OneFS夺存储系统，也可以用Atmos等，提高效率和性能;实时处理可以实时数据交互和分析处理;在容错方面，消除名称节点的单点鼓掌，作业跟踪其及其他关键组件方面有很多优化。它最大的亮点是Greenplum Database与Apache HADOOP强强联合，这样的一个一体机实现了结构化、非结构化数据之间无缝的集成。

此外，甲骨文也推出了大数据机，为企业提供一种处理海量非结构化数据的方法，集成了硬件、存储和软件，包括Apache Hadoop软件的开源代码分发、新的甲骨文NoSQL数据库和用于统计分析的R语言开源代码分发。