一、何谓大数据?
英文名为Big Data,简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”Volume,Variety,Value,Velocity。
二、大数据在增长
平均每60秒钟就有98000个新的Tweets、23148个应用程序下载、400710广告点击和总共208333分钟的《愤怒的小鸟》游戏时间。如果以天来计算的话,我们产生的数据多达2.5quintillion bytes(quintillion为百万的三次方),而且增长的速度也非常高。仅过去两年所有的信息数据就增长了90%。随着数据爆炸式增长,各组织机构都纷纷发现海量数据带来的高价值及其蕴含的竞争优势。
三、大数据正在变得越来越大
IDC日前对大数据市场做了预测,预计2015年大数据市值将会从2010年的32亿美元基础上增长到169亿美元,实现40%的高速年增长。消费技术的爆炸性发展,尤其是智能手机在工作中的应用,意味着人们以全新的方式融入科技之中,并由此导致当前及未来,数据的爆炸式增长。
四、大数据意味着什么
挑战是要了解所有的大数据结构化、非结构化,从公开的商业价值信息到贯穿整个区域基于强大平台的数据分析和商业决策。通过应用基于强大计算能力处理海量数据,可以获得全新的商业视角。不仅仅掌握只占10%的结构化数据,而是要掌握所有的大数据。
五、云端数据已超过50PB
关注过我们频道的读者相比知道,Autonomy前段时间已经公布了其私有云数据超过50 petabytes(50PB)的规模。基于IDOL(Intelligent Data Operating Layer),该私有云能够从数十亿的结构化、非结构化数据文件中自动识别它们的类型并得出结论。Autonomy IDOL为基于云的Autonomy解决方案(营收优化、归档、数据保护、eDiscovery和信息管理等)搭建起了公共平台。该私有云使用了惠普Converged Cloud来提供数据流、可扩展的和混合的IT环境支持。
六、50PB是个什么概念?
50PB对于常人来说,难以理解它究竟有多大。这么说吧,50PB相当于25万亿页的印刷文本数据。也相当于250亿张软盘存储的信息。
七、国会图书馆
今年1月,美国国会图书馆披露Web归档数据量已经达到了285TB。而刚才介绍的50PB几乎可以容纳下179个这样的图书馆。
50PB可容纳179个美国国会图书馆
八、人类大脑
牛津大学的一项研究指出,人类大脑每秒处理的信息量相当于1PB。因此,50PB对于人类大脑来说,1分钟内就可以存储完毕。
人类大脑1秒钟能处理1PB数据
九、视频、手机
一个50PB的云端可以容纳长达665年的HDTV视频,也相当于820300部64GB的iPhone手机。
50PB相当于高清视频和手机的容量示意
十、音乐专辑
7700万个CD(每个CD容量为700MB)所能包含的数据为50PB。因此,你完全可以将全球市面上销售的Pink Floyd专辑或者U2和Nirvana专辑。
50PB相当于CD容量示意
十一、树
根据加利福尼亚大学研究员计算,50PB云可以容纳下25.6亿棵树制作成纸张所能包含的数据量。
CIO之家 www.ciozj.com 公众号:imciow