毋庸置疑,现在世界上IT行业都已经开始注意到“大数据”对于一个企业所带来的价值了,其主要目的就是为了帮助企业在不断的发展当中解决数据增长带来的问题。但是在现实当中,很多棘手的问题都导致大数据技术和应用发展受阻。一种成功的技术是需要标准来衡量。现在我们就四个基本要素来衡量下大数据技术。
衡量大数据技术的四个标准是哪些呢?
一、流处理
随着企业的业务不断的增长,业务的流程也不断的复杂,越来越多人注意力都放在了数据流当中,而不是数据集。
做决策的最感兴趣的是如何抓住组织的命脉,并且获取到有价值的结果。数据流的架构是能够对于数据进行随时随机的处理,而就目前的数据库技术并不对数据流进行合适的处理。
比如:计算一组数据的平均值,用一个传统的脚本就可以实现。但是对于移动数据的平均值来计算的话,不管是增长还是到达又是新的一个但愿,还需要有更加有效的算法才可以。如果你搭建数据仓库,并且执行数据分析和统计并开发像SAS的商业产品也可以实现。但是建立一个数据流统集,那就要将移动数据块去除或者重新添加,再对于移动数据进行计算,这样会导致数据库不存在或者不成熟之类的。
数据流的周边的生态系统还有欠发展。如果你现在和一家供应商进行大数据项目的洽谈,那么你就一定要了解下数据流处理对你这个项目是不是很重要,而且确定你是否可以为数据商提供的能力。
二、数据并行化
大数据的定义费相当,下面这个定义对你来说相对会游泳。“小数据”的就好像是桌面的环境,存储的能力一般在1G或者到10G之间,“中数据”的存储大小大约在100GB到1TB之间,“大数据”的存储分布式在很多机器上,数据的存储量在1TB到多个PB之间。
如果你的数据存储在分布式环境当中,并且希望在短时间内进行大数据的处理,这个时候就需要分布式数据处理。
在分布式数据当中有一个并行处理的数据脱颖而出,Hadoop这个分布式数据目前被大数据处理的技术人员应用最广泛。Hadoop其中还包括了很多大型的分布式文件,以方便分布式查询。
三、摘要索引
摘要索引指的就是对于数据在创建的时候进行一个计算上的摘要,主要是为了将查询的加速。摘要索引的问题是你需要在执行查询之前就要将计划给做好,因为它是有限制的。
数据的不断增长,对于数据索引的摘要的要求不会中断,不管是短期还是未来的长期,供应商都必要对于摘要的索引制定一个相当明确的策略。
四、数据可视化
可视化的工具主要分为两大类。
探索性可视化描述工作可以为做决策的人和数据分析师进行不同数据的联系,这是一种可视化的洞察力。类似的工具有Tableau、TIBCO和QlikView,这是一类。
在叙事上的可视化工具是被设计成为一种独特的方式来进行数据的探索,比如你想在可视化的方式上进行一个序列的地狱查询一个企业的销售业绩就可以事先通过可视化格式创建。数据会按照不同的地域进行战士,并且会根据定义的公式来进行排序。
CIO之家 www.ciozj.com 公众号:imciow