大数据技术的发展趋势

来源:36大数据 作者:网友

技术趋向多样化,企业应选择接受度高和未来会快速普及的技术

目前,大数据相关的技术和工具非常多,给企业提供了更多的选择。在未来,还会继续出现新的技术和工具,如Hadoop分发、下一代数据仓库等,这也是大数据领域的创新热点。

那么企业到底该选用什么技术呢?

TDWI(数据仓库研究所)对现有的大部分技术和工具进行了调查,以现在及未来三年内企业接受度和增长率两个维度进行划分,这些技术和工具可分成四类(见下图)。

企业最需要关注的是第1类中的技术和工具,它们最有可能成为最佳的实施工具,也代表了大数据技术的发展方向。

基于云的数据分析平台将更趋完善

企业越来越希望能将自己的各类应用程序及基础设施转移到云平台上。就像其他IT系统那样,大数据的分析工具和数据库也将走向云计算。

云计算能为大数据带来哪些变化呢?

首先云计算为大数据提供了可以弹性扩展、相对便宜的存储空间和计算资源,使得中小企业也可以像亚马逊一样通过云计算来完成大数据分析。

 

其次,云计算IT资源庞大、分布较为广泛,是异构系统较多的企业及时准确处理数据的有力方式,甚至是唯一的方式。

当然,大数据要走向云计算,还有赖于数据通信带宽的提高和云资源池的建设,需要确保原始数据能迁移到云环境以及资源池可以随需弹性扩展。

数据分析集逐步扩大,企业级数据仓库将成为主流,未来还将逐步纳入行业数据、政府公开数据等多来源数据

当人们从大数据分析中尝到甜头以后,数据分析集就会逐步扩大。目前大部分的企业所分析的数据量一般以TB为单位。按照目前数据的发展速度,很快将会进入PB时代。特别是目前在100-500TB和500+TB范围的分析数据集的数量会呈3倍或4倍增长。

随着数据分析集的扩大,以前部门层级的数据集市将不能满足大数据分析的需求,它们将成为企业级数据库(EDW)的一个子集。根据TDWI的调查,如今大概有2/3的用户已经在使用企业级数据仓库,未来这一占比将会更高。传统分析数据库可以正常持续,但是会有一些变化,一方面,数据集市和操作性数据存储(ODS)的数量会减少,另一方面,传统的数据库厂商会提升它们产品的数据容量,细目数据和数据类型,以满足大数据分析的需要。

因此,企业内的数据分析将从部门级过渡到企业级,从面向部门需求转向面向企业需求,从而也必将获得比部门视角更大的益处。

需要指出的是,随着政府和行业数据的开放,更多的外部数据将进入企业级数据仓库,使得数据仓库规模更大,数据的价值也越大。

相关文档推荐

腾讯大数据基于StarRocks的向量检索探索.PDF

1737425434 赵裕隆 3.48MB 34页 积分6

B站一站式大数据集群管理平台.PDF

1737421412 刘明刚 1.37MB 30页 积分6

StarRocks在爱奇艺大数据场景的实践.PDF

1737365327 林豪 3.57MB 27页 积分5

农业农村大数据平台互联互通规范.PDF

1736163860  0.49MB 11页 积分5

工业大数据管理与治理智能制造的基座.PDF

1733702095 王宏志 3.83MB 54页 积分6

中国出海互联网公司数据保护合规对策.PDF

1732603379  2.22MB 14页 积分4

数据跨境现状调查与分析报告.PDF

1732603016  1.98MB 53页 积分5

企业数据合规指引个人信息保护指引.PDF

1732591271  15.22MB 23页 积分5

相关文章推荐

大数据开发流程及规范

网络收集 CIO之家的朋友 

大数据技术名词解释

51CTO CIO之家的朋友 

大数据常见问题之数据倾斜

CSDN CIO之家的朋友 

详解大数据批流处理中的两大架构

数仓宝贝库 韩锐、刘驰 

什么是大数据战略以及如何构建

51CTO CIO之家的朋友 

大数据的数据治理与应用场景

51CTO CIO之家的朋友