大数据与商业决策关系

来源:CIOZJ 作者:车品觉

今天,我们正处于决策成本产生巨变的爆发点,过去那些想尽办法都无法获取的数据,在今天唾手可得,而当有些表面上完全不相关的行业数据关联起来时,居然产生了新的商业价值。更重要的是,过去,我们更多地是带着问题去寻找能够验证自己观点的数据,而今天我们却可以使用数据去预测可能出现的问题。海量数据可以使人的智慧得到更大的发挥,并变得更加规模化。大数据的本质是人,数据研究的极点就是莫测的人性。我们一旦掌控了数据之后的数据,就会拥有制胜未来商业的无敌利器。

假定数据是脏的

 

在处理数据的时候,会像污水处理厂一样,每一步都问自己要如何处理这些污水。这种情况的出现,到底是因为数据源脏了,还是因为数据提炼过程做得不好?

美国有一家初创公司,专注于与地理位置相关的数据收集、整理和查询服务。它将地理位置的相关指标,按照酒店和旅馆等属性划分为不同细类,对外提供基于位置信息的实时查询,为包括美国最大点评网 Yelp在内的多个知名应用提供底层数据服务。

 

这家公司最令人印象深刻的是,它对于所收集来的数据会提供一个数据质量评分,以反映数据的可信度和质量水平。它会对这些数据的源头以及对处理数据阶段所用的算法进行评分。也就是说,这家公司在提炼数据的每一个阶段都进行了数据化管理。

这家公司的做法让我们看到了一个趋势,也是一个非常重要的趋势。因为它首先已经接受了数据源肯定是脏的和数据源一定会被污染的事实。所以,它在处理数据的时候,会像污水处理厂一样,每一步都问自己要如何处理这些污水。这种情况的出现,到底是因为数据源脏了,还是因为数据提炼过程做得不好?这个过程我们一定要区分,而且这样的区分是可取的。这家公司是假定数据是“脏”的来做数据管理,而不是假定数据是稳定的。而且,假定数据是“脏”的来处理数据,在大数据时代将是一个非常重要的趋势。

事实上,我们今天在处理的大数据,依然只是冰山一角,而更大的数据都隐藏在我们的语言中,比如我们说的话和写的字。所以,将来我们要准确地从互动中抓取数据,也一定要依赖对自然语言的处理。现在,美国的很多数据研究人员都在瞄准非结构性数据,即语言处理这一领域。

学会慢慢淡化数据

数据是有优先值的,在数据中有些是特别核心的,有些即使缺失了也没有多大问题。所以,我们要学会真正坐下来盘点那些对公司最有价值、对用户最有价值的数据。

想要确定数据的优先值,就要先解决以下几个问题。

一是数据的标准化。在大数据时代,我们需要一个标准化的东西供我们进行交流。

二是我们到底如何对接和交换数据,如何在交换的时候保持数据的稳定性。比如自然语言,比如在无线和 PC不同场景下受到的影响,这些情况都会滋生出许多新问题。

第三个重要的问题是数据的存储,这将涉及数据的时效性这一问题。

有人曾经提出过一个很有价值的观点,即现实中,网站最大的场景变化就是网站改版。因为重新设计网站,本身就影响数据,比如公司的详情页和首页,任何改变都在影响数据。如果在 1~3年后,你才说得出数据的这一改变是由于促销、用户行为或是改版引起的,那这一数据就已经没有任何价值了,这就是数据的时效性。所以,美国出现了一个概念叫数据淡化( Data Decay),意思很明显,数据会慢慢淡化。我们要更清楚地认识到,数据是有优先值的,在数据中有些是特别核心的,有些即使缺失了也没有多大问题。所以我们要学会真正坐下来盘点那些对公司最有价值、对用户最有价值的数据,这是一个非常重要的趋势。

重要的是数据和数据之间的关系,而不是数据本身

大数据价值的实现,在于数据与数据的连接。

Google做了一件非常惊人的事情 —— Google甚至能在不明白某个网页语言的情况下,知道其内容是什么。试想一下,如果你懂俄语,看出俄语网页里在讲什么当然很简单。但是,如果你仅仅通过看字词的排列和网站的分类,就知道网页的内容,这是不是很令人惊叹?

这就是知识图谱,它是一个无穷无尽的世界。事实上,知识图谱并不是数据,而是数据和数据之间的关系。但这里有一个非常大的弊端,就是数据的储藏量非常大、储存的方法也很复杂,且稍微改变一点点关系的定义,整体就会产生巨大的变化。

比如说,有一个知识图谱在说电商平台用户之间的关系,那数据信息就非常庞大了。试想一下,今天电商平台里有多少个用户跟你有关系?假如说有 25个人,那么 25个人的关系就演变成了 25×25条关系。这时候,我再问你“什么是关系”、“见过就算关系,还是一起买过东西叫关系”的问题就具备了一定的难度。

关系建立的维度是无限大的,而且定义稍微改变一下,整个存储和整个数据库都会发生变化。所以,知识图谱的把控是有难度的。举个贴近我们生活的例子,比如说银行很早之前就给你开办了信用卡,决定银行这一决策的不是你的个人关系而是总关系。银行决定是否贷款给你,是要看你爱人做什么职业以及你家中其他人的经济情况如何。当这种种关系关联起来时,就会产生一个极为重要的知识图谱。

以往我们谈大数据时候的本钱,莫过于“我有这种数据,你没有”。在未来,数据和数据之间的关系才是重中之重,而不是单纯的数据本身。

 

相关文档推荐

腾讯大数据基于StarRocks的向量检索探索.PDF

1737425434 赵裕隆 3.48MB 34页 积分6

B站一站式大数据集群管理平台.PDF

1737421412 刘明刚 1.37MB 30页 积分6

StarRocks在爱奇艺大数据场景的实践.PDF

1737365327 林豪 3.57MB 27页 积分5

农业农村大数据平台互联互通规范.PDF

1736163860  0.49MB 11页 积分5

工业大数据管理与治理智能制造的基座.PDF

1733702095 王宏志 3.83MB 54页 积分6

中国出海互联网公司数据保护合规对策.PDF

1732603379  2.22MB 14页 积分4

数据跨境现状调查与分析报告.PDF

1732603016  1.98MB 53页 积分5

企业数据合规指引个人信息保护指引.PDF

1732591271  15.22MB 23页 积分5

相关文章推荐

大数据开发流程及规范

网络收集 CIO之家的朋友 

大数据技术名词解释

51CTO CIO之家的朋友 

大数据常见问题之数据倾斜

CSDN CIO之家的朋友 

详解大数据批流处理中的两大架构

数仓宝贝库 韩锐、刘驰 

什么是大数据战略以及如何构建

51CTO CIO之家的朋友 

大数据的数据治理与应用场景

51CTO CIO之家的朋友