本着务实的态度,利用较低的成本,通过对大数据进行高速捕获和实时的分析,以获取核心业务和战略决策所需的关键信息,从而提升企业经营管理和战略决策水平,最终创造巨大的商业价值,也许是对大数据价值的最好诠释。
在对大数据进行分析的过程中,传统数据挖掘/BI(Business Intelligence)的做法是,IT人员事先根据分析需求来进行建模(以及做二次表或打Cube),提前汇总好数据,业务人员在前端查看分析结果报表。
这种做法很成熟,持续了很多年,但是也存在着一些问题:
1.业务人员查看的报表相对静态,分析的维度和度量的计算方式已在建模时预先设定好,不能更改,比如定好了是求和或求平均数,想改成求方差必须回去修改模型;
2.分析需求变更时,业务人员不能直接调整报表,需要IT人员重新建模或修改已有分析模型,耗时较长,响应速度较久。
造成这些的问题的本质原因是,过去的技术架构针对海量数据的计算能力不足,需通过建模、二次表、Cube提前进行数据运算汇总。
解决方案--敏捷BI
随着技术的发展和演进,BI领域已经迎来了新一代敏捷BI的革新。采用敏捷BI的数据分析优点包括:
分析报告不能只能看而不能动。数据展现是起点,而不是终点。看到了数据,要能交互式分析,要能深入向下挖掘,要能发现问题,要能找到答案,还要能采取行动。和数据交互的过程要足够快,如果用户每次点击需要等三五分钟才出结果,就无法进行交互分析。敏捷BI基于大数据的处理技术,对TB-PB级的数据可实现秒级响应;
分析报告应能让非IT部门的同事直接在分析平台上做出来。不能把所有的分析报告需求都提交到IT部门,这样会严重增加IT部门的工作负担。敏捷BI实施和操作简单,业务人员可直接使用;
分析报告需求经常需要数据层的改动,需要IT部门去改进数据层和业务层,传统BI平台需要一两个月去梳理模型。敏捷BI无需事先建模,可在分析过程中灵活调整分析维度和报表展现,需求变更可以在一天之内响应,提升企业的洞察力决策力。
敏捷BI的原理
与传统BI的重量建模、统一视图不同,敏捷BI采取轻量建模、N个视图的方法,不建二次表和Cube,数据连进来直接可以进行分析,并且业务人员可以实时调整分析的维度和度量的计算方式,极大增加灵活性,真正做到和数据对话。
想必大家会有一个疑问,既然有这么便捷的方式,为何传统BI不采用这种架构呢?正如上文所说,传统的技术架构没有引入现在的大数据技术,面对海量数据无法在用户点击的几秒内就展现结果,因此必须通过建模提前把数据汇总好,才能保证分析报表展现时的速度。实现敏捷BI的大前提是采用新架构处理数据的性能有了几十倍提升,涉及的技术包括分布式计算、内存计算、列存储、库内计算等。
因此,敏捷BI可以通过更低的成本、更短的上线周期,快速让企业洞察到数据的含义和价值。
敏捷BI带来的行业变革
《自由人》里提到一句顺丰快递王卫说的话--有时候,仅仅是快,就能改变一个行业。
我们先来看一个真实案例。
某互联网媒体/研究机构面临以下问题:
·该机构是国内最大的互联网媒体/研究机构,70%以上的海外上市企业引用其研究分析报告。同时向客户提供定制化咨询报告的服务,分为提供线下报告和提供软件两种服务类型;
·客户的定制化需求多变,若生成报告需3-4周交付周期,若提供软件需半年交付周期。由于人工成本高,迭代周期太长,不敢承接太多报告需求的项目,每年只能做少数的定制化项目;
·因此,该机构希望借助BI工具提升业务效率和收入空间。
总结一下该机构的需求:
·项目的需求举例:根据时间维度,网站汇总,进行用户的来源地区、来路域名和页面访问次数,停留时间,有效访问次数、跳出率、回访者、新访问者、回访次数、回访相隔天数等相关数据的统计。要能够动态添加条件,通过对用户行为监测获得的数据进行分析,更加详细、清楚地了解用户的行为习惯;
·每天数据量几千万条,且不同网站客户的分析需求是各自不同的,灵活变化的多维度分析需求对分析性能提出了更高的挑战,传统的数据库以及Hadoop架构已经无法满足高性能的即时分析需求;
·国外的产品,如IBM、SAP、Oracle等,价格较为昂贵,在几百万量级,难以承受;
·国内的产品大多是上一代BI,需事先建模再进行分析,难以应对灵活的多维度分析变化需求,且针对大数据量的处理能力不能满足要求。
最终该机构采用了敏捷BI技术,将三个月的细节数据(约50亿条)导入敏捷BI系统,直接定制报告的分析展现。这一举措为客户带来了巨大的收益:
业务效率提升:采用敏捷BI工具后,对比原先基于Excel和SQL编程的分析方法,线下报告交付周期从3-4周缩短至小于1周,软件交付从半年缩短至一个月;
项目来源增加:原先不敢承接需求未完全确定的项目,因担心需求变化导致没有能力交付。采用敏捷BI工具后,可在几天内快速搭建原型向客户展示,任意需求变更可在一周内调整完毕。通过这种快速原型试错的方式,有了能力承接此类项目;
收入空间加大:由于业务效率的极大提升,有能力承接更多的项目,收入空间有了几倍的增长;
客户满意度提升:能够快速响应客户的需求和变化,超出客户预期,大幅提升了客户满意度和客户留存率。
不仅如此,该机构后续还进行了创新模式的转型:
基于敏捷BI工具,该机构构建了新型的SaaS平台,进一步提升用户体验,为客户提供直观可交互的分析展现报告
通过SaaS的账号销售模式带来稳定的长期可持续收入,改变了原先基于一个个独立项目的营收模式
该机构的价值描述从媒体/咨询服务公司向提供大数据服务的互联网应用提供商转变,大幅提升资本市场价值
旗下子机构迅速跟进敏捷BI工具的使用和新模式的改变
这是一个单一企业的案例,事实上,敏捷BI对个人、企业、乃至行业都会产生很大影响。
对个人的变革:
业务人员可以通过自服务的方式与数据进行交互式探索,更加敏捷的进行数据分析,洞察数据含义和价值。
IT人员不再被繁重的修改建模任务拖累其它高价值的工作,生产力得到释放。
对企业的变革:
对拥有大数据的企业,如咨询研究机构、互联网营销机构、舆情/商情分析机构、精准营销机构、以及各行业的传统企业,无论是内部使用数据,还是对外提供数据服务,都有了更加敏捷高效的方法。
对拥有小数据的企业或部门,在做市场分析、财务分析、销售分析、客户分析时,不用再用复杂的系统工具进行数据挖掘,分析的门槛极大降低,这意味着原来由于成本、实施周期、复杂度等门槛而被BI厂商排拒在外的广大中小企业,可以通过敏捷BI真正开始数据挖掘之旅。
对行业的变革,以IT行业为例:
对应用厂商,如ERP、CRM、行业应用提供商,可以快速嵌入敏捷BI工具,来为客户提供更多增值服务。
对实施商,BI的项目风险极大降低,项目周期极大缩短,短平快的出结果。
这是一场新的变革,大数据时代,涌现无数的数据掘金者,也需要有人来提供好铲子。
CIO之家 www.ciozj.com 公众号:imciow