当今信息化建设程度不断深入,企业在优化整合各种IT能力,使IT成为企业的前进驱动力与核心竞争力的同时,将视角关注于更深层次的数据治理与分析,预示着以数据、流量、知识为主的数字经济时代到来,此背景下,数字化转型正在各行业快速萌生并发展。

随着各行业逐渐走向多元化、服务化、个性化发展,行业竞争趋势愈演愈烈,这时收集、利用数据资产,以支撑战略决策、风险规避、业务创新的需求急剧上升,而数据价值对于企业的作用不言而喻,因此许多数据治理、数据治理分析、大数据平台构建项目正如火如荼的进行,数通畅联在过去的一年里承接的项目大多都为数据治理分析项目,在建设过程中对于数据治理分析项目沉淀许多实施方法论和最佳实践,在此分享。

常见问题

在数据治理分析项目调研阶段及项目实施过程中会发现,很多企业在数据治理分析项目中无论是信息化基础设施环境,还是对项目本身的意识和认知,或多或少都存在多样的问题,具体问题如下:

1 缺乏数据思维

数据思维与信息化意识略有不同,具备信息化意识的管理者未必具备数据思维,数据思维是一种量化的思维模式,即理性的运用数据去分析处理事物。很多管理者已经习惯依靠自身经验的惯性思维或根据某件事情的规律去判断、解读事物的本质,没有做到用数字说话。一种为没有意识到数据思维的重要性,另一种为有意忽略数据思维,因为即使个人判断有误权威上也不会受到损害,而这些现象都会造成数据重要性被弱化,数据架构出现断层,无法更好建设数据分析平台。

2 概念理解偏差

大数据的宣传和噱头导致很多企业对数据分析工具或成果过于神化、期待,认为只要进行了数据分析平台的构建,就可以解决企业内部存在的一切数据问题,例如:提高内部数据质量、有效利用数据价值;节省员工对业务处理时间、提高工作效率;帮助解决数据集成共享问题,屏蔽数据信息孤岛等。事实上,上述问题仅依靠大数据分析工具是无法做到的,一味偏信过度的宣传,盲目建设只会增加信息化成本,而不能带来真切收益。

3 数据资产混乱

数据治理分析对于有些企业来说,仅是停留在概念层面,建设原因多为追赶当前信息化形势、信息部为凸显功绩等,他们并不知道当前内部到底有多少数据、哪些数据是核心数据、哪些是重复数据、哪些数据是需要做为数据分析源头、数据都是以什么形式存在。造成认为只要是数据,皆为重要资源,在系统没有建设到位或没有数据治理的情况下就展开项目,甚至不惜花费大量时间精力去收集内外部一切数据,认为收集数量越大,分析效果越好,殊不知在这个过程中为企业数据中心添加大量的垃圾数据,事实上对于企业内部系统中的现有数据价值密度更高,如果企业内部数据都没有梳理、治理好情况下,盲目追求大数据只是缘木求鱼。

4 数据质量不高

数据治理分析项目的重要前提是有数据且有正确的数据可以提供分析,但很多企业并没有注意到或者真正重视起来,反而将数据可视化部分作为建设重点,注重构建炫酷的分析界面,看起来美观且高大上,实际上只起到了花瓶的作用。事实上,数据可视化只是数据治理分析的一部分,更重要的是对数据质量的把控、数据的挖掘、预测、数据分析算法的合理应用、多维查询、即席分析等。数据质量不高表现为数据以多种格式,杂乱无序的存在于企业内外部的各个业务应用系统中,无统一数据源,数据分析可用的准确数据无法识别,展示信息不准,很难有效支持领导决策。

5 分析偏离业务

数据分析成果如何让领导真实看到企业数据资产情况、有效辅助企业战略决策,避免分析结果出现偏离业务现象,也是项目中需要注意产生的问题之一。各个业务部门配合差、业务梳理进展慢、领导不够重视、没有提出针对性需求、企业信息化团队业务理解掌控能力弱都会导致分析成果业务偏离。除此之外,存在一些实施厂商对客户行业不了解,套用通用业务分析模型,不能满足企业自己的实际业务情况,造成数据分析模式、分析结果不能真实体现业务价值。

6 资源保障薄弱

基础资源薄弱包括做项目必备的资源保障,即企业具备充足的资金、信息化团队及涉及业务员工的配合等,数据治理分析项目建设是一项周期长、投资大的工程,需要长时间资金投入去运维,在实施过程中经常会出现企业内部不够重视项目的建设,对项目期望值不高,不肯投入足够的资金或选择较为便宜的平台产品进行构建,最终做成烂尾。同样的,数据治理分析与应用集成、门户集成等项目不同,需要企业信息部及各部门人员的配合才能做好,很多企业信息部推动不利,员工不愿配合业务的梳理等情况都会导致项目进展缓慢。

对应方案

面对上述问题,数通畅联会根据企业信息化现状及真实业务需求,将数据治理套件进行拆分重组,构建成适合企业当下业务场景的解决方案,通常来说不同阶段的方案是由简单逐渐向高阶进行的,方案之间是一脉相承的。

第一步解决企业内部应用、信息、数据的整合问题,同时构建数据门户,以实现企业内部运营数据的简单统计分析;第二步实施基础数据治理,保证企业内部质量,为后续数据分析奠定基础;第三步利用企业的BI决策分析与ETL工具进行数仓构建;第四步加深数据治理,结合数仓建设数据分析平台,实现企业内外部数据决策分析;最后构建数据中台,全面实现大数据分析,走向数字化、云计算、智能企业阶段,具体建设步骤如下:

1 数据门户构建

数据门户是企业各系统数据的统一展现平台,通过多样的图表、表格等Portlet组件高效地展现,以数据不落地的形式帮助企业实现内部应用数据分析,主要针对处在应用集成、门户集成阶段的企业,具体表现为企业具备一定数量的信息化系统,但尚未达到需要大规模数据分析的程度。

企业数据门户解决方案涉及两款产品:AEAI ESB应用集成平台、AEAIPortal门户集成平台,AEAI ESB应用集成平台实现异构应用系统的对接,数据门户搭建的工作主要由AEAI Portal门户集成平台承担,通过配置相关的数据源进行数据获取,以图表报表的形式展现结合后的基础数据与业务数据,AEAI ESB应用集成平台负责显示数据的提供,AEAI Portal门户集成平台提供显示界面,并且支持灵活的布局以及多种图表方式展现。

2 基础数据治理

基础数据治理是规范企业数据的必要步骤,也是实现大数据分析的重要支撑,对于此方案实施的时间,数通畅联建议越早越好,可以在企业信息化建设第一阶段并行,不仅有效保证企业内部数据的一致性、完整性、准确性,还可以为后续深入应用集成、全面数据分析奠定基础。

基础数据治理解决方案涉及两款产品:AEAI ESB应用集成平台、AEAI MDM基础数据平台,通过AEAI MDM基础数据平台,在整个企业内部制定并执行统一的、符合业务要求的、科学合理的数据标准,通过数据标准的执行使得企业内部的各个业务环境使用的主数据完整统一,有效简化数据清洗工作,提高数据治理,加快业务系统集成、数据治理分析、业务流程再造速度。AEAI ESB应用集成平台主要用来完成业务数据同步分发部分的功能,内置组件可以实现批量数据传输、同步、分发及控制、多协议调用、多方式触发等,辅助基础数据治理。

3 数据仓库构建

比起全面的数据决策分析,很多企业会根据内部原有的BI决策分析、ETL数据抽取工具等产品,先着手构建传统的数据仓库,为数据决策分析提供良好的环境,数据仓库可以有效的将数据集成到统一的环境中,提供决策数据的访问,让用户可以更快的查询所需的重要信息。通常构建数仓可以结合AEAI DAP数据分析平台展开。

AEAI DAP数据分析平台为能够高效存储、计算、分析并处理海量数据的数据分析产品,在本方案中ETL作为数据采集、交换、传输工具,将转换处理后的数据加载到目标数据源,如ODS中,AEAI DAP数据分析平台基于ODS创建数据仓库,支持关系型数据库和大数据存储两种形式存储,通过元数据管理对数仓数据进行分类管理。结合企业内部BI数据分析系统,将系统内容集成在DAP下进行综合展现。

4 数据治理分析

数据治理分析属于大数据平台搭建的前期,通常在企业信息化建设的后期阶段,本阶段实施内容主要包括加强数据治理、数据集成,扩大数据治理范围,基于数仓,构建企业数据分析平台,实现数据在企业范围内的流转,并将数据分析结果以多种方式展现。数据治理分析涉及五款产品:AEAI DAP数据分析平台、AEAI DBP数据总线平台、AEAI MDM基础数据平台、AEAI ESB应用集成平台、AEAI DRP数据上报平台。

基于AEAI MDM基础数据平台进行深入数据治理,利用AEAI DAP数据分析平台全面建立企业决策分析平台,结合数据仓库,改善人工数据与信息统计方式,利用数据库技术和信息处理能力,面向管理者提供实时、智能化、多维度的运营数据查询和统计分析,AEAI ESB应用集成平台一方面用于解决应用/数据集成问题,另一方面辅助MDM实现数据同步分发操作。

AEAI DBP数据总线平台作为数据抽取交换工具,通过数据采集实现各系统数据的统一转换、抽取、传输,并将转换处理后的数据加载到目标数据源,如数仓、数据集市等,支撑数据分析。AEAI DRP数据上报平台用于解决企业系统之外的线下工作产生的数据上报问题,提供数据的上报及下发。

5 数据中台构建

数据中台模式为企业信息化建设的后期,推动着传统企业完成数字化转型,是企业信息化建设真正走向数字化、云计算、人工智能的阶段,数据中台主要帮助企业进行数据管理,打造数字化运营能力,不仅包括对业务数据的治理,还包括对海量数据的采集、存储、计算、配置、展现等一系列手段。数据中台的构建涉及七款产品:AEAI DAP数据分析平台、AEAI DBP数据总线平台、AEAI MDM基础数据平台、AEAI ESB应用集成平台、AEAI DRP数据上报平台、AEAIPortal门户集成平台、AEAI MAP移动应用平台。

AEAI DAP数据分析平台用于搭建大数据平台,从多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型,通过数据分析算法,进行数据统计分析、实时流处理,机器学习和图计算等,根据不同行业的业务场景更具有多样化、丰富化,同时包括自定义指标、表单查询等功能,可以满足用户不同的展示和分析需求。

AEAI DBP数据总线平台从系统、社交、网络等渠道采集结构化或半结构、非结构化数据,按照所需的业态选择不同技术手段接入数据,之后将数据存入到相应的数据库中进行处理,通过MDM主数据治理清理脏数据,保证所需数据的准确性、完整性,之后将数据抽取或分发至计算平台中,通过不同的分析手段根据业务板块、主题进行多维度分析、加工处理,之后得到有价值的数据用于展现,辅助决策分析。AEAI DRP数据上报平台仍做为线下数据上报的工具,支撑线下业务部分的数据分析。

企业大数据平台可以以企业战情室、战略决策室的形式集成在AEAI Portal门户集成平台构建的企业应用中心下,便于实现一体化办公与决策分析,对于移动办公需求,大数据平台支持多端展现,也可集成在AEAI MAP移动应用平台使用。

实施过程

数据治理分析类项目与普通集成类项目不同,其解决方案不是通用的,而是需要高度贴近行业业务的,通常都要基于行业经验结合企业实际情况来定制实现,所以做好此类项目依靠的不仅是性能高、功能全的产品和多业务场景的解决方案,还要有具备扎实行业知识的信息化团队和相关项目的实施方法论。

1 需求调研

需求调研主要通过信息采集、现场调研等形式,充分了解和获取客户相关方面的现状和用户对系统的具体需求及期望,本项目主要明确在实际业务环节中,业务部门共享的数据有哪些,明确数据指标,不同主数据的数据源头、数据源头部门、数据主责部门、数据使用部门、使用频度、数据范围、数据流程等。

>>>>目标明确

在需求调研过程中,实施方要目标明确,准确掌握项目中需要的数据、明确需要调研的部门人员、拟定调研计划及整理调研问题,有效开展调研工作,时刻明确调研工作并不只是将客户需求记录下来,更重要的是挖掘客户没有说清楚的需求、甚至客户发现的真实需求,为企业解决实际问题。同时实施方需要引导客户进行目标明确,明确其对项目所达成果的认知,清楚建设成果为其带来的好处,从而使客户可以在项目中积极配合业务梳理,提高对项目的重视程度,正视项目的开展。

>>>>业务调研

需求调研需要对不同层级的人员进行展开,例如企业管理者、部门主管、业务人员等,通常以沟通访谈的形式开展,至于开放式还是封闭式,可根据访谈者角色、配合程度决定,整体围绕访谈、梳理、引导三个阶段。首先从访谈中把握客户对项目的需求及建设方向,之后对企业组织架构、业务流程、信息化环境等进行引导、深入调研,在客户不了解需求或想要的效果时,需要基于以往的项目经验进行引导。

>>>>需求确认

调研结束后,将整理的需求与客户进行确认是必不可少的,切忌口头确认,一定要整理成文档形式,有凭有据,如《数据治理分析需求规格说明书》、《主数据标准》、《数据清洗方案》等,内部评审后需要与客户反复确认,这时需要用封闭式确认法,待客户认可并理解后签订需求确认书,也叫蓝图确认单,届时正式确定项目实施范围。

>>>>功能设计

很多人会认为蓝图确认后再展开功能设计工作,事实上功能设计部分的工作在调研的中后期,即达到需求准确率65%甚至更高占比的情况下就已经开展了,功能设计可以有效推动需求确认工作,通过规格说明书的撰写能反推、倒逼业务需求梳理是否正确、完备,例如通过对数据同步流程和业务对接方式的设计,可以验证调研过程中业务逻辑是否出错,存在问题。

2 项目实施

项目实施过程中,在进行数据来源采集、数据转换、清洗、汇总、数据分析模型建立、配置、分析展现等一系列技术类工作的同时,数通畅联会根据特有实施方法论进行实施过程全面监督、保障,通过一整套完备的管控方法及产品功能实现客户的需求,这里主要讲述对于项目的管控。

>>>>制度保障

数通畅联内部实行日报及周报管理制度,对项目人员人天/周工作内容及计划实时审查追溯,可及时发现项目中已知或未知的问题,并加以解决防控。对外实行项目双周滚动制,每周定时为客户发送当周项目工作总结及下周工作计划、后续工作安排,便于客户精准掌握项目进度,及时发现项目问题,有效控制项目进度,防止项目偏离拖期。

>>>>客户参与

项目中时刻保持与客户的良好沟通,为加强客户对项目的认知程度与参与程度,在项目进行中同步开展技能培训,包括技术人员培训、使用人员和管理层使用培训,技术人员培训主要包括MDM产品培训,数据集成规范培训,管理和维护培训,平台和工具培训包括初级数据流程集成培训和高级集成开发培训。通过原厂培训知识转移,用户IT部能掌握相关接口开发等技能,实现临时性的需求及后期维护系统服务等。

>>>>分步上线

分步上线是对下一阶段全面上线验收的保障,在项目交付上仍遵循敏捷机制,在项目开展2个月左右,部分功能即可上线供客户使用,所有功能正式上线前,都会经过几轮严密测试,包括内部自测、交叉联测、整体业务联测,过程中对发现的问题及时记录并快速修改,在保证系统稳定运行的情况下,同步对其它功能进行实施、扩展,对系统运行过程中或即将开发功能中的问题进行重点攻克,功能开发完毕之后,通过灰度升级方式部署在已上线的系统中,平滑过渡,整个过程不影响用户使用。

3 上线验收

上线验收做为项目全生命周期的结尾阶段,意味着项目整体工作已经完成,线下测试全部通过,该阶段也是较为重要的收款节点。通常在项目验收阶段会进行有效知识传递、项目经理推进验收、运维人员驻场交接等工作。

>>>>快速验收

基于局部上线、全面测试等良好基础,可以实现项目的快速验收,验收阶段主要工作是对项目整体实施工作的回顾和总结,对实施工作的认可,也是对双方高层领导的一个工作汇报,验收合格后,即进入系统维护期。在验收时会针对项目情况进行汇总及文档整理;双方共同召开项目验收会议,对项目实施过程、业务内容、工作程序和结果进行汇报及演示;将项目中所有文档交接于客户,并专派技术人员现场驻守,保证稳定运行后撤离,后期进行远程维护。

>>>>知识传递

考量一个项目是否成功,除上线的系统及为企业达到的效果之外,还有一个较为重要的指标就是看实施方在项目中知识传递的过程是否顺利、高效。数通畅联在知识传递上采用文档、沟通、培训等多种方式保障。实施过程中加强客户的参与程度,保持良好的沟通和关键功能点的指导,同时为客户输出系统操作手册、培训资料,帮助客户更好的理解掌握平台的操作。培训讲师由项目经理及主力技术人员担任,根据不同使用对象安排不同授课内容,使培训更具有针对性。

>>>>运维保障

实现技术驻守期与运维保障期的平滑过渡,系统上线后项目经理会根据实际情况在现场值守一周左右,这段时间工作主要为对项目成果进行迭代完善,确保系统正常平稳运行。同期项目运维人员进场进行工作交接,同样在项目值守一周左右,对客户信息化环境、关键联系人、系统测试问题等进行全面了解掌握,便于后续对项目进行运维支持。

最佳实践

大数据既然会火,一定有它的作用,笔者也相信未来大数据平台的建设会对企业决策分析起到灯塔作用,做到剖析过去、管控现在、预测未来,帮助企业发现以往业务中存在的问题,快速整改;管理监控当下运营过程,合理规避偏差;预测分析未来发展趋势,指明方向,辅助制定计划目标,很多企业也开始着手构建。

关于大数据平台、数据治理分析相关项目是典型行业类项目,实施方必须具备深厚行业知识及交付经验,无论是项目经理还是技术经理、实施人员都需要对客户所处行业的特征、经营模式、运营管理、业务流程十分熟悉,可以根据企业需求快速切入,理解其个性化业务部分,从而有针对性的进行全面分析、业务梳理、整体规划。

对于客户方不具备一定的前置条件和认知也是无法有效展开项目的,以下是数通畅联在承接行业类数据治理分析项目中,所沉淀的最佳实践,供参考。

1 整体意识到位

数据思维是一定要有的,重视事实,理性的正确的运用数据去分析处理事务,讲究逻辑关系,用数字说话,而不是仅仅靠个人经验拍脑门判断。除此之外,要求管理者具备较强的信息化意识、超前的规划能力、对待变革的创新力、推进执行的决断能力,对构建情况持续监督和推进,摆正对数据治理分析的预期,理性、长远、全局的看待数据治理分析所带来的成果。注重培养各部门负责人及基层员工的信息化意识,提高整体信息化能力,协作推进信息化建设。

2 数据治理先行

若想做好数据分析,对数据的治理很重要,通常包括企业内部信息化系统中产生的数据和外部的行业、产业、社交、政策等数据,利用数据分析前,首先要明确企业有哪些数据资产可以利用、数据都来源于哪些,应该怎么利用,之后有针对性的,进行数据的统一标准、规范、清洗、转换等操作,从数据源头保障数据质量,使分析所用数据是一致性、完整性、准确性的。

3 强调顺势而为

顺势而为已经成为笔者文章中老生常谈的一个关键点,本文仍要重点强调这点,大数据热潮的确炒的很火,但盲目追新并不可取,构建不得力,荒废或调整的成本远超于建设成本,在企业信息化能力或业务需求没有达到标准的基础上,按部就班保守建设不会错。因为真正做到大数据分析阶段的企业,信息化基础设施都是较为完备的,一方面具备全面的信息化系统,另一方面实现数据治理、门户集成、数据集成、应用集成、流程集成等操作,消除企业系统内外部、尤其内部的信息系统孤岛,只有这样才能有效支撑起数据分析的最终效果。

4 合理选择方案

若想基于数据分析结果为企业带来价值,就要注重差异化,贴近自身业务,从业务角度去考虑规划,如:业务梳理、逻辑关系、分析配置、效果展现等,根据不同的业务场景去选择合适的解决方案。对于一般大中型企业来说,关注点基本会围绕成本、收入、利润、风险这四点问题,而这些问题的数据通常存在于企业系统内部,不会涉及过多外部系统,可以先从这个问题入手,从数据治理、数据门户、数据分析平台、全面大数据平台一步一步构建。

5 综合考量选型

对于此类项目要从产品、供应商、实施团队多方面进行产品选型,选择具备扩展开发能力、业务集成能力、敏捷应用能力的产品,不要被炫酷的界面、分析的效果所干扰,真正去考量产品中对分析模型的构建是否敏捷、抽象能力如何、数据挖掘程度、算法是否合理等。拥有自主知识产权,能够提供底层源代码级的服务,解决系统级问题能力、快速响应问题的源厂商;具备丰富的行业知识及数据治理分析项目实施经验,提供成体系的实施方法论,并在过程中传递最佳实践,拥有良好的项目风险预测和风险管控能力的实施团队。

6 强化培训学习

为何要将培训学习单列出来阐述,因为在过往项目中会出现由于客户对产品理解或使用不到位而出现认为系统平台有问题的情况,所以对于行业类面向最终用户群体占比大的项目,数通畅联在实施过程中会针对企业各层级员工进行平台学习及应用,包括管理者对平台的使用、理解和建议,便于后续平台更好的升级,更贴近业务;信息化团队对平台应用、配置的掌握,便于后续独立进行平台维护、扩展或改造,实现自主可控。

在大数据、移动互联、人工智能的技术背景下,数字化、智能化建设会越来越成为大势,未来企业如何快速响应业务需求、支撑业务创新,结果必然会在数字化、智能化方面展开竞争。数据治理分析之路如文中方案一样,是存在多样性的,企业可以根据自身情况和业务需求去构建,但只重结果不管过程的构建是无用功,发现问题不去调整的治理是瞎忙活,一旦要做,就要真正实现数据治理分析与经营管理过程的联动,通过数据发现问题、调整问题、预测问题,分阶段进行,逐步加码构建、持续提升。事实上,企业整体IT架构、数据治理分析建设之路只有进行时,没有完成时,未来也一定会源源不断有新的技术或理念出现,当下能做的就是根据形势、稳扎稳打、逐步构建,让信息化建设程螺旋式上升,持续支撑业务良好运转、推进业务不断升级与创新。