第一章 实践背景
随着信息化时代的高速发展,数字化理念逐渐深入人心,各行各业都在做数字化转型。证券行业也不例外,各种线下的客户服务被线上化,很多依赖人工的工作场景被流程再造,并最终以数字化应用的形式体现出来,这样不仅带来用户体验的改善,也带来整个证券行业工作效率的提升。
越来越多的数字化应用带来了数据量的激增,如何利用好这些数据、让数据驱动业务增长、实现数据的业务价值是券商数字化转型能否成功的关键,而数据治理作为充分发挥数据价值的前提,其重要性也日益凸显。
为了引导行业加强数据治理工作,提高行业数据质量和数据应用能力,中国证券业协会发布《证券公司全面风险管理规范》,明确指出证券公司应当建立健全数据治理和质量控制机制;中国证券监督管理委员会发布《证券基金经营机构信息技术管理办法》,要求证券基金经营机构应当结合公司发展战略,建立全面、科学、有效的数据治理组织结构以及数据安全生命周期管理机制。
传统数据治理模式是基于数据仓库来实施,数据仓库是面向主题且相对稳定的数据集合、有完整的数据模型设计,但偏重设计和技术本身、在执行过程中很难保证数据全面。在这种模式下,数据治理难以覆盖全面,治理成本也居高不下,最终导致工作难以持续,进而其失去价值、无法支持数字化转型。
数据中台是目前较为流行的一种数据需求分配、开发和服务模式,它是指通过数据技术,对海量数据进行采集、计算、存储、加工,同时统一标准并形成大数据资产,进而为业务提供高效服务,这些服务与业务有较强的关联性,是公司独有且能复用的,它是公司业务和数据的沉淀,不仅能降低重复建设、减少烟囱式协作的成本,也是差异化竞争的优势所在;数据中台的目标是为了融合企业的全部数据,打通数据之间的隔阂,消除数据标准和口径不一致的问题,从而为公司数字化经营战略提供有力支撑。
因此,结合数据中台来开展数据治理,或将成为一种高效而可靠的治理模式,可以很好的支持数字化转型,具有一定的实践价值。
第二章 实践步骤
数据的价值来源于对数据的应用及其产生的效益,首先需要全面登记这些应用并量化评估出其数据应用效益。如果数据应用比较分散化,将难以全面登记数据应用,但是搭建数据中台将避免上下游应用直接交互数据,较容易搜集到数据应用的全面信息。
将数据应用全部基于数据中台,然后收集数据被下游应用的情况,例如用于生成报表指标、管控前台业务、指导客户营销等,记录应用类型、重要性、使用频次、数据量等信息,再基于实际应用有的放矢、以点带面的逐步开展数据治理。
以下是详细的实践步骤:
一、整体梳理公司数据资产
数据资产是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源。由于公司数据规模大、来源多、格式繁杂并且应用范围广,需要对数据做集中统一的梳理,明确数据资产分类,建立数据资产目录、掌握分布情况,评估数据资产现状、建立管理机制,并将客户、产品、资产、资讯等公共数据统筹管理,解决数据资产难以高效应用的问题。
从整体上梳理公司所有数据,对其进行详细的分类分级,同时也对数据打上带有业务属性的标签,以便搜索查询;以《证券期货业数据分类分级指引》为依据并结合公司自身业务特点,对产生、采集、加工、使用、管理的数据进行分类,全面清晰地厘清数据资产,对数据资产实现规范化管理,有利于数据的维护和扩充;支持管理数据从产生到整合、加工、使用的端到端价值实现过程,包括各个环节的数据定义、格式、值域范围、业务规则、加工逻辑等,全面掌握数据“来自于哪里”和“走向了哪里”。
数据资产梳理范围包括业务产生数据和管理过程产生数据,具体包括大数据平台、数据集市、应用数据库、ETL工具、BI工具、调度工具涉及的数据模型、API、指标、标签、报表等技术和业务元数据信息。
二、基于数据资产实现数据中台
根据数据资产梳理结果,并以大数据平台的“数据采集+海量存储+计算引擎”为基础搭建公司数据湖,再基于数据湖并结合“数据资产管理服务”和“智能数据研发服务”两大支撑服务群实现中台数据的资产化管理和智能化开发,达到快速应对各类数据需求的目标,也实现一整套基于宽表结构、分主题的基础数据,然后实现对外提供数据服务的统一接口,并最终形成汇聚公司数据及其服务的中台,为实现数据赋能的数据应用和产品提供全方位的基础数据以及各类服务支持。
图示2-1 数据中台架构
数据中台分为四层并使用多种数据及大数据技术,其中:①数据集成层把不同来源、格式、特点性质的数据在逻辑上或物理上有机的集中,从而为企业提供全面的数据共享;②数据计算层对数据进行加工,包括对各种原始数据的分析、清洗、整理、计算等的加工处理;③数据存储层保存公司各类数据,包括结构化、半结构化和非结构化数据以及图数据;④数据服务层提供与数据相关的服务,如清洗整合加工、数据质量管理、数据分析挖掘等,再统一将数据提供给不同的数据需求方,而需求方无需关注这些数据来自于哪些数据源。
图示2-2 数据中台层次结构
三、搭建公司数据管控平台
接下来搭建公司级的数据管控平台,实现统一的元数据管理、数据标准管理、数据质量管理、主数据管理、数据资产管理等功能。
图示2-3 数据管控平台架构
数据管控平台利用数据中台的多种数据及大数据技术,提升平台处理效率,同时结合管理制度和业务需求,进行通用性、扩展性方面的功能优化,便于平台在公司范围内的推广应用。
数据管控平台的具体功能如下:
四、结合数据中台实施数据治理
首先对公司数据现状进行摸底调查,然后从组织、制度、流程、技术四个方面逐步建立数据治理体系,建立数据质量管控机制,逐步提升数据使用价值;再基于数据治理方法论,依据国际、国内数据管理能力成熟度模型,通过访谈、调查问卷等方式,从组织架构、政策制度、管理流程、信息系统等方面对我司数据治理现状进行全面评估,并将评估结果与同业领先实践进行差距分析,提出改进方向、措施、步骤以及总体计划;再以现状评估为基础,结合其他同业的实践经验以及数据治理战略规划的方法论,充分评估各治理领域所需的工作任务间的关联关系,并结合业务规划、IT 规划,制定数据治理战略,明确数据治理的定位、范围,明确短期的工作计划、重点改进方向、改进措施和步骤以及长期规划的目标和原则;最后借助于数据管控平台,从元数据、数据标准、数据质量、主数据、数据资产、数据安全、数据需求、数据架构等多个方面全面开展数据治理的日常工作,不断梳理出公司有价值数据并提高数据质量和数据应用能力。
数据中台是“一把手”工程,需要由上至下进行,比如涉及标准统一、应用汇聚等。数据中台是一个集数据采集、融合、治理、组织管理、智能分析为一体,将数据以服务方式提供给前台应用,以提升业务运行效率、持续促进业务创新为目标的整体平台。
数据治理工作也是一项企业级的工作,需要各部门、机构一起协作完成,由公司高层领导统一指导和决策数据治理工作。数据治理需要组建决策层、管理层、执行层的组织架构体系,才能保证数据治理工作持久有序的开展。数据治理是一项长期而复杂的工作,需要一套完整的、科学的、严谨的流程来保证,以使数据治理的组织架构可以高效地运作起来,最终取得良好的数据治理效果。
结合数据中台开展数据治理是高度统一、战略统一的,不仅有利于资源整合、减少重复工作,也有利于互相促进、互相支撑。
第三章 试点项目
数据治理成功的关键是能够对数据应用产生积极影响,包括提升应用数据质量、提高问题处理效率、节约各类开发成本等,而针对基于数据中台的数据治理模式,试点一些应用并产生以下效果:
一、人行反洗钱
基于数据中台提供的基础数据生成人行反洗钱所需的各类数据,不仅减少从头探源分析数据的时间,而且借助血缘关系分析等技术手段加强对基础数据质量的管控,实现快速解决数据质量问题。
具体达成了以下效果:
(1)提升效率:缩短项目周期,提升实施效率,系统和基础数据共享,释放应用端资源。
(2)分层管理:实现近源层数据通用质量检查,实现快速定位问题,分层解决问题。
二、智慧经分
公司经营分析需要全面、可靠的基础数据,包括业务、财务、企划、风控等各方面数据。数据中台以宽表形式提供了经营分析所需的基础数据,再以此加工经营分析所需的各类维表和事实表,最终以经营分析驾驶舱和各类经分报表的形式展现出来。
结合数据中台的数据治理模式,从平台支持、质量保障两个方面支持智慧财务项目的快速实施,完成交付要求。
具体达成了以下效果:
(1)提升效率:建设周期缩短30%,系统和基础数据共享。
(2)降低成本:减少基础采购,多应用共享平台系统与硬件。
(3)保障质量:建立质量检查规则库,系统化检查数据项,质量问题清单和报告。
第四章 模式优点
基于数据中台的数据治理模式是一种全新的尝试,它充分体现了数据治理“源于需求,用于需求”的理念,数据中台高效、敏捷的做法对数据治理的效果产生了催化剂的作用,不仅让数据治理更加有效、高效,也让其结果更加可靠、实用。
该模式与传统数据治理模式相比的具有以下优点:
一、易于明确分工以及多团队合作
由于数据中台和数据治理都是由公司数据管理部门统筹,统一梳理数据资产、研判数据需求归属以及推广数据中台和数据治理成果,实施数据中台和数据治理也由同一IT团队统一负责,这样既有利于带着数据治理的要求搭建数据中台并实现中台的各类数据需求,也可以通过高质量的中台数据减少数据治理遇到的困难和阻碍,提高数据治理工作的整体效率。
虽然从数据中台也会延伸出各类数据集市,但是由于中台的枢纽作用,中台与各数据集市之间的关系清晰,容易与上、下游团队配合开展工作,以数据中台为核心向前管控上游应用数据质量、向后为下游应用提供数据保障,这样可以充分发挥数据中台在数据治理中的关键作用,达到事半功倍的效果,减少数据治理工作的投入成本。
二、易于制定数据标准并实现共享
基于数据中台制定数据标准,由于需求明确,比较容易根据实际需求对数据标准进行梳理,完善标准所包含的业务属性、技术属性及管理属性,特别是标注出数据实际使用方的计算口径、时效要求等信息,同时纳入公司数据分类分级以及数据资产地图,将有利于数据标准在公司范围内的发布和应用。
将数据中台的服务与数据管控平台相结合,用于数据标准的发布和共享,为公司各部门指标的应用提供较大的便利,实现数据标准的规范、统一和共享;数据中台也将加工出来的数据通过数据管控平台进行集中统一的管理,便于快速识别相似数据之间的差异,从而进一步统一口径、规范使用,避免因口径理解不一致导致处理错误。
将数据中台已经完成的加工逻辑进行登记和自动识别,能够指导后续开发人员根据指标标准信息快速完成数据的查询或提取,省略指标探源的步骤,为项目建设或数据应用节省时间。
三、易于主动监控和保障数据质量
基于数据中台统一监控和保障数据质量,将有效解决券商使用厂商系统多的数据质量管理难题,从这些薄弱环节入手,通过质量检查规则的建立、执行等措施逐步加强数据质量的全面管理,从而保障数据的真实性、完整性、有效性、一致性、准确性等。
从数据采集到数据报送的各个流程环节进行数据质量评估,并根据评估情况,补充完善数据质量检查点,从而建立事前、事中、事后的全面管控。
(1)事前:获取中台、上下游应用间的数据关联关系,设置相应的勾稽关系和检查规则,建立报送及问题处理标准流程等。
(2)事中:在数据中台生成数据的各个环节,进行勾稽关系的检查,包括基础数据、指标数据、表内勾稽、表间勾稽等,并根据告警结果,及时处理异常、修正数据,确保数据的及时、准确提交。
(3)事后:根据下游应用反馈情况,定期监测、调整和补充检查规则,确保数据质量问题的闭环解决,同时同步建立数据质量规则库及质量问题案例库,为数据质量管理不断累积经验。
四、易于利用新技术加强治理效果
传统数据治理大量通过人工来梳理数据,例如人工识别表和字段做分类分级,但是随着公司的数据标签越来越多、数据量越来越大,需要利用数据中台引入各类先进的数据及大数据技术提高数据治理效率、加强数据治理效果,例如:①将数据搜索服务用于元数据、数据标签、数据标准的快速搜索;②将知识图谱用于关联影响分析和血缘关系分析、避免层级过多分析效率的大幅下降;③将机器学习算法用于日常自动处理公司新数据的分类分级。
通过利用数据中台的各类数据及大数据技术,不仅可以提高数据治理效率,而且可以节约人力和时间投入,从而降低数据治理成本,因此结合数据中台的数据治理模式也是一种高性价比的选择。
第五章 行业价值
结合数据中台开展数据治理,集中资源、目标一致的开展数据治理工作,可以加快数据治理进程、加强数据治理效果,同时通过数据治理优化数据中台的数据及其服务、提升数据中台价值,逐步形成企业级的标准化数据,统一提供完整、准确、一致的基础数据。
借助于数据中台的各类数据及大数据技术,完成对公司业务系统、数据平台、应用系统的快速、高效对接,并通过灵活、可视化的数据质量检查规则配置,实现对基础数据、应用数据等的质量检查、预警、分析、报告,从而支持公司数据质量管理的全面开展。
通过尝试基于数据中台实施公司数据治理,不仅有利于建立一套科学、合理、有效的管理体系,保障数据报送的质量,而且有效落实监管、公司内部对数据治理的要求,并为同行数据治理工作的开展起到积极的示范作用;同时,也希望通过自身的数据治理体系建设与数据中台建设结合的实践尝试,为行业内提供可广泛借鉴的点滴经验,也为行业数据治理的不断实践前行贡献微薄之力。
随着证券行业在数据治理或数据管理方面的重视和加大投入,目前数据欠佳、数据管理能力需进一步提升、数据价值挖掘程度较低的现状一定会大大改善,并不断向“科技赋能,科学管理”的方向高速发展。