1.引言

数据治理(Data Governance,DG)的定义是在管理数据资产的过程中行使权力和控制,包括计划、监控和实施。在所有组织中,无论是否有正式的数据治理职能,都需要对数据进行决策。建立了正式的数据治理规程及有意向性地行使权力和管控的组织,能够更好地增加从数据资产中获得的收益。

数据治理组织职能是指导所有其他数据管理领域的活动。数据治理的目的是确保根据数据管理制度和最佳实践正确地管理数据。而数据管理的整体驱动力是确保组织可以从其数据中获得价值,数据治理项目的范围和焦点依赖于组织需求,但多数项目都包含如下内容:

1)战略(Strategy)。定义、交流和驱动数据战略和数据治理治理的执行。

2)制度(Policy)。设置与数据、元数据管理、访问、使用、安全和质量有关的制度。

3)准备和质量(Standart and Quality)。设置和强化数据质量、数据架构标准。

4)监管(Oversight)。在质量、制度和数据管理的关键领域提供观察、审计和纠正等措施(通常称为管理职能Stewardship)

5)合规(Compliance)。确保组织可以达到数据相关的监管合规要求。

6)问题管理(Issue Management)。识别、定义、升级和处理问题,针对如下领域:

数据安全、数据访问、数据质量、合规、数据所有权、制度、标准、术语或者数据治理程序等。

1)数据管理项目(Data Management Projects)。增强提升数据管理实践的努力。

2)数据资产评估(Data Asset Valuation)。设置标准和流程,以一致的方式定义数据资产的业务价值。

为了实现这些目标,数据治理时将制定制度和实施细则,在组织内多个层次上实践数据管理,并参与组织变革管理工作,积极向组织传达改进数据治理的好处以及成功地将数据作为资产管理所必需的行为。

对于多数企业,采用正式的数据治理需要进行组织变革管理,以及得到来自最高层管理者(C级别)的支持,如CRO、CFO或者CDO。

生产和分享数据、信息的能力改变了个人及经济的互动。在充满活力的市场环境中,随着将数据作为差异化竞争优势的意识提升,促使组织调整数据管理职责。上述改变已经很明显地出现在金融、电子商务、政府和零售领域。各个组织都在努力成为数据驱动型组织,主动将数据需求作为战略发展、项目规划和技术实施的一部分。然而,这样做通常会带来企业文化上的挑战。此外,鉴于企业文化可以影响任何战略目标,进行数据治理时需要努力将文化变革部分纳入考虑,以期获得有力的领导支持。

要从作为企业资产的数据中受益,组织必须学会衡量数据和数据管理活动的价值。即使拥有最佳的数据战略,数据治理和数据管理计划也可能不会成功,除非企业愿意接受并进行管理变革。对很多企业而言,文化变革是一项主要的挑战。变革管理的基础信条是,组织变革需要个人的改变。当数据治理和数据管理要求显著的行为变化时,为了成功,一定需要正式的变革管理。数据治理管理职责语境关系图如图1所示:

1.1业务驱动因素

数据治理最常见的驱动因素是法规遵从性,特别是重点监控行业。例如,金融服务和医疗健康,需要引入法律所要求的治理程序。高级分析师、数据科学家和迅猛发展也成为新增的驱动力。

尽管监管或者分析师可以驱动数据治理,但是很多组织的数据治理是通过其他业务信息化管理需求所驱动的,如主数据(MDM)管理等。一个典型场景:一家公司需要更优质的客户数据,它选择开发客户主数据平台,然后接下来意识到成功的主数据管理是需要数据治理的。

数据治理并不是到此为止,而是需要直接与企业战略保持一致。数据治理越显著地帮助解决组织问题,人们越可能改变行为、接受数据治理实践。数据治理的驱动因素大多聚焦于减少风险或者改进流程。

(1)减少风险

1)一般性风险管理。洞察风险数据对财务或者商誉造成的影响,包括对法律(电子举证 E-Discovery)和监管问题的响应。

2)数据安全。通过控制活动保护数据资产,包括可获得性、可用性、完整性、连续性、可审计和数据安全。

3)隐私。通过制度和合规性监控,控制私人信息、机密信息、个人身份信息(PII)等。

(2)改进流程

1)法规遵从性。有效赫尔持续地响应监管要求的能力。

2)数据质量提升。通过真实可信的数据提升业务绩效的能力。

3)元数据管理。建立业务术语表,用于定义和定位组织中的数据;确保组织中数量繁多的元数据被管理和应用。

4)项目开发效率。在系统生命周期(SDLC)中改进,以解决整个组织的数据管理问题,包括利用数据全周期治理来管理特定数据的技术债。

5)供应商管理。控制数据处理的合同,包括云存储、外部数据采购、数据产品销售和外包数据运维。

在整个组织内澄清数据治理的业务驱动因素是基础性工作,将它与企业整体业务战略保持一致。经常聚焦“数据治理”往往会疏远那些认为治理产生额外开销却没有明显好处的领导层。对组织文化保持敏感性也是必要的,需要使用正确的语言、运营模式和项目角色。

人们有时表示难以理解数据治理是什么,治理本身是一个通用概念。与其发明新概念,数据治理专家可以将其他治理概念和原则应用于数据治理。通常将审计、会计与数据治理放在一起比较,审计员和财务主管设置管理财务资产规则,数据治理专家制定管理数据资产的规则,然后其他领域执行这些规则。

数据治理不是一次性的行为。治理数据是一个持续性的项目集,以保证组织一直聚焦于能够从数据获得价值和降低有关数据的风险。可以由一个虚拟组织或者有特定职责的实体组织承担数据治理的责任。只有理解了数据治理的规则和活动才能达到高效执行,为此要建立可运转良好的框架。数据治理程序中应该考虑到组织和文化的独特性问题,以及数据管理在组织内面对的具体挑战和机遇。

数据治理要与IT治理区分开。IT治理制定关于IT投资、IT应用组合和IT项目组合的决策,从另一个角度还包括硬件、软件和总体技术架构。IT治理的作用是确保IT战略、投资与企业目标战略一致性。COBIT框架提供IT治理标准,但是其中仅有很少一部分涉及数据和信息管理。其他一些重要法规,如萨班斯法案则覆盖企业治理、IT治理和数据治理多个领域。相反,数据治理仅聚焦于管理数据资产和作为资产的数据。

1.2目标和原则

数据治理的目标是使组织能够将数据作为资产进行管理。数据治理提供治理原则、制度、流程、整体框架、管理指标,监督数据资产管理,并指导数据管理过程中各层级的活动。为达到整体目标,数据治理程序必须包括以下几个方面。

(1)可持续发展(Sustainable)

治理程序必须富有吸引力。它不是以一个项目作为终点,而是一个持续的过程。需要把它作为整个组织的责任。数据治理必须改变数据的应用和管理模式,但也不代表组织要作巨大的更新和颠覆。数据治理是超越一次性数据治理组件实施可持续发展路径的管理变革。可持续的数据治理依靠于业务领导、发起者和所有者的支持。

(2)嵌入式(Embedded)

数据治理不是一个附加管理流程。数据治理活动需要融合软件开发方法、数据分析应用、主数据管理和风险管理。

(3)可度量

数据治理做得好有积极的财务影响,但要证明这一影响,就需要了解起始过程并计划可度量的改进方案。

实施数据治理规划需要有变革的承诺。早在2000年,下列可以帮助建立强大的数据治理基础的原则就被定义出来。

1) 领导力和战略(Leadership and Strategy)

成功的数据治理始于远见卓识和坚定的领导。数据战略指导数据管理活动,同时由企业战略所驱动。

2) 业务驱动(Business-driven)

数据治理是一项业务管理计划,因此必须管理与数据相关的IT决策,就像管理与数据有关的业务活动一样。

3) 共担责任(Shared Responsible)

在所有数据管理的知识领域中,业务数据管理专员和数据管理专业人员共担责任。

4) 多层面(Multi-layered)

数据治理活动发生在企业层面和各地基层,但通常发生在中间各层面。

5) 基于框架(Framework-based)

由于治理活动需进行跨组织职能的协调,因此对数据治理项目必须建立一个运营框架来定义各自的职责和工作内容。

6) 原则导向性(Principe-based)

指导原则是数据治理活动、特别是数据治理策略的基础。通常情况下,组织制定制度时没有正式的原则,他们只是在试图解决特定的问题。有时原则可以从具体策略通过逆向工程反推得到。然而最好把核心原则的阐述和最佳实践作为策略的一部分工作。参考这些原则可以减少潜在阻力。随着时间的推移,在组织中会出现更多的指导原则与相关的数据治理组件共同对内发布。

1.3基本概念

正如财务审计人员实际上并不是执行财务管理一样,数据治理确保数据被恰当地管理而不是直接管理数据。数据治理相当于将监督和执行的职责分离。数据治理和数据管理的关系如图2所示。

1.3.1以数据为中心的组织

以数据为中心的组织将数据作为资产评估,在生命周期所有阶段进行管理,包括项目开发和持续运营阶段。为达到以数据为中心,组织必须改变将战略转化为行动的方式。数据不再是作为流程和业务产品的附属。业务处理的目标就是为了得到更高质量的数据。有效数据管理成为企业致力于通过分析获得洞察、制定决策时的优先级事项。

人们常常混淆数据和信息技术。企业为达到以数据为中心需要进行不同以往的思考方式,要理解管理数据不同于管理IT。转型并非易事,现有文化及内部制度、关于拥有权的争议、预算、历史遗留系统,都将成为建立企业级数据治理和数据管理的最大障碍。

虽然每个组织都需要有自己的原则,但是那些寻求从其数据中获得更多价值的组织可能会分享以下内容:

1)数据应该作为企业资产管理起来。

2)应该在整个组织内鼓励数据管理的最佳实践。

3)企业数据战略必须与业务战略一致。

4)应不断改进数据管理流程。

1.3.2数据治理组织

治理项目的核心词是治理。数据治理可以从政治治理的角度来理解。它包括立法职能(定义策略、标准和企业架构)、司法职能(问题管理和升级)和执行职能(保护和服务、管理责任)。为更好地管理风险,多数组织采用典型的数据治理形式,以便能够听取所有利益相关方的意见。

每个组织都应该采取一个支持其业务战略。并可能在其自身文化背景下取得成功的治理模型。组织也应该准备好发展这种模式以迎接新的挑战。模型在组织结构、形式级别和决策方法方面有所不同。有些模型是集中组织的,而另一些则是分布式的。

下图3展示了一个通用的数据治理组织模型。在组织内部(垂直轴)的不同级别上进行活动,并在组织功能以及技术(IT)和业务领域之间分离治理职责。注意,这不是组织结构图。改图说明了各个领域如何根据上述趋势共同开展数据治理,以消除对术语“组织”的强调。表1描述了可能在数据治理操作框架内建立的典型数据治理委员会。

1.3.3数据治理运营模型类型

在集中式管理模式中,数据治理组织监督所有业务领域中的活动。在分布式管理模型中,每个业务单元中采用相同的数据治理运营模型和标准。在联邦式管理模式中,数据治理组织与多个业务单元协同,以维护一致的定义和标准。企业数据治理运营模型如图4所示

1.3.4数据管理职责

数据管理职责(Data Stewardship)描述了数据管理岗位的职责,以确保数据资产得到有效控制和使用。可以通过职位名称和职位描述正式确定管理职责,也可以采用非正式的形式,由帮助组织获取数据价值的人驱动。通常情况下,像保管人、受托人这样的称呼,就是类似的管理岗位的同义词。

管理职责的焦点因组织不同而不同,取决于组织战略、文化、试图解决的问题、数据管理成熟度水平以及管理项目的形式等因素。然而在大多数情况下,数据管理活动将集中于以下部分(未必全部):

1)创建和管理核心元数据。它包括业务术语、有效数据值及其他关键元数据的定义和管理。通常管理专员负责整理的业务术语表,成为与数据相关的业务术语记录系统。

2)记录规则和标准。它包括业务规则、数据标准及数据质量规则的定义和记录。通常基于创建和使用数据的业务流程规范,来满足对高质量数据的期望。为确保在组织内达成共识,由数据管理专员帮助制定规则并确保其得到连贯的应用。

3)管理数据质量问题。数据管理专员通常参与识别、解决与数据相关的问题,或者促进解决的过程。

4)执行数据治理运营活动。数据管理专员有责任确保数据治理制度和计划在日常工作或每一个项目中被遵循执行,并对决策发挥影响力,并支持组织总体目标的方式管理数据。

1.3.5数据管理岗的类型

管理专员(Stewards,直译为管家,本书译为管理专员)指其职责是为别人管理财产的人。数据管理专员代表他人的利益并为组织的最佳利益来管理数据资产。数据管理专员代表相关方的利益,必须从企业的角度来确保企业数据的高质量和有效使用。有效的数据管理专员对数据治理活动负责,并有部分时间专门从事这些活动。

根据组织的复杂性和数据治理规划的目标,各个组织中正式任命的这些数据管理专员在其工作职位上会有一些区别,例如:

1)首席数据管理专员(Chief Data Stewards)。CDO的替代角色,担任数据治理机构的主席,也可以是虚拟的(基于委员会)或者在分布式数据治理组织中担任CDO。他们甚至也可能是高层发起者。

2)高级数据管理专员(Execute Data Stewards)。他们是数据治理委员会(DGC)的资深管理者。

3)企业数据管理专员(Enterprise Data Stewards)。他们负责监督跨越业务领域的数据职能。

4)业务数据管理专员(Business Data Stewards)。他们是业务领域专业人士,通常是公认的领域专家,对一个数据域负责。他们和利益相关方共同定义和控制数据。

5)数据所有者(Data Owner)。他们是某个业务数据管理专员,对其领域内的数据具有决策权。

6)技术数据管理专员(Technical Data Stewards)。他们是某个知识领域内工作的IT专业人员,如数据集成专家、数据库管理员、商务智能专家、数据质量分析师或元数据管理专员。

7)调解数据管理专员(Coordinating Data Stewards)。这在大型组织中尤为重要,其领导并代表业务数据管理专员和技术数据管理专员进行跨团队或者数据专员之间的讨论。

1.3.6数据制度

数据制度包括对数据治理管理初衷的简要说明和相关基本原则,这些规则贯穿数据和信息的创造、获取、集成、安全、质量和使用的全过程。

数据制度是全局性的,它们支持数据标准以及与数据管理和使用等关键方面的预期行为,不同组织的数据制度差异很大。数据制度描述了数据治理的“什么”(做什么和不做什么),而标准和规程描述了数据治理的“如何”。数据制度应该相对较少,并且尽量采用简单直接的表述。

1.3.7数据资产评估

数据资产评估(Data Asset Valuation)是一个理解和计算数据对组织的经济价值的过程。因为数据、信息甚至商务智能都是抽象概念,人们很难将它们与经济影响联系起来。理解不可替换项(如数据)价值的关键是;理解如何使用它以及它的使用带来的价值。与诸多其他资产(如货币、物理设备)不同,数据具有不可互换性(替换性)。某组织客户数据的重要性不同于另一个组织的客户数据;不仅是客户本身,而且包括与之相关的数据(如采购历史、首选项等)。一个组织如何从客户数据中获取价值(即从这些数据了解到的客户信息以及如何应用所学信息),可以成为组织的竞争优势。

数据生命周期的大多数阶段涉及成本(包括获取数据、存储、管理和处置)。数据只有在使用时才有价值,使用时数据还产生了与风险管理相关的成本。因此,当使用数据的经济效益超过了上述成本时,就会显现其价值。

其他度量价值的方式包括:

1)替换成本(Replacement Cost)。在灾难性数据破坏事件或者数据中断时,数据替换或恢复的成本,包括组织内的交易、域、目录、文档和指标信息等。

2)市场价值(Market Value)。兼并或收购时作为企业资产的价值。

3)发现商机(Identified Opportunities)。通过交易数据或者通过售卖数据,从数据(商务智能)中发现商机获得的收入价值。

4)售卖数据(Selling Data)一些组织为产品或销售将数据打包从数据中获得的洞察。

5)风险成本(Rist Cost)它是基于潜在罚款、补救成本和诉讼费用的估价。来自法律或者监管的风险包括:

a)缺少必需的数据。

b)存在不应该留存的数据(例如,法律审计期间发现的意外数据;需要清除但未清除的数据)

c)除以上成本外,包括数据不正确造成客户、公司财务和声誉受到的损害。

d)风险下降或者风险成本下降,其实是与与提升和验证数据等操作干预成本的抵消之后的溢出部分。

原则

说明

1.2 活动

1.2.1 规划组织的数据治理

数据治理工作必须支持业务战略和目标。一个组织的业务战略和目标影响着组织的数据战略,以及数据治理和数据管理在组织的运营方式。

数据治理与数据相关的决策责任可共享。数据治理活动包括跨越了组织和系统的边界,以支持整体数据地图。成功的数据治理应当清楚地了解需要治理什么、怎么治理以及谁来执行治理。

相对于孤立、特定的功能领域,当数据治理是一项企业层面工作时,效果最为显著。在企业数据治理的范围通常需要先定义企业的含义。反过来,数据治理控制了定义它的企业。

1.执行就绪评估

评估当前组织的信息管理能力、成熟度和有效性,对于制订数据治理的计划至关重要。通过它们,可以用来衡量一个项目的有效性。评估工作对于管理和维持数据治理规划也很有价值。

典型的评估包括:

1)数据管理成熟度。了解组织对数据的处理方式;衡量其当前的数据管理能力和容量。重点是业务人员对公司管理数据和利用数据的优势以及客观标准的印象。

2)变革能力。数据治理需要行为上的改变,因此测量组织为适应数据治理所需而改变行为的能力非常重要。此外,这些活动将有助于识别潜在的阻力点。通常进行数据治理需要正式的组织变革管理。在评估变革能力时,变革管理过程中将评估现有的组织结构、文化观念以及变革管理本身。

3)协作准备。改评估体现了组织在管理和使用数据方面的协作能力。工具定义,管理工作跨越不同职能领域,因此本质上是需要协作才能完成的。如果某个组织对于如何协作无从下手,那么这样的企业文化将成为管理的障碍。永远不要假设一个组织开始就知道如何协作,当结合变革能力进行评估时,改评估提供了洞察实施数据治理所需企业文化的能力。

4)与业务保持一致。通常业务一致性能力评估可以检查组织如何调整数据的使用来支持满足战略要求,有时这项评估会包含在变革能力评估中一起进行。通过这项评估常常会惊奇地发现临时安排的数据相关活动是如何进行的。

2.探索与业务保持一致

数据治理必须能够被找到并提供特定的价值来为组织作出贡献。例如,减少监管机构的罚款。通过评估活动将识别和评价现有制度、指导方针的有效性,如他们处理了哪些风险、鼓励了哪些行为以及实施情况,同时还能够识别数据治理机会,以提高数据及内容的实用性,并把业务调整的商业利益附加在数据治理要素中。

数据质量分析是评估的一部分工作。通过数据质量评估可以洞察现有问题和障碍以及低质量数据的影响,还可以识别使用低数据质量执行业务流程存在的风险,以及作为数据治理工作组成部分的数据质量项目带来的财务和其他收益。

数据管理实践的评估是数据治理评估过程的另一个方面。例如,评估过程中可能找到一些有能力的用户,为正在进行中的数据治理活动创建一个潜在代理的初始列表。

从发现和校准活动中派生出一个数据治理需求清单。例如,如果监管风险对业务产生财务问题,则需指定支持风险管理的数据治理活动。这些需求影响着数据治理的战略和战术。

3.制定组织触点

协调工作的一部分包括为数据治理工作制定组织接触点。首席数据官直接权力之外,支持企业数据治理和数据管理一致性和凝聚力的组织触点。

CDO:首席数据官

财务预算:预算和资金 采购合同

数据治理:策略、程序和标准 数据管理和愿景 制度规范

应用场景:SDLC和敏捷控制点检查 EAI数据资产优化 数据质量控制

(1)采购合同

首席数据官与供应商/合作伙伴的管理部门或者采购部门合作,制定和执行关于数据管理合同的标准文本。这包括数据服务(Daas)、云服务采购、其他外包、第三方开发工作者或者内容获取/许可协议以及可能的数据中心的IT工具采购和升级。

(2)预算和资金

如果首席数据官没有直接控制所有与数据采购相关的预算,那么数据管理办公室将成为为防止重复工作及保证优化获得数据资产的焦点。

(3)法规遵从性

首席数据官在不同地区、国家和国际监管环境中工作,要理解这些环境如何影响组织及其数据管理活动。需要开展持续性地监管活动,以识别、跟踪新出现和潜在的影响和要求。

(4)SDLC/开发框架

数据治理规划中确定了在系统或应用程序开发生命周期中制定组织策略、流程和标准的控制点。

首席数据官影响组织触点,支持企业在管理其数据时的凝聚力,也会增加企业使用数据的敏捷性。从本质上来讲,这是组织如何理解和看待数据治理的一个态度。

1.2.2 制定数据治理战略

数据治理战略定义了治理工作的范围和方法。应根据总体业务战略以及数据管理、IT战略全面定义和明确表达数据治理战略。如标准工件,以迭代的方式开发及获得认可。应根据每个组织制定具体内容,交付物包括:

1)章程。确定数据管理的业务驱动愿景、使命和原则,包括成熟的评估、内部流程分析及当前问题和成功标准。

2)运营框架和职责。定义数据治理活动的结构和责任。

3)实施路线图。制定时间计划,其涉及最终发布的制度、指令、业务术语、架构、资产价值评估、标准和程序以及期望业务和技术流程发生的改变、支持审计活动和法规遵从的交付成果。

4)为成功运营制订计划。为数据治理活动描述一个可持续发展的目标状态。

1.定义数据治理运营框架

开发数据治理的基本定义很容易,但是创建一个组织采用的运营框架可能很困难。在构建组织的运营框架时需要考虑以下几个方面:

1)数据对组织的价值。如果一个组织出售数据,显然数据治理具有巨大的业务影响力。将数据作为最有价值事物的组织(如Facebook、亚马逊)将需要一个反映数据角色的运营模式。对于数据是操作润滑剂的组织,数据治理形式就不那么严肃了。

2)业务模式。分散式与集中式、本地化与国际化等是影响业务发生方式以及如何定义数据治理运营模式的因素。与特定IT策略、数据架构和应用程序集成功能的链接,应反映在目标运营框架设计中。

3)文化因素。就像个人接受行为准则、适应变化的过程一样,一些组织也会抵制制度和原则的实施。开展治理战略需要提倡一种与组织文化相适应的运营模式,同时持续地进行改革。

4)监管影响。与受监管程度较低的组织相比,受监管程度较高的组织具有不同的数据治理心态和运营模式。还可能与风险管理或法律团队有联系。

数据治理层通常整体解决方案的一部分。这意味着确定管理活动职责范围、谁拥有数据等。运营模型中还定义了治理组织与负责数据管理项目人员间的协作、参与变革管理活动以引入新规程以及通过治理实现问题管理的解决方案。

2. 制定目标、原则和制度

依据数据治理战略制定的目标、原则和制度将引导组织进入期望的未来状态。

通常由数据管理专员人员、业务策略人员,在数据治理组织的支持下共同起草数据治理的目标、原则和制度,然后由数据管理专员和管理人员审查并完善,最终由数据治理委员会(或类似的组织)进行终审、修订和发布采用。

管理制度可能包含多个不同方面的内容,如:

1)由数据治理办公室(DGO)认证确认组织用到的数据。

2)由数据治理办公室(DGO)批准成为业务拥有者。

3)业务拥有者将在其业务领域委派数据管理专员,数据管理专员的日常职责是协调数据治理活动。

4)尽可能地提供标准化报告、仪表盘或计分卡,以满足大部分业务需求。

5)认证用户将被授予访问相关数据的权限,以便查询即席报表和使用非标准报告。

6)定期复评所有认证数据,以评价其准确性、完整性、一致性、可访问性、唯一性、合规性和效率等。

必须有效地沟通、监督、执行和定期复评数据管理制度。数据管理委员会可将此权利委托给数据管理指导委员会。

3. 推动数据管理项目

改进数据管理能力的举措可为整个企业带来好处。这些通常需要来自数据治理委员会的跨职能关注和支持。数据管理项目很难推动,它们经常被看作“完成工作”的障碍。推动数据治理项目关键是阐明数据管理提供效率和降低风险的方法。组织如果想从中获得更多价值,则需要有效优先发展或提升数据管理能力。

数据治理委员会负责定义数据管理项目的商业案例,监督项目状态和进度。如果组织中存在项目管理办公室,数据治理委员会要和数据管理办公室协同工作,数据管理项目可视为整个UT项目组合的一部分。

数据治理委员会还可以与企业范围内的大型项目集配合开展数据管理改进工作。主数据管理项目,如企业资源计划(ERP)、客户关系管理(CRM)和全球零件清单等都是很好的选择。

其他项目中的数据管理活动,一般由组织内部SDLC、服务交付管理、ITIL和PMO统筹考虑。对于每个含有重要数据组件的项目(计划所有项目都包含)在软件生命周期的前期(规划和设计阶段)就应该收集数据管理需求。这些内容包括系统架构、合规性、系统记录的识别和分析以及数据质量的检测与修复。此外,还可能有一些其他数据管理支持活动,包括使用标准测试台进行需求验证测试。

4. 参与变革管理

组织变革管理(Organizational Change Management,OCM)是组织管理体系和流程变革的管理工具。变革管理研究所(The Change Management Institute)认为,组织变革管理不仅仅是“项目中人的问题”,应该被视为整个组织层面管理改良的一种途径。组织经常面临管理项目上的变迁,而不是管理组织体系进化。成熟的组织在变革管理中建立清晰的组织愿景,从高层积极引导和监督变革,设计和管理较小的变革尝试,再根据整个组织反馈和协同情况调整变革计划方案

对很多组织来说,数据治理所固有的形式和规则不同于已有的管理实践。适应数据治理需要人们改变行为和互动方式。对于正式的管理变革项目,需要有适合的发起者,这对于推动维持数据治理所需的行为变化至关重要。组织需要组建一个团队来负责以下事项:

1)规划。规划变革管理,包括利益相关方分析、获得支持以及建立能够克服阻力的沟通方法。

2)培训。建立和执行数据治理项目培训。

3)影响系统开发。与项目管理办公室(PMO)合作,在软件开发生命周期(SDLC)中增加数据治理步骤。

4)制度实施。宣传数据制度和组织对数据管理活动的承诺。

5)沟通。提高数据管理专员和其他数据治理专业人员对自身角色和职责以及数据管理项目目标和预期的认知。

沟通对变革管理过程至关重要。为了正式的数据治理变革管理方案获得支持,应将沟通重点放在:

1)提升数据资产价值。教育和告知员工数据在实现组织目标中起的作用。

2)监控数据治理活动的反馈并采取行动。除共享信息外,通过沟通计划还应引导出相关方反馈,以指导数据治理方案和变更管理过程。经济寻求和利用相关方的意见可以建立对项目目标的承诺,同时也可以确定成功和改进的机会。

3)实施数据管理培训。对各级组织进行培训,以提升对数据管理最佳实践和管理流程的认知。

4)可以从一下5个关键领域衡量变革管理的程度

a)意识到需要改变

b)希望参与并支持改变

c)知道如何改变

d)具备实施新技能和行为的能力

e)保持持续变革

5)实施新的指标和关键绩效(KPI)。应重新调整员工激励措施,以支持与数据管理最佳实践相关的行为。由于企业数据治理需要跨职能合作,激励措施中应该鼓励跨部门合作和协作。

5. 参与问题管理

问题管理是识别、量化、划分优先级和解决与数据治理相关的问题的过程,包括:

1)授权。关于决策权和程序的问题。

2)变更管理升级。升级变更过程中出现问题的流程。

3)合规性。满足合规性要求的问题。

4)冲突。包括数据和信息冲突的策略、流程、业务规则、命名、定义、标准、架构、数据所有权以及冲突中利益相关方的关注点。

5)一致性。与策略、标准、架构和流程一致性相关的问题。

6)合同。协商和审查数据共享协议,购买和销售数据、云存储。

7)数据安全和身份识别。有关隐私和保密的问题,包括违规调查。

8)数据质量。检测和解决数据质量问题,包括灾难事件或者安全漏洞。

很多问题可以在数据管理团队中解决。需要沟通或者上报的问题必须被记录下来,并将其上报给数据管理团队或者更高级别的数据治理委员会,数据治理记分卡可用于识别与问题相关的趋势,如问题在组织内发生的位置、根本原因等。数据治理委员会无法解决的问题应升级上报公司治理或管理层。

开展数据治理需要在以下几个方面建立控制机制和流程:

1)识别、收集、记录和更新问题。

2)各项活动的评估和跟踪。

3)记录利益相关方的观点和可选解决方案。

4)确定、记录和传达问题解决方案。

5)促进客观、中立的讨论,听取各方观点。

6)将问题升级到更高权限级别。

数据问题管理非常重要。通过问题管理为数据治理团队建立了信任,减轻了生产支持团队的负担,这对数据消费者有直接、积极的影响。通过解决问题也证明了2数据管理和质量的提高。对于成功的问题管理需要有展示工作过程和消除影响的控制机制。

6. 评估法规遵从性要求

每个组织都受到政府和行业法规影响,其中包括规定如何管理数据和信息的法规。数据治理的部分功能是监督并确保合规。合规性通常是实施数据管理的初始原因。数据治理指导实施适当的控制措施,以记录和监控数据相关法规的遵从情况。

1.2.3 实施数据治理

数据治理不可能一夜之间实现治理过程包含了很多复杂性协调工作,需要对治理进行规划,不仅考虑到组织变化,而且改变得要简单。最佳的方法是创建一个实施路线图,说明不同活动间的关系和整体时间框架。例如。如果数据治理项目重点是提高合规性,则优先事项可能由特定法规要求驱动。在联合数据治理组织中,根据不同业务线的参与程度、成熟度以及资金来源,可以在不同时间表上执行不同业务线的数据治理。

有一些数据治理工作是基础性的,其他工作依赖于此。这些基础性工作分为初始阶段和持续阶段。最高优先级的前期工作包括:

1)定义满足高优先级目标的数据治理流程

2)建立业务术语表,记录术语和标准。

3)协调企业架构师和数据架构师,帮助他们更好地理解数据和系统。

4)为数据资产分配财务价值,以实现更好地决策,并提高对数据在组织成功中所起作用的理解。

1. 发起数据标准和规程

标准被定义为“用来判断其他事物质量的好东西”或“由权威建立和确定。作为衡量数量、重量、范围、价值或质量的规则”。因为标准提供了一种比较方法,所以其有助于质量的定义。标准还提供了简化流程的潜力。通过采用标准,组织只需做一次决定,并将其编程一组细则(标准),而不再需要为每个项目重新作出相同的决定。实施标准应促进使用标准的过程产生一致的结果。

不幸的是,建立或采用标准通常是一个政治化的过程,这样的过程很可能导致制定标准的目标丢失。大多数组织在开发或实施数据或数据标准方面没有很好的实践。在某些情况下,他们没有意识到这样做的价值,因此也没有花时间这样做。有的时候他们根本还不知道怎么做。因此,“标准”在组织内部和跨组织变化很大,对一致性的期望也是如此。数据治理标准应该具有强制性。

数据标准可以采用不同形式,具体取决于所描述的内容:关于如何填充字段的要求、控制字段之间关系的规则、可接受和不可接受值的详细文档、格式等。它们通常由数据管理专业人员起草。数据标准应由数据治理办公室或授权工作组(如数据标准指导委员会)审查、批准和采用。数据标准文档中的详细程度在某种程度上取决于组织文化。应记住,通过记录数据标准提供了一个捕获细节和知识的机会,否则可能会丢失这些细节和知识。与预先记录相比,重新创建或反向工程获取这些知识是非常昂贵的。

数据标准必须得到有效沟通、监控,并被定期审查和更新。最重要的是,必须有强制手段,对数据可以根据标准进行测量。数据管理活动可由数据治理委员会或数据标准指导委员会按规定的时间表或作为SDLC批准流程的一部分进行审核,以确保符合标准。

数据管理知识领域内的标准化概念示例如下:

1)数据架构。它包含企业级数据模型、工具标准和系统命名规范。

2)数据建模和设计。它包括数据模型管理程序、数据模型的命名规范、定义标准、标准域、标准缩写等。

3)数据存储和操作。它包括标准工具、数据库恢复和业务连续性标准、数据库性能、数据留存和外部数据采集。

4)数据安全。它包括数据访问安全标准、监控和审计程序、存储安全标准和培训需求。

5)数据集成。它是用于数据集成和数据互操作的标准方法、工具。

6)文件和内容。它包含内容管理标准及程序,包括企业分类法的使用,支持法律查询、文档和电子邮件保留期限、电子签名和报告分发方法。

7)参考数据和主数据。它包括参考数据管理控制流程、数据记录系统、建立标准及授权应用、实体解析标准。

8)数据仓库和商务智能。它包括工具标准、处理标准和流程、报告和可视化格式标准、大数据处理标准。

9)元数据。它指获取业务和技术元数据,包括元数据集成和使用流程。

10)数据质量。它包括数据质量规则、标准测量方法、数据补救标准和流程。

11)大数据和数据科学。它包含数据源识别、授权、获取、记录系统、共享和刷新。

2. 制定业务术语表

数据管理专员通常负责整理业务术语表的内容。由于人们说话用词习惯不同,所以建立业务术语表是必要的。由于数据代表的是自身之外的事务,因此数据明确定义尤为重要。此外许多组织使用个性化的内部词汇,术语表是在组织内部共享词汇的一种方法。开发、记录标准数据定义,可以减少歧义混乱,提升沟通效率。定义必须清晰、措辞严谨,并能解释任何可能的例外。同义词或者变体。术语的批准人包括来自核心用户的代表。通过数据架构通常可以从主题模型中提供草稿定义和类型突破。

业务术语表具有如下目标:

1)对核心业务概念和术语有共同的理解。

2)降低由于业务概念理解不一致而导致数据误使用的风险。

3)改进技术资产(包括技术命名规范)与业务组织之间的一致性。

4)最大限度地提高搜索能力,并能够获取记录在案的组织知识。

业务术语表不仅仅是术语和定义的列表,而且每个术语还同其他有价值的元数据关联,包括同义词、度量、血缘、业务规则,负责管理术语的人员等。

3. 协调架构团队协作

数据治理委员会仲裁并批准数据架构。例如。面向业务的企业数据模型。数据治理委员会可以任命或与企业数据架构指导委员会或架构审查委员会互动,以监督项目及其迭代项目。应由数据架构师和数据管理专员在业务领域团队中共同开发和维护企业数据模型。根据组织情况的不同,可以由企业数据架构师或数据管理专员协调这项工作。随着业务需求的发展,数据主管团队应提出更改建议,并开发扩展企业级数据模型。

企业级数据模型应经数据治理委员会评审、批准正式采用没有关键业务战略、流程、组织和系统保持一致性。在管理数据资产方面,数据战略和数据架构是在“做正确的事”与“正确地做事”之间协调的核心。

4. 发起数据资产评估

数据和信息是具有价值或者可以创造价值的企业资产。现今的财务实践中,考虑将数据和信息视为无形资产,如同软件、文档、专家知识、商业机密和其他知识产权一样。尽管如此,各组织都认为赋予数据以货币价值是一项有挑战性的事情。数据治理委员会应组织开展相关工作,并为此设置标准。

有些组织首先应该估计由于信息不足而造成业务损失的价值。信息缺口——所需信息和可用信息之间的差异——代表业务负责。弥补或防止差距的成本可用于估算数据丢失的业务价值。参考这个思路,组织可以开发模型来评估实际存在信息的价值。

可以将价值评估过程构建在数据治理战略路线图中,以便为质量问题的解决方案以及其他治理方案的业务案例提供依据。

1.2.4 嵌入数据治理

数据治理组织的一个目标是将治理活动嵌入到数据作为资产管理相关的一系列流程中。数据治理的持续运作需要规划。运营计划包含实施和运营数据治理活动所需的事件,其中包括维持成功所需的活动、时间和技术。

可持续性意味着采取行动,保证流程和资金到位,以确保可持续地执行数据治理组织框架。这一要求的核心是组织接受数据治理;实现管理职能,监控和测量其结果,并克服常导致治理不稳定或失败的障碍。

通常为了加深组织对数据治理的理解,可通过其他本地应用创建一个兴趣的数据治理社区来加强互动学习。这种做法在数据治理的最初几年特别有用,但随着数据治理运营的成熟,其效果可能会逐步减少。

1.3 工具和方法

数据治理从根本上讲是关于组织行为的。这不是一个可以通过技术解决的问题。但是,仍需要一些工具支持整个过程。例如,数据治理需要持续的沟通,可以利用现有的沟通渠道以一致的方式传达关键信息,使相关方了解到制度、标准和要求。

此外,数据治理流程必须有效管理自己的工作和数据。利用工具不仅仅对任务有帮助,而且对支持它们的指标也有帮助。在某些特定功能(如业务术语表解决方案)工作选择工具之前,组织应该通过定义总体治理目标和需求来选择适合的工具。例如,有些术语表解决方案中还包括用于策略、工作流程管理其他组件。如果需要这样的附加功能,那么在采用工具之前,应该对需求进行澄清和测试。否则,组织会拥有多个工具,却没有一个能够完全满足需求的。

1.3.1 线上应用/网站

数据治理也应该能够线上体现,可以通过中心门户或者协作门户提供核心文档。网站可以容纳文档库,提供搜索功能,帮助管理简单的工作流。通过LOGO和统一视觉展现,在一个网站上可以帮助建立相应的品牌。数据治理规划的网站应该包括如下内容:

1)数据治理战略和项目章程,包括愿景、效益、目标、原则和实施路线图。

2)数据制度和数据标准。

3)数据管理制度的角色和职责说明。

4)数据治理相关新闻公告。

5)指向相关数据治理社区论坛的链接。

6)指向相关数据治理主题执行进展的链接。

7)数据质量测试报告。

8)问题识别和上报的规程。

9)请求服务或获取问题的人口。

10)相关在线资源的描述和链接、演示文档和培训计划。

11)数据管理实施路线图。

1.3.2 业务术语表

业务术语表是数据治理的核心工具。IT部门要认可业务术语的定义,并将定义与数据进行关联。业务术语表的工具有很多,有些是大型ERP系统、数据集成工具或者元数据管理工具的一部分以及一些独立工具。

1.3.3 工作流工具

更大的组织会考虑使用强大的工作流工具来管理流程,如实施新的数据治理策略。通过这些工具将流程链接到文档,这在策略管理和问题解决中非常有用。

1.3.4 文档管理工具

治理团队经常使用文档管理工具协助管理策略和流程。

1.3.5数据治理记分卡

它是跟踪数据治理活动和制度遵从性的指标集和,通过制动记分卡的形式向数据治理委员会和数据治理指导委员会报告。

1.4 实施指南

一旦定义了数据治理的规程、制订了运营计划,加上数据成熟度评估过程中收集数据制定的实施路线图,组织即可启动实施数据治理。数据治理要么起始于一些重大项目(如MDM主数据管理),要么通过区域或者部门试点。大多数推广策略都是渐进的,很少有直接在整个组织范围内部署的情况。

1.4.1 组织文化

数据治理中很多固有的形式和规则对于组织来说都是新的、不同的。数据治理改变组织行为来提升价值。对于决策和治理项目的新方法,可能存在抵制变化及学习或采取消极态度的情况。

有效而持久的数据治理需要组织文化的转变和持续的变革管理,文化包括组织思维和数据行为,变革包括为实现未来预期的行为状态而支持的新思维、行为、策略和流程。无论数据治理战略多么精确、多么持久,忽视企业文化因素都会减少成功的概率。实施路线必须专注于变革管理。组织变革目标是可持续性的。可持续性是过程的质量指标,以衡量过程持续增值的难易程度。维持数据治理过程需要对变化作出计划。

1.4.2 调整与沟通

数据治理规程是更广泛的业务和数据管理战略背景下逐步实现的。实现成功需要更广泛的目标,同时需要将各部分落实到位。数据治理团队要有灵活性,并且能够随着条件的变化调整相应的方法。管理和沟通变更所需的工具包括:

1)业务战略/数据治理战略蓝图。这些蓝图将数据治理活动与业务需求联系起来。定期衡量和沟通数据治理对业务的帮助,对于数据治理持续获得支持是至关重要的。

2)数据治理路线图。数据治理路线图不应刻板、僵化,而应适应适应业务环境或优先级的变化进行调整。

3)数据治理的持续业务案例。数据治理的业务案例必须定期被调整,以反映组织不断变化的优先级和财务状况。

4)数据治理指标。随着数据治理规程的成熟,数据治理的相关指标也应随之逐渐增长和变化。

1.5 度量指标

为应对长期学习曲线的阻力和挑战,对数据治理项目必须要通过证明数据治理参与者如何增加业务价值和实现目标的指标来衡量进展和成功。

为了管理所需的行为变化,要着重衡量数据治理的推广进展、与治理需求的符号程度以及数据治理为组织带来的价值。重点是充实和强化治理价值的指标。另外,数据治理推出后,要验证组织是否拥有支持数据治理所需资源的指标,这对维持数据过程同样重要。

数据治理指标的示例包括:

(1)价值

1)对业务目标的贡献。

2)风险的降低。

3)运营效率的提高。

(2)有效性

1)目标的实现。

2)扩展数据管理专员正在使用的相关工具。

3)沟通的有效性。

4)培训的有效性。

5)采纳变革的速度。

(3)持续性

1)制度和流程=的执行情况(即它们是否正常工作)。

2)标准和规程的遵从情况(即员工是否在必要时遵守指导和改变行为)。