3.1 数据治理框架
数据治理是围绕数据资产展开的系列工作,以服务组织各层决策为目标,是数据管理的技术、过程、标准和政策的集合。数据治理是一个复杂的系统工程,需要决策者、管理者、系统开发人员、系统使用人员、系统维护人员多方协作才能进行,因此构建科学的数据治理框架是开展数据治理工作的首要任务。
数据治理框架是指为了实现数据治理的总体战略和目标,将数据治理领域所蕴含的基本概念(如原则、组织架构、过程和规则等),利用概念间关系组织起来的一种逻辑结构。它用于描述数据治理领域的基本组件(概念)以及组件间的逻辑关系。引入数据治理框架的目的是为组织的数据治理具体实践提供理论指导,确保数据治理付出的努力获得应有的价值回报。
数据治理框架通常需要明确如下几个方面:
• 每个组件的职能以及组件间的逻辑关系。
• 数据治理的工作范围和重点。
• 数据治理的工作任务和目标。
• 建立清晰的组织架构和职责分工。
• 建立数据治理成效的评估标准。
为了指导组织有效开展数据治理工作,国际研究机构在各自研究成果和实践经验的基础上,提出了一些通用的数据治理框架,这些框架为各机构的数据治理工作提供了不同的价值视角和关注维度,下面将对其中最具影响力的机构及其数据治理框架进行介绍。
3.1.1 国际标准化组织
国际标准化组织(ISO/IEC)所提出的数据治理框架建立在IT治理的基础上。2015年,国际标准化组织IT服务管理与IT治理分技术委员会制定了ISO/IEC 38500系列标准,提出了IT治理的通用模型和方法论,并认为该模型同样适用于数据治理领域。
在数据治理规范相关的ISO/IEC 38505标准中,阐述了基于原则驱动的数据治理方法论,提出通过评估现在和将来的数据利用情况,“指导数据治理准备及实施”,并监督数据治理实施的符合性等。
ISO/IEC 38505为组织的治理主体提供数据治理指南,组织的数据治理主体可以应用上述基于原则的方法来开展数据治理活动,在减少数据风险的同时提升数据的价值。如图3-1所示,该标准主要关注治理主体评估、指导和监督数据利用的过程,而不关注数据存储结构、恢复等数据管理活动。该标准强调数据治理的责任主体在治理层,治理层在开展数据治理的过程中主要通过制定数据战略来指导数据管理活动,而管理层需要通过管理活动来实现战略目标。同时,治理主体需要通过建立数据策略来保障数据管理活动符合数据战略的需要,进而满足组织的战略目标。
图3-1 ISO/IEC 38505数据治理框架
该标准实际上是对IT治理方法论的进一步扩展,并未对数据治理的实施和落地提供有效的手段。在实践中,数据治理虽根植于IT治理,但两者之间又有明显的区别,IT治理的对象是IT系统、设备和相关基础设施,而数据治理的对象是可记录的数据。因此IT治理过程中过于强调IT投资和系统实施,忽视了商业价值增长中的数据创建、处理、消耗和交换方式。
3.1.2 国际数据管理协会
国际数据管理协会(DAMA)提出的DAMA-DMBOK框架以数据管理为中心,认为数据治理是数据管理的组成部分,是数据管理的核心功能。DAMA框架包括两个子框架:功能子框架和环境要素子框架(图3-2和图3-3)。功能子框架总结了数据管理的10个功能,并将数据治理置于核心位置。环境要素子框架提出了数据管理的7个环境要素,并最终建立起10个功能和7个环境要素之间的对应关系。DAMA框架中数据治理的核心工作就是解决数据管理的10个功能与7个要素之间的匹配问题。
图3-2 功能子框架
图3-3 环境要素子框架
DAMA-DMBOK框架对数据治理和数据管理的界定扩大了数据管理的范畴。一般情况下,我们更倾向于数据治理是为了确保有效管理而做的决策,强调决策制定的责任路径,而数据管理仅仅涉及决策的执行。同时,DAMA-DMBOK框架更强调数据管理的各项职能以及关键活动,而对于实施数据治理的过程、评估的准则等未能给予清晰而系统的指导。
3.1.3 国际数据治理研究所
国际数据治理研究所(DGI)从组织、规则、过程三个层面,提炼出数据治理的10个基本组件,并在此基础上提出了DGI数据治理框架(简称DGI框架),如图3-4所示。该框架既包含从管理角度提出的促成因素(如目标、数据利益相关者和组织结构等),也包含项目管理的相关内容(如数据治理生命周期)。
图3-4 DGI框架中数据治理基本组件
DGI框架将10个基本组件按职能划分为三组:
• 规则与协同工作规范:包括使命、目标、数据规范、决策权力、职责分工、控制机制。
• 人员与组织结构:包括数据利益相关方、数据治理办公室、数据管理员。
• 过程:包括评估状态、准备路线图、规划、设计/开发程序、数据治理、监测/度量/反馈等阶段。
DGI框架以访问路径的形式,非常直观地展示了10个基本组件之间的逻辑关系,形成了一个从方法到实施的自成一体的完整系统。
DGI与DAMA不同,它认为治理和管理是完全不同的活动,治理是有关管理活动的指导、监督和评估,而管理则是根据治理制定的决策来执行具体的计划、建设和运营。因此,数据治理独立于数据管理,前者负责决策,后者负责执行和反馈,前者对后者负有领导职能。因此,相比DAMA框架,DGI框架的设计完全从数据治理角度出发,是一个更加独立、完整和系统的数据治理框架。
3.1.4 IBM数据治理委员会
IBM数据治理委员会(IBM Data Governance Council)通过结合数据特性和实践经验,有针对性地提出了数据治理的成熟度模型,将数据治理分为五级,即初始阶段、基本管理、主动管理、量化管理和持续优化。同时在构建数据治理统一框架方面,提出了数据治理的要素模型,将数据治理要素划分为支持规程、核心规程、支持条件和成果4个层级,如图3-5所示。
图3-5 IBM数据治理要素模型
IBM数据治理委员会重点关注治理过程的可操作性,认为业务目标或成果是数据治理的最关键命题,在支持规程、核心规程、支持条件作用下,组织最终可以获得业务目标或成果,实现数据价值。
3.1.5 中国电子工业标准化技术协会信息技术服务分会
在积极参与并辅助国际标准化组织推进ISO/IEC 38505系列标准的同时,中国电子工业标准化技术协会信息技术服务分会(ITSS)服务管控组带领国内近百家机构开展了《信息技术服务治理第5部分:数据治理规范》国家标准的制定。
ITSS服务管控工作组是国内信息技术服务领域的信息技术治理和数据治理的标准制定和研究机构。ITSS结合国际数据治理标准的研制思路,遵循“理论性和实践性相结合、国内与国际同步推进、通用性与开放性相结合、前瞻性和适用性相结合”的原则,明确了数据治理规范实施的方法和过程,旨在评估组织数据管理能力的成熟度,指导组织建立数据治理体系,并监督数据管理体系的建设和完善。
标准包括正文和附录两大部分。正文面向组织的决策层,提出了数据治理的目标、任务、框架、顶层设计、环境等,明确了决策层的作用和责任,为决策层规划、监督数据治理提供指引。附录面向组织的管理层,对数据治理涉及的核心治理域提出了明确的管理要求,为管理层实施数据治理提供指引,为决策层监督数据治理成效提供参考。正文和附录的结合,使治理可以通过管理有效落地,打通了从治理到实施的路径,解决了国际治理标准不易应用落地的问题。
该标准适用于组织数据治理现状自我评估及数据治理体系的建立,数据治理域和过程的明确,数据治理实施落地的指导。数据治理相关的软件或解决方案的研发、选择和评价,数据治理能力和绩效的第三方评价。
标准把实施数据治理的目标总结为运营合规、风险可控、价值实现三个层面,机构可根据自身业务需求进行选择。其中,运营合规是基础目标,应保证数据及其应用的合规;在合规的基础上,建立数据风险管控机制,确保数据及其应用满足风险偏好和风险容忍度;以合规、可控的数据应用为基础,构建数据价值实现体系,促进数据资产化和数据价值实现。
标准澄清了数据治理的任务,认为组织决策层作为数据治理的主体,在数据治理过程中的主要任务包括评估、指导、监督。决策层首先要明确数据治理的目标,引导管理层开展数据治理现状及需求、数据治理环境、数据资源管理和数据资产运营能力的评估,找出现状和目标之间的差距,指导管理层开展数据治理体系的构建、数据治理域的选择、数据治理的实施落地,通过一系列数据治理工作提升机构的数据应用能力,缩小现状和目标的差距。决策层还应制定合理的评价体系与审计规范,监督数据治理实施的合规性和有效性,对于有偏差或不符合的内容进行指导,最终引导机构实现数据治理目标。
数据治理框架包含顶层设计、数据治理环境、数据治理域、数据治理过程4部分,如图3-6所示。
图3-6 ITSS的数据治理框架
顶层设计包含数据相关的战略规划、组织构建和架构设计,是数据治理实施的基础。数据战略规划应保持与业务规划、信息技术规划的一致,并明确战略规划实施的策略;组织构建应聚焦责任主体及责权利,通过完善组织机制,获得利益相关方的理解和支持,制定数据管理的流程和制度,以支撑数据治理的实施;架构设计应关注技术架构、应用架构和管理体系架构等,通过持续的评估、改进和优化,支撑数据的应用和服务。
数据治理环境包含内外部环境及促成因素,是数据治理实施的保障。治理机构应分析业务、市场、利益相关方的需求,适应内外部环境变化。同时,还应关注决策层对治理工作的支持程度、相关人员的职业技能、内部治理文化等,以支撑数据治理的实施。
数据治理域包含数据管理体系和数据价值体系,描述了数据治理实施的对象。其中数据管理体系包括数据标准、数据质量、数据安全、元数据管理、数据生存周期5个治理域。
数据治理过程包含统筹和规划、构建和运行、监控和评价、改进和优化4个步骤,描述了数据治理实施的方法。在统筹和规划阶段,应明确数据治理目标和任务,营造必要的治理环境,做好数据治理实施的准备;在构建和运行阶段,应构建数据治理实施的机制和路径,确保数据治理实施的有序运行;在监控和评价阶段,应监控数据治理的过程,评价数据治理的绩效、风险及合规,保障数据治理目标的实现;在改进和优化阶段,应改进数据治理方案,优化数据治理实施策略、方法和流程,促进数据治理体系的完善。
3.1.6 现有数据治理框架的局限
数据治理是综合性很强的领域,既涉及企业战略,又涉及具体的管理制度,同时还和数据管理的技术架构紧密相关。成功的数据治理,需要完善的方法论指导,合理的过程和制度保障,以及系统的平台和工具的支持。上述治理框架大多只涉及方法论、过程、制度和工具中的一部分,并且更侧重宏观的战略和管理问题,对于执行层面的工具方法关注不够,普遍存在落地困难的问题。同时,数据治理的范畴定义宽泛且模糊,导致数据治理的任务太过复杂庞大,数据治理从何处切入才能快速见效?如何将复杂的治理任务分解成为可操作的阶段性目标?这些企业特别关心的具体问题在上述一般性的框架中都没有针对性的说明。
同时,中国企业的数据治理在体制层面、管理对象层面和技术平台层面都存在显著的特色,这些特色在上述治理框架中关注不够。首先,国内强调数据标准建设,已经形成大量行业性数据标准(如金融、电子政务、公安、税务等)。这些企业、行业数据标准,主要覆盖元数据、主数据等静态数据内容,但也涉及交易数据等部分动态数据;同时,在技术平台层面,国内习惯将主数据、数据标准、数据质量、元数据等几部分功能统一形成数据资源管理平台并作定制化开发,力图通过一站式数据管理提升用户体验。因此,在数据治理的概念被广泛接受之前,已经存在大量数据标准化和数据管理的平台、工具和方法,但跨业务、跨部门、跨系统的横向协同机制不顺畅,治理效果欠佳;同时,在数据治理体系的中层和基层缺乏可操作的数据治理方法和标准。如何在数据治理实施中妥善处理这些特色和问题,也是我国企业实施数据治理过程中关注的重点。
考虑数据治理的可操作性、中国企业数据治理的特色和普遍问题,本书综合多种数据治理框架,提出主数据驱动的数据治理框架。