3.2 主数据驱动的数据治理框架
3.2.1 治理思路和治理目标
数据治理的核心是加强对数据资产的管控,通过深化数据服务,持续创造价值。数据治理是在数据资产价值创造的过程中,治理团队对数据资产管理的评价、指导、控制,如图3-7所示。
图3-7 数据治理核心工作
根据企业中数据的特征、作用以及管理需求的不同,可将数据资产划分成为主数据、业务数据、分析数据三个主要部分。主数据包含元数据、引用数据、企业结构数据、业务结构数据等内容,这些数据相对慢变,但对企业具有全局的重要作用;业务数据是在交易和企业活动过程中动态产生的,通常具有实时性的要求;分析数据是对业务数据梳理和加工的产物,相对业务数据而言,实时性要求较低,通常按照分析的主题进行组织和管理。
企业运营的主体活动便是围绕这三种数据资产展开。主数据和业务数据支撑起企业的业务流程,而主数据和分析数据则是企业商务智能的基础。其中,主数据会出现在所有重要的业务流程和分析任务中,是企业数据资产中的黄金部分,如图3-8所示。
图3-8 企业数据资产构成
为确保企业可进行跨业务领域、跨职能部门、跨信息系统的业务协作和整体分析,需对主数据、业务数据、分析数据进行数据治理,保证其一致性,提升数据质量和数据安全水平。因此,主数据、业务数据和分析数据构成了企业数据治理中三个核心的治理域。每个治理域都包含数据标准管理、元数据/数据模型管理、数据质量管理、数据安全管理、数据生命周期管理5个基本的管理组件。源于主数据的基础作用,主数据治理是业务数据治理和分析数据治理的前提,为业务系统和分析系统提供基础性的数据服务。而后续业务数据治理更关注改善数据流通,分析数据治理更关注改善数据洞察。
有别于传统的企业资产,数据资产来源丰富,可拷贝、可重用,这将导致数据搜集、存储、使用都具有特殊性。同时,数据还涉及个人隐私、运行安全等问题。当跨业务、跨部门、跨系统进行协作时,更需要数据的一致性。这些都是数据治理要解决的关键问题。因此,数据治理不但与数据标准、数据产生过程的业务规范相关,也涉及企业战略、管理决策架构等因素,是战略问题、管理问题、技术问题的综合。
企业必须使数据治理项目更贴近企业整体业务目标,需要真正将数据视为一种战略资产,构建统一的数据架构和管控体系以满足企业信息化的整体要求,并制定路线图,在实现短期目标的同时为企业未来目标做好准备。因此,构建数据治理框架可以从4个方面入手,分别是战略、信息基础架构、路线图、治理任务界定。如图3-9所示,首先需要确定信息能够影响的主要业务目标(战略愿景),其次标识那些能够满足信息需求的技术组件和功能,并充分利用现存信息资产获得治理的速度和灵活性(信息基础架构),再为企业建立长期和短期的规划(路线图),最后需要界定具体的治理任务(治理任务界定),以保证信息的一致性。数据治理通过协调人、管理流程和技术体系,提高企业信息质量、可用性、完整性和安全性,达到掌控信息的目的。
图3-9 数据治理治理框架的4个方面
3.2.2 治理框架
基于对企业数据资产和经营活动的分析,综合考虑数据治理在战略、管理、过程、技术等方面的任务和要求,提出主数据驱动的数据治理框架,如图3-10所示。
图3-10 企业数据治理框架
企业开展数据治理之前,应首先明确数据治理的目标。参照ITSS提出的数据治理规范,本框架把实施数据治理的目标总结为运营合规、风险可控、价值创造三个层面,企业可根据自身业务需求进行选择。其中,运营合规是基础目标;在合规的基础上,建立数据风险管控机制,确保数据及其应用满足风险偏好和风险容忍度;以合规、可控的数据应用为基础,构建数据价值实现体系,促进数据资产化和数据价值实现。
将数据治理的各项任务和要素划分在5个不同的域内。
(1)管理域。管理域是数据治理的主要驱动力量,负责确定数据治理的战略、组织、制度和流程。数据战略规划应保持与业务规划、信息技术规划的一致,并明确战略规划实施的策略。组织架构设计明确责任主体及责权利,通过完善组织机制,获得利益相关方的理解和支持,制定数据管理的流程和制度,以支撑数据治理的实施。
(2)治理域。治理域是数据治理的主体,明确数据治理的具体目标和责任。依据对数据资产构成的分析,将治理域分为主数据治理、业务数据治理、分析数据治理三部分,其中主数据治理是业务数据治理和分析数据治理的前提,为业务系统和分析系统提供基础性的数据服务。因数据特征和管理需求不同,三部分的治理任务有所区别,但都应包含以下基本的数据治理组件。
• 数据标准管理:规范了数据治理活动的内容、程序和方法,是相关管理人员和治理活动的行为准则,一般包括数据管理规范、数据应用规范、数据集成服务规范等内容。
• 数据模型管理:数据模型管理实现对元属性、数据约束条件、校验规则、编码规则等方面的定义与管理,以及对数据模型的创建申请、审批和变更申请、审批过程等流程的定义和管控。
• 数据质量管理:数据质量管理对数据从计划、获取、存储、共享、维护、应用和消亡过程中每个阶段可能引发的各类数据质量问题进行识别、度量、监控和预警,并通过改善和提高组织的管理水平,使数据质量获得进一步提高。
• 数据安全管理:数据安全管理通过数据分级、用户级别及权限的定义来防止无意、故意甚至恶意对数据进行非授权的访问、浏览、修改或删除。通过数据安全体系的建设,增强信息安全风险防范能力,有效地防范和化解风险,保证业务持续开展,满足内控和外部法律、法规的要求。
• 数据生命周期管理:数据生命周期管理用于管理信息系统的数据在整个生命周期内的流动,从创建和初始存储,到它过时被删除。通过数据生命周期管理可实现数据申请/转入、数据清洗、数据校验、数据审核、数据发布、数据维护等功能,最大限度地体现数据的价值。
(3)技术域。技术域是数据治理的支撑条件,提供治理所需的数据架构、管控平台和治理工具,在IT整体规划的基础上,通过持续的评估、改进和优化,支撑数据治理的应用和服务。
(4)过程域。过程域是数据治理实施的具体方法。数据治理过程包含分析、设计、执行、评估4个步骤。在分析阶段,应评价数据治理的成熟度、风险及合规性,发现问题;在设计阶段,应明确数据治理目标和任务,设计数据标准、数据模型、数据架构,做好数据治理实施的准备;在执行阶段,应构建数据治理实施的机制和路径,确保数据治理实施的有序运行;在评估阶段,应监控数据治理的过程,改进数据治理方案,优化数据治理实施策略、方法和流程,促进数据治理体系的完善。
(5)价值域。数据治理的目标是通过对数据资产的有效管控持续创造价值,价值域通过对治理结果的有效整理,通过构建具体化的数据产品,实现上述的价值创造。数据治理的价值体系具体包括三个方面。
• 数据服务:通过数据的采集、清洗、导入,提升数据质量,确保数据的一致性。这部分体现着主数据治理的关键价值。
• 数据流通:通过实现信息整合和分发机制,支持跨业务、跨部门、跨系统的信息流转和协同。这部分体现着业务数据治理的关键价值。
• 数据洞察:通过消除数据内在的质量缺陷,明确数据之间的关联关系,帮助数据分析人员更好地理解数据,实现数据洞察。这部分体现着分析数据治理的关键价值。
3.2.3 技术架构
为有效支持数据治理的开展,需要高效、灵活的技术架构和信息管控的工具。在主数据驱动的数据治理框架下,数据治理的技术架构如图3-11所示。其中基础数据平台、业务支持平台、数据分析平台分别承载着和主数据、业务数据、分析数据有关的企业运营、管理活动;数据交换平台将上述三个平台连接在一起,完成彼此之间的数据交换,是平台之间的数据通道;数据管控平台完成上述平台之间的协调,是平台之间的控制通道。
图3-11 数据治理技术架构
数据治理组件辅助完成对主数据、业务数据和分析数据的治理。数据治理组件可看作是实施数据治理的IT工具包,其中包括数据标准管理、元数据/数据模型管理、数据质量管理、数据安全管理、数据生命周期管理5个基本的管理组件,实现治理框架中治理域的基本功能。同时,以工作引擎的方式提供一系列通用工具,包括但不限于:
• 工作流引擎:管理申请、校验、审核、发布等数据治理的工作流程。
• 清洗引擎:完成采集数据的清洗工作。
• 转换引擎:完成符合特定条件数据的批量修改和转换。
• 分析引擎:实现数据质量、数据生命周期管理中的分析任务。
数据治理组件也通过数据交换平台实现数据导入导出,通过数据管控平台完成和其他平台的协调。数据交换平台和数据管控平台以总线化的方式提供了可扩展的数据通道和控制通道,而工作引擎则实现了数据治理组件的能力扩展。