文章

【数据治理实践】

第十四期：数据中台与数据治理同生共长

前言

因为疫情的原因，本期版面也姗姗来迟，今天终于又和大家见面啦。上期文章，结合同业实践与银行实际需求，我们介绍了如何构建与银行信息科技架构相匹配的数据架构，以支撑数据治理工作落地开展。本期主要介绍银行在数据中台建设中，如何通过“以用促治、以治促建”的策略，实现数据中台与数据治理的同生共长，同步建设。

监管要求

在《银行业金融机构数据治理指引》（下称“指引”）有以下的一些要求：

第四十八条 银行业金融机构应当充分运用大数据技术，实现业务创新、产品创新和服务创新。

——《银行业金融机构数据治理指引》

监管明确要求，银行业金融机构在风险管理、业务经营与内部控制中加强数据应用，利用大数据技术，优化管理和实现创新。当前很多银行通过开展数据中台建设，利用大数据技术支持数据应用、优化内部管理、实现业务创新。而在数据中台的建设和运营过程中，所发现的数据类问题可借助企业的数据治理的体系与机制进行跟踪与解决，并通过数据中台对数据治理机制与流程的贯通和运用，促进数据治理业务的更新与完善。

在银行数据治理体系下进行数据中台的数据治理

当前全球经济进入数字化转型时期，数字化转型已成为传统银行必须付诸行动必选题。基于银行业务数字化要求，银行可利用数据中台提供的大数据能力，优化现有商业场景，创新变革新的商业模式，有效赋能和创新业务，实现收入创造和价值实现的机会，支撑银行的数字化转型策略。

当前大多传统银行的数据中台建设还处于初级阶段，但随着移动互联网的发展、线上线下融合，数据服务的形式、场景开发增多，业务维度更加复杂，数据中台建设面临更多挑战，主要表现如下：

数据缺乏标准与规范，难以有效集成与使用
数据中台需要集成内外部、各系统的数据，只有建立一致的数据规范，通过统一的模型容器，才能实现数据有效整合，避免数据误入“形合神离”的窘境。

数据可信度偏低，导致数据不可用、不敢用
数据中台的数据来源为内外部的系统，其数据完整性、时效性、真实性都有待评估和度量，只有在数据中台建立完整的数据质量评估、问题发现、整改的机制与流程，避免数据“垃圾进，垃圾出”，才能不断提升数据中台的数据质量，使数据使用人员逐渐增强对数据中台所导出和展现数据的信任。
数据没有业务视角的展现方式，业务人员不会用
随着企业级数据应用的深入，风险、运营、营销等岗位的业务人员，需要更多的运用数据分析技术，因此了解和掌握数据情况变得尤为重要。而传统的开发人员所用的数据模型或者数据字典，作为一种描述数据的方式和语言，缺乏与业务场景的结合，偏重于技术角度，比较难于理解和应用。
数据不可溯源，跟踪数据处理过程困难
数据中台为了能实现数据整合与高效应用，以及指标计算的复杂性，往往会进行多层的数据处理。而且数据处理的逻辑往往只是在程序或者文档描述中，存在结构化差、描述不全、不及时、不准确等情况。
但数据中台所支持的应用越来越多，采集的数据也越来越多，加工过程会越来越复杂。因此对于数据来源路径分析、数据问题跟踪分析方面，工作量大且极为困难。

解决上述问题，需要业务与技术相配合，既需要从上到下对数据中台进行数据治理的重视与规划，也需要从下到上的，以场景/应用为驱动，对数据问题、数据需求的提炼与总结。根据德勤数据治理方法论和实践经验，我们建议在数据中台加强数据治理，在数据标准、数据质量、元数据、数据安全方面，持续应用数据管理的工具与方法，推进数据治理工作，并将数据治理与数据中台运营管理过程相结合，有效持续提升数据中台的数据质量，加强数据中台服务能力，实现银行数据价值，支撑银行数字化转型。

数据中台如何进行数据治理

数据中台可通过数据需求、数据质量、元数据管理等领域加强数据治理。

（一）增强业务需求管理，构建并持续完善数据标准体系

数据中台的运营部门，收集到来自于银行各部门、各层级管理人员和业务分析人员的业务需求，并且随着人员岗位的变化，即使同一层级、同一角色的人员提出的业务需求也可能大不相同；在不同的时间段下，根据银行的业务状况、规模和偏好调整等情况，业务需求重点和逻辑也不一样。

因此，数据中台的运营部门，应持续提炼数据中台业务需求，并与数据治理部门协同，依据需求及认责管理办法，并与不同类型的业务需求与实施工程相结合，落地与银行数据标准体系相吻合的指标体系。

分类管理业务需求：通常银行业务需求来自四个方面，包括临时类数据需求、接口类数据需求、报表类数据需求、综合类数据需求。其中临时类数据需求的数据时效性比较高，开发时间较短。但接口类、报表类和综合类数据需求都相对复杂，有较多的业务口径定义和数据探源工作，实施工程种类也较多。
识别和提炼业务需求：从数据角度总结和归纳共性的指标与公共维度，并对指标的名称、业务口径、数据口径进行定义与描述，形成企业级可共享的指标库。同时，由数据管理部门牵头，明确指标的归属部门和更新机制。

（二）建立跨系统数据质量检核机制，强化数据的质量管控

数据中台的数据质量问题，不仅取决于源头系统及外部数据的数据质量，并决定于采集、加工、存储、生成与应用整个数据生命周期的数据处理流程的准确程度。因此数据中台对于数据质量的管理，需要通过组织管理、技术方法、业务流程理解以及数据语义理解等多个方面，进行综合管理。

组织管理：数据中台开发与运维部门，主动参与或者主导数据治理过程，积极建立数据质量管理机制，推动落实数据管理流程，更大力度的辅助数据治理归口管理部门，发现与解决数据质量问题。
技术方法：数据中台推动数据质量问题的识别与解决，具有企业级、跨系统的平台和能力，又是提升数据服务能力的必要基础。通过归纳数据质量问题的类型及产生原因，利用技术方式实现跨部门、跨系统的数据质量问题的监测与预警，并可以持续验证与跟踪数据质量问题的解决。
业务流程及数据语义理解：数据中台的开发及运营部门，由于持续梳理各个部门、各个系统的内外部数据，通过不断的进行数据理解、数据分析，可以识别与发现部门之间业务术语、规则、逻辑等不一致而导致的数据问题，可与数据管理部门一道进行数据管控。

（三）提升元数据的数据质量，深化元数据分析及应用

随着数据中台各种来源数据增多，数据应用越来越丰富，数据处理过程也必然越来越复杂。在各种数据中，如何聚焦业务关注的数据内容、使用方式以及未来应用趋势，对于数据中台的架构演变、模型设计以及数据治理等活动来说，将变的越来越重要。

识别数据：通过数据中台建设流程，整理业务层面的数据资产目录，以及维护开发方面的物理数据模型和数据字典，清晰定义各个字段项名称、含义等，实现数据资源的语义化。
评价数据：通过获取表级及字段级基础元数据、关联元数据、应用日志等，运用图计算、标签传播算法等技术，系统化、自动化地对计算与存储平台上的数据进行打标、整理、归档，计算相关评价指标，如字段的查询次数、关联次数、聚合次数、过滤次数等。
追踪数据在使用过程中的变化：通过识别和追踪数据在全生命周期的各个形态和变化，实现源数据的分析管理，对于数据使用者，可以通过元数据让其快速找到所需要的数据；对于ETL 工程师，可以通过元数据指导其进行模型设计、任务优化和任务下线等各种日常ETL 工作；对于运维工程师，可以通过元数据指导其进行整个集群的存储、计算和系统优化等运维工作。

以数据中台为切入点，场景/应用驱动源头数据治理

数据中台通常是应用驱动构建，所处理的数据是业务关心和使用的数据。在数据中台开发与运营服务的过程中，面临很多源头数据的问题，比如不同系统的数据规范不一致，缺少主数据管理，数据质量不高等。虽然这些数据质量问题是客观存在的，但其发现与解决是阶段性的业务战略和现实条件决定的。因此关注目前已在或者将在应用场景中使用的数据，并追溯到该数据所引用的源头数据开展治理，最大限度的优化数据治理的资源投入，可以极大提高数据治理的功效。