文章

【数据治理实践】

第八期：数据的免疫体系-数据质量管理

前言

上期文章，我们分享了多层次多途径的数据标准落地方式。本期，我们将介绍如何量化评估数据治理效果。对银行数据治理来说，数据质量管理是指对数据全生命周期可能出现的各类问题，进行识别、检测、度量、预警以及处理等一系列管理活动。通过提升数据的完整性、准确性和真实性，为银行提供可靠的数据基础，提升数据的使用价值，对银行日常经营、管理决策、风险管理等领域发挥积极有效作用。

监管要求

在《银行业金融机构数据治理指引》（下称“指引”）第四章的数据质量控制部分对质量控制要求、质量控制手段、日常监控、检查制度、考核评价、跟踪整改和监管报送质量有明确的要求：

第二十九条 银行业金融机构应当确立数据质量管理目标，建立控制机制，确保数据的真实性、准确性、连续性、完整性和及时性。

第三十条 银行业金融机构各项业务制度应当充分考虑数据质量管理需要，涉及指标含义清晰明确，取数规则统一，并根据业务变化及时更新。

第三十一条 银行业金融机构应当加强数据源头管理，确保将业务信息全面准确及时录入信息系统。信息系统应当能自动提示异常变动及错误情况。

第三十二条 银行业金融机构应当建立数据质量监控体系，覆盖数据全生命周期，对数据质量持续监测、分析、反馈和纠正。

第三十三条 银行业金融机构应当建立数据质量现场检查制度，定期组织实施，原则上不低于每年一次，对重大问题要按照既定的报告路径提交，并按流程实施整改。

第三十四条 银行业金融机构应当建立数据质量考核评价体系，考核结果纳入本机构绩效考核体系，实现数据质量持续提升。

第三十五条 银行业金融机构应当建立数据质量整改机制，对日常监控、检查和考核评价过程中发现的问题，及时组织整改，并对整改情况跟踪评价，确保整改落实到位。

第三十六条 银行业金融机构应当按照监管要求报送法人和集团的相关数据，保证同一监管指标在监管报送与对外披露之间的一致性。如有重大差异，应当及时向银行业监督管理机构解释说明。

——《银行业金融机构数据治理指引》

随着外部监管对数据质量要求日益严格，其要求也在逐步变化，主要体现在：数据的颗粒度不再仅限于指标类数据，而是需要账户级、交易级的明细数据，对字段级数据有日益明确的数据质量标准，一旦发现问题，要求快速响应及时整改。此外，银行内部精细化管理，经营决策，风险管理也依托于高质量的数据。

数据质量评估维度

如何判断数据质量的优劣？从哪些方面可以评估数据质量？在实践中，我们认为一般可以通过数据质量评估维度进行评估。数据质量评估维度是数据质量的特征之一，它们为度量和管理数据的质量提供了一种途径和标准。在一个具体的数据质量项目中，要选择最适用于业务需求的数据质量维度进行测量，以评价数据的质量。每一数据质量维度需要不同的度量工具、技术和流程支撑，这导致了完成评估时间、资金和人力投入呈现出差异化。同时管理要求的不同，对数据质量评估的维度也会有所差异。

如《指引》在数据质量方面要求银行建立控制机制，确保数据的真实性、准确性、连续性、完整性和及时性。在《GB/T36344-信息技术数据质量评价指标》中，国家标准化管理委员会明确了数据质量评价指标框架。

规范性：数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度。
完整性：按照数据规则要求，数据元素被赋予数值的程度。
准确性：数据准确表示其所描述的真实实体（实际对象）真实值的程度。
一致性：数据与其他特定上下文中使用的数据无矛盾的程度。
时效性：数据在时间变化中的正确程度。
可访问性：数据能被访问的程度。

国际数据管理协会（DAMA）在其发布的《DAMA数据管理知识体系指南》提出了以下数据质量评估框架：

虽然对数据质量的评估指标在监管、国家标准、国际实践中存在一定差异，但各金融机构应根据自身实际情况，在监管标准的底线上建设适合的数据质量评估体系、维度和指标。

业务视角的质量检查

通过业务流程和数据流向梳理的方法设计数据质量检核规则，在业务环节中设置数据质量检核规则，及时发现数据质量问题，同时通过问题分析，发现业务流程或者系统功能中的缺陷，进一步推动业务流程改进优化和系统改造。

从银行价值视角出发，业务主要包括业务运营、营销支持、产品与服务、风险管控、核算报告与决策分析。基于流程方法论对银行业务流程进行逐级分解，参考系统具体功能点，识别具体的操作内容，采集并记录相应的业务规则和数据管理要求，形成数据项及数据要求列表，为检核规则设计提供重要输入。

基于业务视角的数据质量检查工作要点：

提升质量检核覆盖面
通过梳理完整的业务流程，重新审视业务并识别业务逻辑中的数据要求，全面评估业务运营过程中创建和使用的各类数据，提高数据质量检核范围的覆盖面。
加强业务针对性
由数据质量的技术检核转变为数据质量的业务检核，通过梳理业务流程上的数据要求，确保设计的检核规则更加贴近业务，确保业务引导数据质量规则设计。
推动质量管理前移
推动数据质量检核落实在需求审核和系统开发阶段，确保生产数据质量，在业务高度参与的需求阶段，明确数据需求及质量要求，在设计环节加强前台录入控制、逻辑检查、数据清洗等质量控制，建立和强化事前数据管控的能力，促进数据管理从数据源头得到有效保障，减少对下游系统的影响，解决过去数据治理工作中出现的先建设后治理的落实模式。

闭环的数据质量管理

数据的生命周期是数据规划、设计、创建、处理、部署、应用、监控、存档、销毁的不断循环的过程。企业的数据质量管理应贯穿数据生命周期的全过程，覆盖业务需求分析、数据质量评估、业务影响评估、原因分析、问题跟踪整改等方面。

经典数据质量管理的五步法：

基于商业银行的实践，我们在经典五步法的基础上开发了更细化的十步管理流程。银行的数据质量管理可以结合自身内部控制管理方式、风险管控手段和系统建设情况，设计和开发有特色的数据质量管理闭环。

数据质量现场检查

银行在各种日常业务检查、专项合规检查、业务稽核和内外部审计等的过程中，数据质量方面的检查点和评估项目从未缺席，并且各家银行都已有属于自己的数据质量的检查方式和手段。只是没有把数据质量现场检查，单独作为一个专项的方式，按要求至少一年一次的频率开展进行。

数据质量现场检查可按检查内容范围不同分为全面检查和专项检查。实际操作中，银行很难每年都将全部数据工作进行全面检查，所以银行可以根据行内各渠道发现的数据质量问题集中领域、管理层的重点关注领域、外部监管趋向的某一方面工作或管理情况，作为特定检查内容的开展数据质量专项检查，检查资源也建议向监管报送数据进行倾斜。此外，专项检查的内容和重点由总行数据治理归口管理部门进行统筹考虑和确定，并随业务发展定期或不定期进行调整。

在实践中，数据质量现场检查的方式也可以根据银行机构设置的情况区别开展。如以下AB两家银行：

A银行利用银行在分行已有的成熟的合规检查体制，由总行数据治理归口管理部门作为牵头，各分行合规检查成员作为小组成员，实施了全面的全行数据质量现场检查。

B银行每年选择重点检查分支机构，总行现场检查小组仅对重点检查分支机构进行检查，每3-5年覆盖全部分支机构。对非重点检查的分支机构，每年有分支机构的数据治理归口管理部门组织机构内自查，将自查结果上报总行。总行每年完成现场检查后，会将检查结果整理后在全部分支机构之间进行共享和学习。

数据质量现场检查步骤可以分为6个阶段，包括检查计划阶段、预先调查阶段、现场检查阶段、问题和整改方案确认阶段、检查报告阶段和问题整改跟踪阶段。为了优化现场检查的效率，在数据质量现场检查过程中可安排进行非现场的预先调查阶段。利用数据分析工具对数据仓库或监管报送的数据进行预检，提前识别可疑数据。现场检查阶段可以将工作重点放在对可疑数据的原因分析和整改方案研讨上。

数据质量考核评价

银行应将数据质量专项考核结果纳入对于人员、总行部门、分支机构的整体考核体系中，通过评价相关数据质量水平，督促各方在日常工作中重视数据质量，在发现问题时能够追根溯源地主动解决，对于高水平的数据质量工作成果进行激励、表彰，提升全行的数据质量管理意识。

人员的考核

数据治理包括对数据质量的管理应纳入对银行董事会、监事会、高级管理层的履职评价中。
数据治理专职人员包括数据治理归口管理部门人员和数据管理员的KPI中应包括对数据质量管理的职责。
各业务管理部门负责本业务领域的数据质量，所以业务部门的行员在其KPI中也应明确其所负责业务的数据质量管理职责。

部门与分支机构的考核

银行应将数据质量纳入年度对部门和分支机构的考核中，包括定量和定性的指标。定量指标可包括对各报表主管部门负责的监管报表报送情况、日常业务的数据质量，定量指标可实施百分制考核。在百分制考核的基础上实行奖励加分制，奖励加分标准可以包括各类定性标准。考核得分与奖励加分相加为各银行业金融机构的年度总分。

数据质量管理工具

由于银行业务高度复杂，一些重要数据通常在行内多个系统中产生、流转、保存，部分数据可能出现重叠或不一致的情况。为对数据进行及时有效地监测并发现数据质量问题，并予以解决，就需要数据质量管理系统作为辅助管理的工具。数据治理管理系统可包含数据质量监测、问题的分发和解决、问题数据下载、考核评价、分析和跟踪等功能。具体数据质量管理工具我们将在以后的篇章中着重分享。