您当前的位置：首页 > 代办社保

提升企业数据质量的五项原则

2017-10-11 14:54:20

提升企业数据质量的五项原则目前银行业进入了大数据时期，全部金融市场环境日益复杂，为提高我国金融市场的主体竞争力，银监会对金融机构的数据质量提出了更高的要求。普元数据治理专家将结合具体项目实践，站在国内银行的角度，为大家讲授在大数据时期下提升数据质量的办法
大数据是否值得信赖——浅谈商业银行如何提升数据质量

国内银行为何要侧重关注数据质量？
从近些年全球银行业的发展趋势来看，利用大数据分析肯定发展战略，全方位推行数字化管理已经成为先进银行的共同选择，数据质量将成为判定海量数据是否值得信赖的关键因素，关系着商业银行的生死存亡。为此，银监会特地推出了《银行监管统计数据质量管理良好标准》，要求商业银行等大型金融机构定期上报数据信息，对其数据的准确性进行打分，并公布排名情况。
国内银行在信息化建设进程当中，十分重视数据质量的建设。某家大型银行行长提出，数据质量是数据分析的基础，没有数据质量的保证，数据运用只是空谈。我们于2010年开始着手该银行的数据质量平台建设，经过6年的摸索发展，为其建成了数据管理平台，其中的数据质量平台，为该银行数据准确性大的幅提升做出了重要贡献。
银行应把数据质量建设的重点放在哪里？
这些年，我做过很多金融行业的数据质量项目，从各行的实践来看，全面提升数据质量，需要将重点放在两大方面：一方面需要多管齐下，建立全方位的数据质量管理体系；另一方面，为推进数据质量问题的有效解决，应将数据质量问题考核作为重中之重。
1、建立全方位的数据质量管理体系
为建立全方位的数据质量管理体系，应同时关注组织、技术和流程3大核心部份，3部分相辅相成才能构成完全的数据质量管理体系。
根据国内银行在业务上的一些共性，我认为银行业在数据质量建设方面要遵守五项基本原则，这五项基本原则恰好反映了我说的数据质量建设3大核心中的组织与技术两方面：
大数据是否值得信赖——浅谈商业银行如何提升数据质量

1）全程监控原则：国内银行要对数据的定义、录入、存储、加工、交互和使用的全过程进行质量监控，并明确各部门在数据全生命周期中的责任，全方位保证数据质量。
2）及时处理原则：国内银行应及时处理已发现的数据质量问题，并尽快调和相关部门推动展开问题有效解决的相干工作，避免存留的数据质量问题给业务带来不必要的麻烦。
3）自动检核原则：国内银行应深入分析已发现的数据质量问题的成因，及时由IT部门将其转化为技术规则，落地到系统中，通过技术手段自动检核数据质量问题，提升数据质量检核效力。
4）闭环管理原则：国内银行的数据质量管理应至少包括数据质量问题的发现、通报、整改和反馈这几个环节，构成数据质量问题的闭环管理。
5）全员参与原则：数据质量管理涉及到多个方面，银行业务人员、技术人员和运维人员应共同参与到数据质量管理工作中来。
对于三大核心部分中的流程部份，我结合在金融领域数据质量方面的项目经验，总结出了国内银行数据质量管理的一般流程，大体如下图所示：

图1：数据质量管理流程二、将数据质量问题考核作为重中之重
为实现数据质量的切实落地，推动数据质量问题的有效解决，银行应将数据质量问题考核作为重中之重，将数据质量问题解决效果与部门KPI挂钩，减小数据质量落地难度，及时对发现的数据质量问题进行处理，为数据质量的推动提供驱动力。
数据质量体系建设项目实践
我们在某银行的数据质量平台建设全过程，大体可以分为三个里程碑。
第一里程碑：搭建数据质量系统。借助数据质量管理系统自动对数据仓库进行检核,摸清数据质量情况，确认出现数据质量问题的重灾区。
第二里程碑：定位问题责任主体。将数据质量问题检核提早到业务系统中来，将问题数据所在分行和业务数据录入人一并获得到数据质量管理平台，从而为数据质量问题的追本溯源奠定了技术基础。
第三里程碑：成立数据质量考核评价小组。为保证已发现的数据质量问题能得到有效地解决，设计出了分层级的考核体系，由数据质量考核评价小组对各家分行数据质量问题的解决效果进行打分，计入各家分行的KPI绩效考核中。
在整个数据质量体系建设进程中，数据质量考核是落地保证，目前多种考核规则已在这家银行的数据质量系统中运行，对银行内部多个业务部门进行了考核，考核范围包括多个重要的业务系统，检核出了各家分行的多项数据问题，大大提升了数据质量问题的修改率，涉及到超过数十亿的贷款额度。
普元的数据质量管理平台
工欲善其事必先利其器，数据质量管理平台是全部数据质量管理建设的支持，下面我将简单介绍一下在全部项目中，我们的数据质量管理平台的架构。
我们的数据质量管理平台集数据质量种别管理、检核方法管理、问题数据展现、问题数据趋势分析、数据质量报告等功能为一体，以度量规则和检核方法管理为主线，通过自身调度模块或第三方调度为触发点，帮助企业建立统一的数据质量管理平台，系统整体功能架构如下：
大数据是不是值得信赖——浅谈商业银行如何提升数据质量

综上所述，国内银行应快速适应国内复杂的市场环境，借助数据质量管理平台，将数据质量管理组织、技术和流程3者进行有机结合，在数据质量管理建设进程中遵循 5项基本原则，同时将数据质量问题考核作为重中之重，最终实现提升银行数据质量的目标，支持银行上层数据业务运用。
关于作者：
刘庆会
普元信息技术股份有限公司大数据产品部数据治理专家
具有十年以上软件从业经验，前后为多家大型金融机构和大型企业设计和计划数据治理整体框架，其中包括国家开发银行北京冬季工服、北京银行、重庆农商行、上海银行、攀枝花银行等重要金融行业客户和新奥能源、山东鲁能电力、江西电力团体等知名客户，负责指点企业完成大数据平台数据治理解决方案和大数据平台建设方案的编写。
担负国家开发银行数据治理项目的项目经理，负责国家开发银行新一代数据治理系统的实施和新功能的设计，将数据治理与软件开发进程相融合，把数据治理工作前移，实现了对数据全部生命周期的管理。