京公网安备 11010802034615号
经营许可证编号:京B2-20210330
谈谈银行业的数据治理
数据价值链螺旋受阻
在我们对数据利用提出迫切需求的过程中,许多深层次的数据问题其实已经开始逐步暴露,例如,数据认责不明导致数据源头录入质量不高,数据标准缺失导致统计口径混乱,整体数据质量缺乏有效的监控和管理等等。
数据已经成为企业的资产,但是很遗憾的是它本身并不能直接产生价值,这也是大数据这么火但是很少有企业能够充分发挥数据的价值的原因。要明白如何让数据成为生产力,我们必须理解数据、信息、知识和智慧之间的关系。
数据:它是一种将客观事物按照某种测度感知而获取到的原始记录,未被加工解释,不能回答特定问题,它与其他数据之间也没有建立相互联系,是分散和孤立的。信息:对数据进行加工处理之后,是数据之间建立相互的联系,形成回答某个特定问题的文本,以及被解释具有某些意义的数字、事实、图像等形式的信息。知识:是知识工作者运用大脑对获取的信息进行系统化训练和提炼、研究、总结和分析之后的结果,知识能够精确的反映事物的本质。智慧:在已有的知识的基础之上,对信息进行分析、对比、演绎并找出有价值的部分,并将其深化到已有的知识框架中,则上升为智慧。
这是个螺旋上升的过程,其实也是我们数据产生价值的过程。在这个过程中,最重要的一步是将数据转化为信息,这一步做的成果的好坏,直接关系到整个数据价值链的成败。也就是说,要想让数据成为银行的生产力因素,就必须将数据治理放在全行战略的高度。
数据、信息、知识和智慧示意图
在帆软银行顾问近几个月走访江浙区域银行的过程中,能听到的一个明显的声音是,大家都知道数据的价值,也都能够发现数据质量对发挥数据价值的阻碍,但是当领导提出数据治理的期望时,科技部往往面面相觑。
大多数的科技部门对于数据治理还是停留在缺失数据补充,错误数据清洗等具体的事情上。诚然,这些具体的措施都是数据治理的一部分,但很遗憾这样的工作是没办法实现全面的数据治理的,也没办法通过这样的数据治理将数据应用和挖掘提升一个层次。
我国银行数据治理现状
经过多年的信息化银行的建设,我国各家银行积累了海量的、丰富的数据资源。在当今大数据时代,数据本身非常重要,其潜在资产价值对于银行而言更为关键。未来最善于利用数据分析来引导决策、控制风险、进行产品创新的银行将获得更多新的竞争优势。
帆软银行顾问了解到,当前很多银行纷纷将数据治理提上了日程,开展了一系列持续的治理工作,在业务发展模式上更加注重数据的管理提升和内部挖掘潜力,并取得了一定的成就,比如基本统一了全行编码规则,初步实现了客户和产品的主数据维护等。但是现阶段银行的数据治理还是存在管理维度、核心领域和技术维度三个层面的难度,要解决困境就需要对各个层面的问题进行分解、逐个突破。
在推进精细化管理和建立分析挖掘平台方面,银行的数据还存在数据基础薄弱,数据不完整不一致的问题。总结来看,当前我国银行特别是农商行体系数据治理存在的问题主要包括:
1.缺少数据治理企业文化
银行数据治理是一项庞大而复杂的工程,需要各个部门之间,尤其需要加强科技部门和业务部门之间的合作,才能最终高质量、高成效的完成数据治理工作。全行企业文化的建设必须考虑到数据资产管理这个层面,从战略角度启动 、开展和推进数据治理工作,建立一种以数据资产为导向的企业文化,将数据治理、科技治理和公司治理有机的结合起来。
2.没有完善的组织和制度
随着数据治理工作逐渐被重视,银行内部已离不开一个企业级的数据治理职能组织。目前,多数商业银行的数据治理组织和制度由科技部门牵头,整个组织体系业务参与度欠佳,但从数据问题分析的结果来看,业务部门是产生数据的最初、最大来源,数据治理的目的是使银行业务更好地被经营和管理,所以也需要业务部门对数据治理工作进行重视,深入参与和主动负责,保证数据治理的真正落地。
3.未建立数据治理流程和有效的认责管理制度
当前,使用数据的部门因具有明确的、迫切的数据需求,而成为处理问题的主要推动者。但是,在一般情况下,由于没有完整的流程管理机制,在推动工作中会出现以下问题:
(1)不同领域的数据分布在不同的系统中,并由不同的部门负责管理,当需要进行夸领域、跨系统的数据治理工作时,会出现沟通成本高,协调难度大的问题。
(2)解决数据问题时仅从局部考虑,为解决当前紧急问题,较少考虑数据复用和共享机制,不利于后续的系统整合工作。
(3)数据问题解决后,较少进行跟踪管理和规范治理,后续的认责机制不健全,不利于体现数据治理的重要性和必要性。
4.缺少数据治理各领域的管理体系
(1)缺少企业级数据标准管理体系。
虽然银行拥有了大量的数据资源,但是,也经常面临重要数据缺失,系统间数据不一致,统计口径和加工方法不一致,导致数据可信度降低的问题。深入分析后发现,出现这种现象的原因为缺乏有效的数据标准化。
(2)缺少企业级元数据管理体系。
目前,我国大多数银行的元数据管理仅限于少数系统和少数用户,尚未达到体系化的程度,也存在完备性不足的情况。
(3)缺少企业级数据质量管理体系。
数据的质量对银行业发展尤为重要,并且银行对数据质量的治理重视程度会直接影响数据治理的成效。银行的数据质量管理应当涵盖数据质量问题的防范、识别、度量、分析、监控、清洗等管理活动,以满足对数据质量的要求。
(4)缺少完备的数据生命周期管理体系。
当前我国银行大部分在系统无法支撑时才考虑数据清理备份的工作,难以做到对数据生命周期的统筹管理,并且对支付数据生命周期管理的系统和工具建设力度不够,不能很好的支撑全行数据生命周期管理工作。
(5)缺乏完善的系统支撑和技术手段。
现代的银行系统数据量庞大,各式系统多种多样,如果不依赖技术手段,没有相应的支撑平台和工具,就不可能理解如此庞大的数据量和看到其潜在价值。
要想达到数据开发、共享、使用和管理的全方位良性循环,就必须建立起全行级别的数据治理体系,整合行内人才资源,制定相应的管理制度和文化体系,完善数据治理流程管理,利用好科技力量进行各项工作支撑。
建立银行数据治理体系
做好数据治理是一项复杂、长期、系统性的工程,涉及思维、方法、组织、系统工具等多方面要素的综合运用。为了满足企业内部的信息使用需要,一般会通过成立专门的数据治理体系来保证数据的可用性、可获取性、高质量、一致性以及安全性。下面将对银行的数据治理体系架构进行介绍:
基于数据治理时代浮现的诸多机遇,以及面临的一系列问题,我们对商业银行数据治理体系进行研究分析,发现银行的数据治理体系也是一个金字塔结构,依次为战略、机制、领域、技术支撑,从上至下指导,从下而上推进,形成一个多层次、多维度、多视角的全方位框架,如下图:
商业银行数据治理体系
战略:需要进行目标和规划的蓝图设计,将数据治理提升到全行经营战略地位。机制:需要建立健全组织、制度、角色和流程等四个方面的机制,进行全方位可持久的数据治理工作。领域:数据治理的具体领域包括元数据、数据标准、生命周期管理、数据模型、数据存储、数据分布、数据交换、数据集成、数据服务和数据质量管理等内容。技术支撑:数据治理需要在技术层面对上面的各个领域进行管理和支持,比如有数据质量分析、数据建模工具、数据清洗工具、生命周期管理、质量检查工具、数据管理系统等。
从商业银行数据治理体系的金字塔结构可以看出,实际上银行的数据治理体系包含两个层面:一是数据治理核心领域,二是数据治理的保障机制。战略、机制及各领域的技术支撑是商业银行进行数据治理的全面概貌。其相互关系如下图:
商业银行数据治理的保障机制与核心领域
数据治理包含保障机制和核心领域两个部分,他们之间相互支撑,共同保障数据治理的全过程管理。保障机制提供制度和战略力量的支持,明确了组织架构、制度章程、流程管理和及时应用,用来规范数据治理的各个核心领域标准化实施;数据治理的核心领域提供了全方位的数据治理视角,从各个层面各个维度进行数据质量保障,通过相应的系统和技术对战略目标进行支撑和落地,两者之间应该是紧密配合的。
总结
从上面的介绍我们知道,数据治理的过程就是建立数据治理保障机制和完善数据治理核心领域的过程,这两个方面相辅相成,保障机制是数据治理的战略指挥,核心领域是数据治理的枪支弹药,要打好数据治理这场持久战,就必须双管齐下进行建设。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15