京公网安备 11010802034615号
经营许可证编号:京B2-20210330
防止坠入“大数据陷阱” 除了技术还需要什么
面对互联网金融大潮,在兴奋激动之余,我们还需要一种相对冷静平和的心态。如果我们真的要搞金融大数据开发,真的要靠有关数据来办互联网金融,那确实就要认真思考一下自己所谓拥有的“大数据”真的足够大了吗?足够长了吗?
当今,互联网化正带动着许多行业、产业的组织变革和商业变革。在这一历史性的进程中,互联网技术的迅速发展也给金融领域的创新带来了巨大活力,显着提升了金融服务的水平。首先,从银行来说,现在银行已普遍通过互联网渠道开办各类业务,银行服务的成本有了下降(电子银行每笔交易成本大约只有银行柜台每笔交易成本的五分之一到六分之一);银行传统信贷的模式有了改变(例如工商银行无人工参与的全流程在线的网络贷款已超过其网络融资的20%);银行业务处理能力尤其是支付结算的能力和效率都有了提高(例如工商银行现在每秒钟业务交易量峰值已超过8700笔,在去年一年的电子银行交易已占全部交易的88%,电子银行交易金额达到了456万亿元,所有的异地支付早已实现实时完成。);各家银行的服务模式都已越来越多地、越来越自然地融入商业场景之中,一个覆盖和贯通金融服务、电子商务、社交生活的互联网银行架构正在不断形成和完善。
其次,这些年来,各类互联网企业从事金融业务的也越来越多,互联网金融已从最初的电子商务、第三方支付等更多进入了资金募集、理财和借贷领域。如果说Paypal、ApplePay和支付宝等,是让小额支付更便捷,那么P2P、众筹包括余额宝等则是对金融资源配置方式的一种有意义的探索,它给不少人提供了一种新的投资渠道,也满足了一些人筹集资金的需求。近来,一些人又已经开始把更多注意力放到了区块链技术,不少人正在争先恐后地进行基于区块链的支付和记录技术等方面的研究和开发。
这一切都是显得那么的令人振奋,令人欣喜。但我认为在看到互联网金融快速发展所带来的种种积极变化的时候,在继续推进金融创新的过程中,似乎也应该注意两个问题,一、金融创新的全部内容是不是金融的互联网化;二、是否应该避免陷入技术至上、唯数据论的误区。第一点比较容易理解,答案也应该是明确的。关于第二点想必看法不会完全一致。我想就此谈谈一己浅见。这可以从北京大学国家发展研究院沈艳教授最近的一篇文章说起。
沈艳教授的文章题目是《大数据分析的光荣与陷阱——从谷歌流感趋势谈起》。她在文章中讲了一个故事,那就是谷歌公司在2008年11月启动了一个“谷歌流感趋势”(GoogleFluTrends,GFT)项目,这个项目曾被许多人认为是大数据分析优势的一个证明。这个项目的团队曾宣布他们通过数十亿搜索中45个可能涉及流感关键词的分析,就能够比美国疾控中心提前预报流感的发病率,从而使人们可以有充足的时间提前采取预防措施以避免患上流感。倘若真能如此,这个成果无疑具有重要的社会意义和经济价值。
可惜的是2014年,美国《科学》杂志的有关文献报道了GFT在2009年没有能预测到有关流感的爆发,在2011年8月到2013年8月间的108周里,有100周预告不准(预测率是实际报告值的1.5倍多)。沈艳诘问道,为什么传说中充满荣光的大数据分析会出现如此大的系统性误差呢?她认为如果在数据分析中只关心相关关系而不注意因果关系是不行的,必须避免模型对数据值作出“过度拟合”,她还指出尤需注意不能以为大数据可以完全替代小数据,她呼吁要防止坠入“大数据陷阱”,力戒“大数据自大”。我十分赞同沈艳的观点。沈教授所指出的问题正是若干年来我们在推进互联网金融发展中所一直十分注意和努力想解决的问题。
撇开银行在产品研发、客户营销、员工及机构管理等方面的数据应用问题暂且不谈,就说银行最常见也最重视的风险管理,多年来许多银行尤其是一些大中型银行都在如何利用数据技术提升风险管控能力方面进行了很多的探索,做出了不懈的努力。例如,工商银行在估算客户的违约概率(PD)、违约损失率(LGD)的时候,十分注意把数据长度作为风险参数量化过程中的一个重要因素,坚持要求数据观察期起码必须涵盖一个完整的经济周期,以努力避免简单地以昨天的数据来说明今天和预测明天。现在工商银行非零售业务和零售业务的客户违约率、损失率数据积累长度均已超过12年。同时包括工商银行在内的不少银行还建立起了全行数据质量的管理标准和平台,不断进行内部评级的复核验证,以尽可能减少失真数据的干扰和影响。
为了能够对各种风险进行量化,在信用风险管理方面仅工行就开发了34个法人客户评级模型,实现了对所有法人客户违约概率(PD)的计量,开发了175个信贷产品的3类债项评级模型,实现了对违约损失率(LGD)的计量。对零售业务,工行还开发了75个信用评分模型,覆盖了个人客户准入、账户信贷审批和业务管理的完整业务生命周期。在面对市场风险(因市场价格例如利率、汇率、债券股票价格、商品价格的不利变动,而使商业银行表内和表外业务发生损失的风险)的防控方面,我们制定了16个办法,开发了17个定价估值模型来进行风险价值(VaR)和压力风险价值(SVaR)的计量,并且在实践过程中每日实施返回检验,把模型计算所得的风险价值与发生的真实损益进行比较,以检验模型、方法的准确性和可靠性。在防控操作风险(主要是指由不完善或有问题的内部程序、员工行为和信息科技系统,以及外部事件所造成的风险)方面,工行开发了操作风险损失事件管理系统,分别用于对操作风险高频低损和低频高损部分的计量。
为了达到上述的这种数据采集、挖掘和应用水平,仅为积累有关数据、开发这些风险管控模型,工商银行就先后花了将近15年时间,投入了巨大的人力和财力。尽管目前这一套风险识别和计量的方法、模型已经按照国际金融稳定理事会的有关标准,经过监管部门组织的多轮评估获得通过,认定为合格,但坦率地说,我们从来也没有认为这一切已经是完美无缺的了。面对不断变化的社会经济环境,随着银行业务日新月异的发展,在数据的管理利用方面确实还有许多问题需要解决,前面的路还很长。这也正是工商银行近年来又推出了eICBC新发展战略的一个重要原因。
我之所以不惜篇幅地介绍这些情况,主要想说的就是许多事确实不像想象的那么简单。面对互联网金融大潮,在兴奋激动之余,我们还需要一种相对冷静平和的心态。如果我们真的要搞金融大数据开发,真的要靠有关数据来办互联网金融,那确实就要认真思考一下自己所谓拥有的“大数据”真的足够大了吗?足够长了吗?
自己拥有的数据中的信噪比问题有效解决了吗?自己拥有的数据分析模型如果对样本内的数据分析还算准确的话,那它对样本外的预测结果也能一样有效吗?自己所拥有的数据处理模型是否完全建立在一种假定之上了,那就是以为人们的社交行为数据、那些非结构化数据都是真实的?坦率地说,我始终认为只要一些数据生成者知晓自己的行为数据可以影响自己的利益(例如可以获得信誉、信用积分,可以获得授信融资等),那对这部分数据的可靠性就有质疑的理由。这也许就是人文科学领域的“测不准原理”。现在各种花样百出的水军现象已经一再提示我们,真是“不能天真地认为数据使用者和数据生成机构都是无意识生产大数据的”。
上述这些还没有涉及诸如homes系统、高频交易等技术在这一轮股市风波中的作用究竟应该如何认定的问题。尽管对此还可能有这样那样的看法,但可以确定的是,在某些条件下,所谓的技术中性在面对市场时是完全可能发生变异的。
总之,我认为金融的创新、互联网金融的发展,除了技术,还需要一系列的条件支撑,包括营造一种良好的文化氛围。在眼花缭乱之中,要力戒浮躁,脚踏实地。互联网技术是时代进步的标志,是现代文明的产物,它与那些江湖气其实是不搭的。诸如“流量为王,就是要靠烧钱来吸引客户”,“互联网就是财富重分的过程,就是赢者通吃的游戏”,“羊毛出在猪身上,猴数钱,牛买单”等说法,如果仅是开开玩笑,说说段子,那也未尝不可,但作为一个要对投资者负责、对债权人负责、对债务人负责、对市场稳定负责的金融从业者来说,如果把这真的当成了自己的经营理念,那是万万不可的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
CDA数据分析师 出品 作者:李诗怡 一、数据分析四大思维 1. 对比思维:没有对比就没有分析 核心观点:单独一个数字没有意义,有 ...
2026-10-05Kimball 是方法,星型模型是它产出的形状。 很多人把"Kimball vs 星型模型"当成一道选择题——这本身就是个误会:Kimball 是动词 ...
2026-10-05写在开头 老板在微信上甩来一句: "帮我看下为什么销量跌了。" ” 你回工位,打开 SQL,开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23