
防止坠入“大数据陷阱” 除了技术还需要什么
面对互联网金融大潮,在兴奋激动之余,我们还需要一种相对冷静平和的心态。如果我们真的要搞金融大数据开发,真的要靠有关数据来办互联网金融,那确实就要认真思考一下自己所谓拥有的“大数据”真的足够大了吗?足够长了吗?
当今,互联网化正带动着许多行业、产业的组织变革和商业变革。在这一历史性的进程中,互联网技术的迅速发展也给金融领域的创新带来了巨大活力,显着提升了金融服务的水平。首先,从银行来说,现在银行已普遍通过互联网渠道开办各类业务,银行服务的成本有了下降(电子银行每笔交易成本大约只有银行柜台每笔交易成本的五分之一到六分之一);银行传统信贷的模式有了改变(例如工商银行无人工参与的全流程在线的网络贷款已超过其网络融资的20%);银行业务处理能力尤其是支付结算的能力和效率都有了提高(例如工商银行现在每秒钟业务交易量峰值已超过8700笔,在去年一年的电子银行交易已占全部交易的88%,电子银行交易金额达到了456万亿元,所有的异地支付早已实现实时完成。);各家银行的服务模式都已越来越多地、越来越自然地融入商业场景之中,一个覆盖和贯通金融服务、电子商务、社交生活的互联网银行架构正在不断形成和完善。
其次,这些年来,各类互联网企业从事金融业务的也越来越多,互联网金融已从最初的电子商务、第三方支付等更多进入了资金募集、理财和借贷领域。如果说Paypal、ApplePay和支付宝等,是让小额支付更便捷,那么P2P、众筹包括余额宝等则是对金融资源配置方式的一种有意义的探索,它给不少人提供了一种新的投资渠道,也满足了一些人筹集资金的需求。近来,一些人又已经开始把更多注意力放到了区块链技术,不少人正在争先恐后地进行基于区块链的支付和记录技术等方面的研究和开发。
这一切都是显得那么的令人振奋,令人欣喜。但我认为在看到互联网金融快速发展所带来的种种积极变化的时候,在继续推进金融创新的过程中,似乎也应该注意两个问题,一、金融创新的全部内容是不是金融的互联网化;二、是否应该避免陷入技术至上、唯数据论的误区。第一点比较容易理解,答案也应该是明确的。关于第二点想必看法不会完全一致。我想就此谈谈一己浅见。这可以从北京大学国家发展研究院沈艳教授最近的一篇文章说起。
沈艳教授的文章题目是《大数据分析的光荣与陷阱——从谷歌流感趋势谈起》。她在文章中讲了一个故事,那就是谷歌公司在2008年11月启动了一个“谷歌流感趋势”(GoogleFluTrends,GFT)项目,这个项目曾被许多人认为是大数据分析优势的一个证明。这个项目的团队曾宣布他们通过数十亿搜索中45个可能涉及流感关键词的分析,就能够比美国疾控中心提前预报流感的发病率,从而使人们可以有充足的时间提前采取预防措施以避免患上流感。倘若真能如此,这个成果无疑具有重要的社会意义和经济价值。
可惜的是2014年,美国《科学》杂志的有关文献报道了GFT在2009年没有能预测到有关流感的爆发,在2011年8月到2013年8月间的108周里,有100周预告不准(预测率是实际报告值的1.5倍多)。沈艳诘问道,为什么传说中充满荣光的大数据分析会出现如此大的系统性误差呢?她认为如果在数据分析中只关心相关关系而不注意因果关系是不行的,必须避免模型对数据值作出“过度拟合”,她还指出尤需注意不能以为大数据可以完全替代小数据,她呼吁要防止坠入“大数据陷阱”,力戒“大数据自大”。我十分赞同沈艳的观点。沈教授所指出的问题正是若干年来我们在推进互联网金融发展中所一直十分注意和努力想解决的问题。
撇开银行在产品研发、客户营销、员工及机构管理等方面的数据应用问题暂且不谈,就说银行最常见也最重视的风险管理,多年来许多银行尤其是一些大中型银行都在如何利用数据技术提升风险管控能力方面进行了很多的探索,做出了不懈的努力。例如,工商银行在估算客户的违约概率(PD)、违约损失率(LGD)的时候,十分注意把数据长度作为风险参数量化过程中的一个重要因素,坚持要求数据观察期起码必须涵盖一个完整的经济周期,以努力避免简单地以昨天的数据来说明今天和预测明天。现在工商银行非零售业务和零售业务的客户违约率、损失率数据积累长度均已超过12年。同时包括工商银行在内的不少银行还建立起了全行数据质量的管理标准和平台,不断进行内部评级的复核验证,以尽可能减少失真数据的干扰和影响。
为了能够对各种风险进行量化,在信用风险管理方面仅工行就开发了34个法人客户评级模型,实现了对所有法人客户违约概率(PD)的计量,开发了175个信贷产品的3类债项评级模型,实现了对违约损失率(LGD)的计量。对零售业务,工行还开发了75个信用评分模型,覆盖了个人客户准入、账户信贷审批和业务管理的完整业务生命周期。在面对市场风险(因市场价格例如利率、汇率、债券股票价格、商品价格的不利变动,而使商业银行表内和表外业务发生损失的风险)的防控方面,我们制定了16个办法,开发了17个定价估值模型来进行风险价值(VaR)和压力风险价值(SVaR)的计量,并且在实践过程中每日实施返回检验,把模型计算所得的风险价值与发生的真实损益进行比较,以检验模型、方法的准确性和可靠性。在防控操作风险(主要是指由不完善或有问题的内部程序、员工行为和信息科技系统,以及外部事件所造成的风险)方面,工行开发了操作风险损失事件管理系统,分别用于对操作风险高频低损和低频高损部分的计量。
为了达到上述的这种数据采集、挖掘和应用水平,仅为积累有关数据、开发这些风险管控模型,工商银行就先后花了将近15年时间,投入了巨大的人力和财力。尽管目前这一套风险识别和计量的方法、模型已经按照国际金融稳定理事会的有关标准,经过监管部门组织的多轮评估获得通过,认定为合格,但坦率地说,我们从来也没有认为这一切已经是完美无缺的了。面对不断变化的社会经济环境,随着银行业务日新月异的发展,在数据的管理利用方面确实还有许多问题需要解决,前面的路还很长。这也正是工商银行近年来又推出了eICBC新发展战略的一个重要原因。
我之所以不惜篇幅地介绍这些情况,主要想说的就是许多事确实不像想象的那么简单。面对互联网金融大潮,在兴奋激动之余,我们还需要一种相对冷静平和的心态。如果我们真的要搞金融大数据开发,真的要靠有关数据来办互联网金融,那确实就要认真思考一下自己所谓拥有的“大数据”真的足够大了吗?足够长了吗?
自己拥有的数据中的信噪比问题有效解决了吗?自己拥有的数据分析模型如果对样本内的数据分析还算准确的话,那它对样本外的预测结果也能一样有效吗?自己所拥有的数据处理模型是否完全建立在一种假定之上了,那就是以为人们的社交行为数据、那些非结构化数据都是真实的?坦率地说,我始终认为只要一些数据生成者知晓自己的行为数据可以影响自己的利益(例如可以获得信誉、信用积分,可以获得授信融资等),那对这部分数据的可靠性就有质疑的理由。这也许就是人文科学领域的“测不准原理”。现在各种花样百出的水军现象已经一再提示我们,真是“不能天真地认为数据使用者和数据生成机构都是无意识生产大数据的”。
上述这些还没有涉及诸如homes系统、高频交易等技术在这一轮股市风波中的作用究竟应该如何认定的问题。尽管对此还可能有这样那样的看法,但可以确定的是,在某些条件下,所谓的技术中性在面对市场时是完全可能发生变异的。
总之,我认为金融的创新、互联网金融的发展,除了技术,还需要一系列的条件支撑,包括营造一种良好的文化氛围。在眼花缭乱之中,要力戒浮躁,脚踏实地。互联网技术是时代进步的标志,是现代文明的产物,它与那些江湖气其实是不搭的。诸如“流量为王,就是要靠烧钱来吸引客户”,“互联网就是财富重分的过程,就是赢者通吃的游戏”,“羊毛出在猪身上,猴数钱,牛买单”等说法,如果仅是开开玩笑,说说段子,那也未尝不可,但作为一个要对投资者负责、对债权人负责、对债务人负责、对市场稳定负责的金融从业者来说,如果把这真的当成了自己的经营理念,那是万万不可的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
剖析 CDA 数据分析师考试题型:解锁高效备考与答题策略 CDA(Certified Data Analyst)数据分析师考试作为衡量数据专业能力的 ...
2025-07-04SQL Server 字符串截取转日期:解锁数据处理的关键技能 在数据处理与分析工作中,数据格式的规范性是保证后续分析准确性的基础 ...
2025-07-04CDA 数据分析师视角:从数据迷雾中探寻商业真相 在数字化浪潮席卷全球的今天,数据已成为企业决策的核心驱动力,CDA(Certifie ...
2025-07-04CDA 数据分析师:开启数据职业发展新征程 在数据成为核心生产要素的今天,数据分析师的职业价值愈发凸显。CDA(Certified D ...
2025-07-03从招聘要求看数据分析师的能力素养与职业发展 在数字化浪潮席卷全球的当下,数据已成为企业的核心资产,数据分析师岗位也随 ...
2025-07-03Power BI 中如何控制过滤器选择项目数并在超限时报错 引言 在使用 Power BI 进行数据可视化和分析的过程中,对过滤器的有 ...
2025-07-03把握 CDA 考试时间,开启数据分析职业之路 在数字化转型的时代浪潮下,数据已成为企业决策的核心驱动力。CDA(Certified Da ...
2025-07-02CDA 证书:银行招聘中的 “黄金通行证” 在金融科技飞速发展的当下,银行正加速向数字化、智能化转型,海量数据成为银行精准 ...
2025-07-02探索最优回归方程:数据背后的精准预测密码 在数据分析和统计学的广阔领域中,回归分析是揭示变量之间关系的重要工具,而回 ...
2025-07-02CDA 数据分析师报考条件全解析:开启数据洞察之旅 在当今数字化浪潮席卷全球的时代,数据已成为企业乃至整个社会发展的核心驱 ...
2025-07-01深入解析 SQL 中 CASE 语句条件的执行顺序 在 SQL 编程领域,CASE语句是实现条件逻辑判断、数据转换与分类的重要工 ...
2025-07-01SPSS 中计算三个变量交集的详细指南 在数据分析领域,挖掘变量之间的潜在关系是获取有价值信息的关键步骤。当我们需要探究 ...
2025-07-01CDA 数据分析师:就业前景广阔的新兴职业 在当今数字化时代,数据已成为企业和组织决策的重要依据。数据分析师作为负责收集 ...
2025-06-30探秘卷积层:为何一个卷积层需要两个卷积核 在深度学习的世界里,卷积神经网络(CNN)凭借其强大的特征提取能力 ...
2025-06-30探索 CDA 数据分析师在线课程:开启数据洞察之旅 在数字化浪潮席卷全球的当下,数据已成为企业决策、创新与发展的核心驱 ...
2025-06-303D VLA新范式!CVPR冠军方案BridgeVLA,真机性能提升32% 编辑:LRST 【新智元导读】中科院自动化所提出BridgeVLA模型,通过将 ...
2025-06-30LSTM 为何会产生误差?深入剖析其背后的原因 在深度学习领域,LSTM(Long Short-Term Memory)网络凭借其独特的记忆单元设 ...
2025-06-27LLM进入拖拽时代!只靠Prompt几秒定制大模型,效率飙升12000倍 【新智元导读】最近,来自NUS、UT Austin等机构的研究人员创新 ...
2025-06-27探秘 z-score:数据分析中的标准化利器 在数据的海洋中,面对形态各异、尺度不同的数据,如何找到一个通用的标准来衡量数据 ...
2025-06-26Excel 中为不同柱形设置独立背景(按数据分区)的方法详解 在数据分析与可视化呈现过程中,Excel 柱形图是展示数据的常用工 ...
2025-06-26