京公网安备 11010802034615号
经营许可证编号:京B2-20210330
互联网金融创新:防止坠入“大数据陷阱”,除了技术还需要什么?
当今,互联网化正带动着许多行业、产业的组织变革和商业变革。在这一历史性的进程中,互联网技术的迅速发展也给金融领域的创新带来了巨大活力,显著提升了金融服务的水平。首先,从银行来说,现在银行已普遍通过互联网渠道开办各类业务,银行服务的成本有了下降(电子银行每笔交易成本大约只有银行柜台每笔交易成本的五分之一到六分之一);银行传统信贷的模式有了改变(例如工商银行(601398,股吧)无人工参与的全流程在线的网络贷款已超过其网络融资的20%);银行业务处理能力尤其是支付结算的能力和效率都有了提高(例如工商银行现在每秒钟业务交易量峰值已超过8700笔,在去年一年的电子银行交易已占全部交易的88%,电子银行交易金额达到了456万亿元,所有的异地支付早已实现实时完成。);各家银行的服务模式都已越来越多地、越来越自然地融入商业场景之中,一个覆盖和贯通金融服务、电子商务、社交生活的互联网银行架构正在不断形成和完善。其次,这些年来,各类互联网企业从事金融业务的也越来越多,互联网金融已从最初的电子商务、第三方支付等更多进入了资金募集、理财和借贷领域。如果说Paypal、ApplePay和支付宝等,是让小额支付更便捷,那么P2P、众筹包括余额宝等则是对金融资源配置方式的一种有意义的探索,它给不少人提供了一种新的投资渠道,也满足了一些人筹集资金的需求。近来,一些人又已经开始把更多注意力放到了区块链技术,不少人正在争先恐后地进行基于区块链的支付和记录技术等方面的研究和开发。
这一切都是显得那么的令人振奋,令人欣喜。但我认为在看到互联网金融快速发展所带来的种种积极变化的时候,在继续推进金融创新的过程中,似乎也应该注意两个问题,一、金融创新的全部内容是不是金融的互联网化;二、是否应该避免陷入技术至上、唯数据论的误区。第一点比较容易理解,答案也应该是明确的。关于第二点想必看法不会完全一致。我想就此谈谈一己浅见。这可以从北京大学国家发展研究院沈艳教授最近的一篇文章说起。
沈艳教授的文章题目是《大数据分析的光荣与陷阱——从谷歌流感趋势谈起》。她在文章中讲了一个故事,那就是谷歌公司在2008年11月启动了一个“谷歌流感趋势”(GoogleFluTrends,GFT)项目,这个项目曾被许多人认为是大数据分析优势的一个证明。这个项目的团队曾宣布他们通过数十亿搜索中45个可能涉及流感关键词的分析,就能够比美国疾控中心提前预报流感的发病率,从而使人们可以有充足的时间提前采取预防措施以避免患上流感。倘若真能如此,这个成果无疑具有重要的社会意义和经济价值。可惜的是2014年,美国《科学》杂志的有关文献报道了GFT在2009年没有能预测到有关流感的爆发,在2011年8月到2013年8月间的108周里,有100周预告不准(预测率是实际报告值的1.5倍多)。沈艳诘问道,为什么传说中充满荣光的大数据分析会出现如此大的系统性误差呢?她认为如果在数据分析中只关心相关关系而不注意因果关系是不行的,必须避免模型对数据值作出“过度拟合”,她还指出尤需注意不能以为大数据可以完全替代小数据,她呼吁要防止坠入“大数据陷阱”,力戒“大数据自大”。我十分赞同沈艳的观点。沈教授所指出的问题正是若干年来我们在推进互联网金融发展中所一直十分注意和努力想解决的问题。
撇开银行在产品研发、客户营销、员工及机构管理等方面的数据应用问题暂且不谈,就说银行最常见也最重视的风险管理,多年来许多银行尤其是一些大中型银行都在如何利用数据技术提升风险管控能力方面进行了很多的探索,做出了不懈的努力。例如,工商银行在估算客户的违约概率(PD)、违约损失率(LGD)的时候,十分注意把数据长度作为风险参数量化过程中的一个重要因素,坚持要求数据观察期起码必须涵盖一个完整的经济周期,以努力避免简单地以昨天的数据来说明今天和预测明天。现在工商银行非零售业务和零售业务的客户违约率、损失率数据积累长度均已超过12年。同时包括工商银行在内的不少银行还建立起了全行数据质量的管理标准和平台,不断进行内部评级的复核验证,以尽可能减少失真数据的干扰和影响。为了能够对各种风险进行量化,在信用风险管理方面仅工行就开发了34个法人客户评级模型,实现了对所有法人客户违约概率(PD)的计量,开发了175个信贷产品的3类债项评级模型,实现了对违约损失率(LGD)的计量。对零售业务,工行还开发了75个信用评分模型,覆盖了个人客户准入、账户信贷审批和业务管理的完整业务生命周期。在面对市场风险(因市场价格例如利率、汇率、债券股票价格、商品价格的不利变动,而使商业银行表内和表外业务发生损失的风险)的防控方面,我们制定了16个办法,开发了17个定价估值模型来进行风险价值(VaR)和压力风险价值(SVaR)的计量,并且在实践过程中每日实施返回检验,把模型计算所得的风险价值与发生的真实损益进行比较,以检验模型、方法的准确性和可靠性。在防控操作风险(主要是指由不完善或有问题的内部程序、员工行为和信息科技系统,以及外部事件所造成的风险)方面,工行开发了操作风险损失事件管理系统,分别用于对操作风险高频低损和低频高损部分的计量。
为了达到上述的这种数据采集、挖掘和应用水平,仅为积累有关数据、开发这些风险管控模型,工商银行就先后花了将近15年时间,投入了巨大的人力和财力。尽管目前这一套风险识别和计量的方法、模型已经按照国际金融稳定理事会的有关标准,经过监管部门组织的多轮评估获得通过,认定为合格,但坦率地说,我们从来也没有认为这一切已经是完美无缺的了。面对不断变化的社会经济环境,随着银行业务日新月异的发展,在数据的管理利用方面确实还有许多问题需要解决,前面的路还很长。这也正是工商银行近年来又推出了eICBC新发展战略的一个重要原因。
我之所以不惜篇幅地介绍这些情况,主要想说的就是许多事确实不像想象的那么简单。面对互联网金融大潮,在兴奋激动之余,我们还需要一种相对冷静平和的心态。如果我们真的要搞金融大数据开发,真的要靠有关数据来办互联网金融,那确实就要认真思考一下自己所谓拥有的“大数据”真的足够大了吗?足够长了吗?
自己拥有的数据中的信噪比问题有效解决了吗?自己拥有的数据分析模型如果对样本内的数据分析还算准确的话,那它对样本外的预测结果也能一样有效吗?自己所拥有的数据处理模型是否完全建立在一种假定之上了,那就是以为人们的社交行为数据、那些非结构化数据都是真实的?坦率地说,我始终认为只要一些数据生成者知晓自己的行为数据可以影响自己的利益(例如可以获得信誉、信用积分,可以获得授信融资等),那对这部分数据的可靠性就有质疑的理由。这也许就是人文科学领域的“测不准原理”。现在各种花样百出的水军现象已经一再提示我们,真是“不能天真地认为数据使用者和数据生成机构都是无意识生产大数据的”(沈艳,2015)。
上述这些还没有涉及诸如homes系统、高频交易等技术在这一轮股市风波中的作用究竟应该如何认定的问题。尽管对此还可能有这样那样的看法,但可以确定的是,在某些条件下,所谓的技术中性在面对市场时是完全可能发生变异的。
总之,我认为金融的创新、互联网金融的发展,除了技术,还需要一系列的条件支撑,包括营造一种良好的文化氛围。在眼花缭乱之中,要力戒浮躁,脚踏实地。互联网技术是时代进步的标志,是现代文明的产物,它与那些江湖气其实是不搭的。诸如“流量为王,就是要靠烧钱来吸引客户”,“互联网就是财富重分的过程,就是赢者通吃的游戏”,“羊毛出在猪身上,猴数钱,牛买单”等说法,如果仅是开开玩笑,说说段子,那也未尝不可,但作为一个要对投资者负责、对债权人负责、对债务人负责、对市场稳定负责的金融从业者来说,如果把这真的当成了自己的经营理念,那是万万不可的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
逻辑回归是数据分析、机器学习、统计建模中应用最广泛的二分类预测模型,常用于风险判断、行为预测、归因分析等场景。在SPSS、Py ...
2026-06-02数字经济时代,市场竞争日趋同质化,用户消费需求愈发个性化、多元化,传统依托经验、粗放式、广撒网的营销模式弊端日益凸显。长 ...
2026-06-02 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-06-02在市场竞争日趋饱和、用户需求不断细分的当下,企业创业创新、产品迭代与市场拓展不再依赖经验决策,而是需要系统化、工具化的商 ...
2026-06-01【核心关键词】调度、岗位、数据库、企业、报表、培训、程序、数据分析、数据加工、业务部门、企业数据、调度工具、业务指标、 ...
2026-06-01 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-06-01在数据统计分析、数据清洗、异常值识别与数据分布研究中,箱型图是最直观、高效、专业的可视化分析工具。相较于柱状图、折线图仅 ...
2026-05-29Tkinter是Python内置的标准GUI图形界面库,具备无需额外安装、调用简单、兼容性强、轻量化高效等优势,是Python快速开发桌面小程 ...
2026-05-29 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-05-29【核心关键词】大数据、经理、专业、金融、客户、传统、建模、数据产品、互联网金融、产品经理、数据分析、金融行业、数据模型 ...
2026-05-28 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-05-28随着大数据技术的快速普及,各行各业积累了海量的用户数据、交易数据、生产数据与行为数据。单纯的数据统计与报表分析只能呈现表 ...
2026-05-28在Python网络请求、接口测试、数据爬取、业务对接开发中,Requests库是最简洁、最高效的HTTP请求工具,凭借简洁的语法、完善的适 ...
2026-05-272025 年,零售与服务行业的竞争已从 “经验驱动” 全面转向 “数据驱动”。中小企业门店普遍面临数据零散、分析浅层、决策凭感觉 ...
2026-05-27 很多数据分析师每天都在写SQL,但当被问到“数据查询语言(DQL)的本质是什么”“SELECT语句中各子句的书写顺序与实际执行顺 ...
2026-05-27在统计学分析、实验研究、业务数据复盘过程中,单因素方差分析是检验自变量对因变量是否存在显著影响的核心方法。其中,两个水平 ...
2026-05-26【核心关键词】算法、客户、大数据、互联网、调优、建模、模型优化、机器学习、评分卡模型、模型开发、智能风控、业务场景、数 ...
2026-05-26 很多数据分析师写过无数个 SELECT,但当被问到“新建一张表,该如何定义字段类型来保证数据质量”“创建视图和存储物理表有 ...
2026-05-26在数据清洗、统计分析与数据质量检测工作中,箱型图(又称箱线图、Box Plot)是最直观、最高效的可视化分析工具之一。相较于柱状 ...
2026-05-25在大数据分析、数据清洗、质量管控、风险监测等领域,异常数据识别是保障数据质量、确保分析结论精准、规避业务决策失误的核心基 ...
2026-05-25