
大数据之于教育之大机遇与大挑战
大数据概念一提出就得到了学术界、政府、企业以及社会的普遍重视,在全球范围内掀起了大数据管理与应用的热潮。在此背景下,贵州省政府创建了中国首个国家级大数据发展集聚区——贵阳·贵安大数据产业发展集聚区,将大数据产业作为破解发展瓶颈、实现后发赶超的战略选择,调整优化全省的产业结构、推动大数据在重点行业领域深度应用,培育大数据产业链和骨干企业,同时也为全国其他地区和各行业领域发展大数据提供有益的尝试和探索。为保证上述目标的实现,大数据的应用是首当其冲的关键,而应用大数据为风险管理服务则是一个极具重要意义的大数据应用领域。
企业在经济环境下生存、在市场环境中竞争,面临着诸多不确定性;这些不确定性给企业的经营管理带来了极大的风险。为了及时识别这些风险并进行有效的管控,需要对各种数据进行分析,从中发现企业经营中的策略失误和执行缺陷。传统的风险识别方法主要是通过对财务数据或者财务报表数据的分析来展开的,然而由于财务数据的滞后性、统计口径形成的失真,以及频发的财务粉饰或财务欺诈,造成了仅仅用财务数据来识别分析企业经营风险的局限性。为克服上述缺点,发展利用大数据来进行风险识别与管理则是一条非常诱人并且实践证明具有现实意义的路径,这也是大数据应用的一个重要方面。
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。应用大数据来识别企业的经营风险就是要从全社会各个渠道将与企业经营相关的全方位信息进行采集、整合、处理,通过特定的风险识别模型(机理模型、统计模型、规则模型等)辨识风险,从而采取有效的风险应对。目前金融业是应用大数据为风险管理服务的主要行业;工商企业也开始应用大数据来管理交易对手的应收账款风险或信用风险、股权投资风险、板块或资产配置风险等。服务于风险管理的大数据主要来源于企业、工商局、市场交易信息、公检法关于经济案件的信息以及表征企业经营属性的其他信息,通过对这些大数据的统计分析构建了识别风险、应对风险的新型风险管理工具。
目前在风险管理过程中已使用的大数据
应用大数据服务于风险管理,就是通过采集各种类型的、可以从不同侧面反映企业或个体工商户经营状态、经营品质和经营能力的数据,通过对数据的存储、整理与整合、统计以及经过风险辨识模型的加工处理,来进行风险揭示或风险预警,达成有效的风险管理。下面我们来分别论述可以用于风险管理的各类“大数据”。
1工商数据
所谓工商数据是指来自于工商局的企业注册信息以及后续的变更信息,主要反映了企业的性质、经营范围以及股东或控制人的状况。这其中非常有价值的是股东数据,通过识别股东在多家企业的控股状况,当其中某一家企业出现风险时,有可能传递到或殃及到其控制的其他企业。另外,通过股东的关联控股企业的监测与分析,也可以发现其中负面的或形成财务粉饰的关联交易数据。
2公检法数据
公检法数据目前主要是指来源于法院系统的经济案件数据以及来自于公安机关的金融欺诈报案数据。法院的经济案件数据已被商业银行广发使用,通过经济纠纷事件来推断贷款企业或申请贷款企业的信用状况以及可能面临的道德风险;而公安局的报案数据对于发现金融欺诈、非法集资、恶性高利贷等有着直接的应用价值。
3海关数据
中国外向型经济的特点以及中国经济与世界经济体系的日益融合,使得海关统计的企业进出口贸易数据集中地反映了商品进出口企业的经营状况,特别是较长周期的数据监测与分析,很好地揭示了这些企业的经营风险,是银行识别贷款客户风险以及工商企业识别应收账款风险的重要信息源。
4征信数据
人民银行的征信数据是目前国内积累时间最久、覆盖面最大的数据源,涵盖了历史上在商业银行贷款违约的客户信息。目前人民银行征信数据属于限制开放的信息源,主要服务于商业银行以及准许的非银金融机构。各省在人民银行征信数据之外,还尝试建立了联合征信体系,是对人民银行征信数据的有效补充,在风险管理应用中也具有重要意义。
55.银监会关联客户数据
银监会向商业银行披露在商业银行贷款客户的关联企业数据,揭示了贷款企业在多家银行贷款和贷款违约的信息。此外,还揭示了信用担保中的关联关系,即互相担保和循环担保情况,为商业银行进行贷款审批、贷后风险管理、担保管理等提供了分析和决策依据。
66.环保数据
环保部以及各地环保局关于对违反环境保护法企业的立案及处罚数据,一方面反映了当事企业的社会责任管理缺失、信用状况恶化的状态;另一方面也反映了由于环保限制或环保处罚,而可能导致的企业经营的不确定性或者可能面临的巨大经营风险。这部分数据往往也是银行或交易对手进行相关决策的重要参考信息。
7仓储物流数据
对于制造业或类制造业企业而言,仓储物流数据准确地反映了企业经营的“繁荣”程度,同时这个数据也是供应链金融或供应链融资的基础数据。掌握企业的仓储物流数据,就可以绕开通过财务报表来分析企业经营风险的缺陷,特别是对于贸易融资(流动性贷款)和应收账款风险管理有着信息采集直接、风险控制便利的种种优点。
8社保数据
企业缴纳社会保险的充足性和及时性,从另一个层面反映了企业的经营状态。换句话说,一个经营较差或面临严峻经营风险的企业,可能无力支付足额(优惠的)的社会保险缴纳额或者出现不能及时缴纳社会保险,这显然是一个明确的企业面临经营风险的信号。
9工资账户数据
工资通常是企业运行成本中占比最高的一项支出,对工资账户数据的监测以及进行时间序列的波动统计分析,往往可以从这一侧面折射出企业的经营状况或兴旺的程度。长久以来商业银行就有过通过对贷款企业工资账户的监测来识别其信用风险的应用实践,实际上工资账户的监测与分析不仅能够反映企业的经营风险,还可以对工资定价以及劳动力市场的成本水平提供极有价值的数据。
10用电用水数据
制造业或类制造业企业的用电用水数据从一个特定的视角反映了其生产的繁忙程度。对这类的数据的监测及波动分析,也可以用来反映了企业的经营风险,它是企业全部风险识别的一个重要补充维度。
11舆情或负面事件数据
舆情或负面事件数据是指在互联网上新闻、微信、微博、论坛以及博客等出现的关于特定机构的负面消息,其表现形式可以是一段文字、视屏、音频、图片或其他组合形式。关于特定机构的负面消息或负面事件,可能揭露了其面临的各种风险,甚至是面临的危机,这在各种风险管理中都不应该忽视的重要信息或风险预警信号。
12电商交易数据
电商网站上的交易数据较好地反映了商品生产企业或商品销售企业的经营状况,据此数据来评定商户的信用等级或信用风险在以往获得了较为满意的准确度。因此,对于从事贷款业务和投资业务的金融机构,如果能获得企业的交易数据就可以较便利地识别企业经营风险。之所以仅提及电商是因为其上的交易数据是电子化的,并且数据管理集中、商品生产企业或商品销售企业的覆盖面较大。
13财务报表数据
随着中国经济的发展,大量的中国企业在全球范围内成为上市公司。这些企业多数通常经营业绩较好,在其所在的行业中颇具有代表性或先进性。因此广泛采集上市公司定期披露的财务报表可以较为便利地将相关指标加工成企业对标数据,通过对标来发现企业的经营管理风险。
除了上述各种类型已经存在的“大数据”外,行业的经济景气分析报告、国家宏观经济指标数据、市场利率、汇率以及其他的市场指数指标数据等也是揭示企业可能受此影响而面临特定风险的重要信号,也应该纳入大数据应用于风险管理的范畴。
应用大数据需要的专项技术和措施
在前述大数据采集、存储、整合梳理的基础上,形成了面向风险管理应用的数据集合或数据仓库。然而要想迅捷、有效地使用这些数据为风险管理服务,还必须发展和创立一些专项的技术,包括大数据检索技术、基于大数据的风险识别模型、云平台下的风险预警机制以及一旦发现风险后的信息处置机制等。
1数据检索技术
大数据搜索引擎是大数据应用的基本工具,通过搜索引擎快速地提取我们需要的风险信号,进行风险分析和风险预警。市面上类似Hadoop的大数据搜索引擎,对于服务于风险管理的大数据而言有着成本过于高昂的缺点,需要发展一种专门用于二次信息采集、围绕着风险主题组织数据的低成本检索工具,作为各种风险管理应用提取所需信息的工具。
2风险识别模型
利用大数据来识别特定对象的风险,必然面临着风险信号出处多样、内容驳杂、质量良莠不齐的状况。在这种情况下,传统的风险识别模型往往不能胜任有效辨识风险的任务,需要发展多种基于规则的、基于机理的、基于多种信息整合的以及基于统计学原理的大数据风险识别模型,才能保证大数据有效地服务于风险管理。
3风险预警机制
在风险识别模型的基础上,还需要开发出一整套基于大数据信息特征的风险容忍度规则体系,针对辨识出的风险决定是否发出预警消息。作为一种集中式的大数据服务体系(云体系)由于其服务对象的多样性,风险容忍度必然是多样化的,这使得建立适用于多种服务对象的风险容忍度规则体系存在着工作量繁重、提取风险偏好困难的障碍,需要广泛地调查研究、收集信息来建立有实用价值的容忍度规则体系。
4大数据管理运营机制
为保证大数据能够高质量、持续地为风险管理服务,需要建立一整套的大数据维护、管理和营销的机制,按照市场化的企业经营管理模式为那些需要通过大数据来进行风险管理的机构(客户)提供优质的信息产品,包括大数据本体上的打包数据、风险分析、风险预警、行业状态、对标数据、竞争分析等等,让风险管理大数据服务在企业化运营的体制下进入良性循环、永续经营的状态。
应用大数据面临的挑战
建立上述服务于风险管理的大数据管理体系,我们还面临着一系列的困难与挑战,主要表现在法律法规限制或法律法规配套、数据采集的技术壁垒以及数据服务的权限配置或数据安全的限制等上面。这些障碍如果不能有效破除,势必会极大影响大数据服务于风险管理的实际应用,甚至造成其社会经济价值的大大降低。
法律法规限制是应用大数据为风险管理服务的第一个障碍。我们面临的困境是上面提及的各类数据在现实中都有且保存完好,但其中相当一部分信息在采集上却遇到了各种限制,需要在隐私保护、证券法、数据安全或数据保密等法律或规则下,建立适度的法律法规配套,使我们能够在一定的规则下采集到需要的数据,创建大数据应用的基础环境。
另外,应用于风险管理的大数据来源于多个渠道,在这些原始数据的存储保管上,存在着众多异构的管理体系,从中采集数据势必会遇到数据接口复杂、工作量巨大的困难,更为重要的是数据标准化管理将面临严峻的挑战,需要充分研究不同体系中数据存储的结构和特性,建立适用于集中管理框架的数据标准,保证采集的大数据具有较高的能够满足风险管理应用而要求的数据质量。
风险管理大数据应用对象的确定涉及到了大数据体系运营的商业模式的选择,这是一个需要认真思考的重大问题。换句话说,如果不能在一个确认的商业模式下来进行大数据产品结构的设计,就很难实现大数据风险管理应用的价值,也就根本不能保证大数据应用风险管理这项事业的成功。然而商业模式的设计牵扯到组织结构、资金募集、股权关系、治理结构、客户营销、核心技术、经营管理方方面面,是一项需要全面布局、综合平衡的系统工程,是应用大数据为风险管理服务这项事业的成功保证。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01