
大数据工作的正确打开姿势
“运用大数据战略实践的关键问题不是数据规模或高精尖技术,而是如何利用数据迅速产生价值,如何用数据改变企业的经营管理方式。企业越早从数据中洞察事实,并据此快速做出行动越早受益。
最近跟一家著名互联网企业的首席架构师讨论起了数据的话题,得知其正为数据迅速膨胀却无法很快产生价值而发愁。我开玩笑说;“您这是饱汉子不知道饿汉子饥,我们想数据都想疯了”。其回复:“这些数据消耗的资源实在太庞大了!若不能产生价值,很难维持这样的运作模式”。十分认同这个观点,回顾一年来实施公司大数据战略中的实践,关键问题的确不是数据的大小,而是如何利用数据迅速产生价值。
大多数传统企业习惯于依靠经验凭直觉分析经营管理中的具体问题,提出相关解决思路并安排改进措施,然后再重复这个循环。这种工作方法在过去也曾经十分有效,特别是在企业问题比较明显的情况下,能够快速反应做出调整并取得成效。这种企业的经营管理方式类似骑自行车,凭经验直觉就可以安全地前进了。
信息化时代市场竞争进一步加剧,企业的运作越来越复杂,充满了各种风险和不确定性,企业核心能力的主要差异越来越体现在各个细节之中。企业需要快速且安全的发展,其经营管理犹如驾驶汽车,没有仪表盘肯定无法做到安全高速的行驶。互联网时代下,数据收集更为方便,数据更能够反映企业的具体运营细节状况,相当于可以建立企业经营的驾驶仪表盘。
若仍依靠定性和数据统计简单分析,凭经验大致判断问题形成改进方案的做法,没有客观的评价基准,无法准确判断问题程度和改进效果,不能让参与各方形成统一的共识,难以在现代市场竞争中取得优势地位。必须引入量化分析管理的方法,通过数据从具体细节中发现衡量问题,协同各方实施有针对性的优化措施。
用数据建模的方式自动识别问题并采取行动,可以更好地为企业经营管理服务。类似汽车辅助自动驾驶功能,汽车里的电脑根据驾驶者的要求,对汽车各种传感器收集上来的自身及周边各项数据进行模型计算,确定汽车相应的方向和速度,保证车辆高效安全的行驶。未来金融企业经营更像驾驶喷气式飞机,没有基于数据建模的辅助驾驶系统帮助,肯定无法航行。
未来的金融竞争一定会比拼数据建模能力,若不尽快在精准营销、风险识别、产品个性化定价等方面开展数据建模实践,就很难形成相应的核心竞争力。
传统企业中基于经验习惯的工作方法已经运作了很长时间,让其改变为基于量化分析和数据建模的工作方法会十分困难。这就要求企业最高决策领导提出硬性要求,将数据应用作为关键工作部署下去,并在企业各部门的年度考核目标中增加相应的指标,逐渐形成使用数据的经营管理文化。
企业为迎接数据时代的到来,需要建立一支数据分析队伍,并设置独立的部门。他们的职责任务就是用数据帮助寻找和解决企业经营管理中存在的问题,提升企业的核心竞争能力。数据分析人员不同于IT人员,他们更多需要具有科学抽象思维能力,而非工程思维能力。部门建设初期可以从外部引进人才,也可以从企业内部寻找有数学、物理、统计学历背景的员工加入进来。
数据专业人员由于专业特点的局限,对业务知识掌握和理解存在缺陷。因其分析对象更多为企业专业的内容,若不能与业务专业形成很好的互动,数据分析工作很难开展,搞不好会陷入自我孤立的状况。企业的业务人员虽然对业务本身非常熟悉,但对数据应用缺乏概念。必须让数据人员前置到业务一线中,与业务人员共同面对企业的日常经营活动,双方取长补短逐步尝试利用数据去改进业务工作。
数据人员要主动学习业务知识,尝试在某一局部用数据发现和解决业务问题,然后与业务人员交流讨论,看是否能够对业务有些帮助。业务人员要主动学习理解数据应用的知识和方法,结合自身业务情况进行思考,努力尝试运用数据提升经营管理效率。可以考虑客户数字画像、风险定价、营销转换,甚至是内部员工挽留、办公物品合理使用、成本绩效等等各方面的数据应用。
刚开始做出来的成果很可能会非常粗糙,或根本不靠谱,但经过数据与业务人员反复探讨打磨,相关的数据应用会逐步取得成效。通过在业务实际工作中的数据应用,观察其效果,再逐步完善,直至最终固定到业务日常工作中。局部突破后,逐步扩大数据应用的范围,获取更大的效益。
数据应用先不要涉及解决复杂的问题,避免起步阶段迟迟无法打开局面。最好从解决简单问题做起,可以考虑直接引入其他外部公司的成功实践,迅速产生实际成果,让大家快速看到数据应用带来的成效。根据二八原理,这些简单的数据应用很可能会产生意想不到的效果。通过对这些成功数据应用案例的宣传,引导大家进一步认识到数据所能够带来的价值,加大在数据应用方面投入资源,启动更多的相关项目。
传统金融行业因为过去IT资源相对昂贵,本着节省开销的考虑,只记录与金融交易相关的数据。内容主要为客户状况、合约和相关交易服务状况,而其他过程行为数据一般不做记录。这造成其数据所覆盖的范围较窄,难以支撑大规模的数据应用。现代IT技术降低了IT成本,同时随着数据应用带来价值的提升,各金融企业扩大数据收集范围和粒度的意识普遍提高,为更大规模和更加深入的数据应用创造了条件。
要根据所涉及业务领域的相关问题,提出需要增加收集哪些数据,然后由IT人员在现有系统中进行埋点,做数据记录。金融机构所拥有的客户行为数据比较有限,无法满足很多算法预测模型的要求,可以考虑在法律容许的范围内,与外部数据公司合作,获取更多的数据支持。
数据有其时效性,不能立即使用的数据会随着时间的推移逐步失去其自身价值,且还会占用大量的IT资源。那种先获取数据后考虑数据应用场景的做法,成本比较高。因此要避免没有数据应用目标就大量获取数据的做法。
数据整理和数据质量管理也要面向解决实际问题的需要,避免盲目追求完美。虽然数据整理和数据质量管理对于后续的数据应用会带来很大帮助,但其也会消耗很多资源。特别对于业务部门来说,提高数据的质量意味着大量工作,甚至可能会影响业务流程的效率。可以计算相关成本与后续可能带来的收益进行比较做出决定。
比如为了让客户准确填写电话号码,有些企业要求客户发短信确认码。这显然降低了业务操作的流畅程度,但若电话号码是后续服务所必不可少的,那么这样的改变就应该尽快实施。
企业会产生大量数据,不同业务单元和部门所产生的数据不同,数据使用的情况也不同,很可能会形成企业内的数据交叉使用。为避免内部的数据使用冲突造成数据的混乱,就需要明确各数据的主人,赋予其管理数据的责任和权利。原则上谁产生的数据谁就拥有这些数据,谁就对这些数据负责,其他人要使用数据必须经过数据拥有者的同意。
数据拥有者要管理保护好自己的数据,同时要考虑如何让这些数据产生更大的价值。可以考虑在企业内部形成数据使用的模拟收费机制。确定一合理的价格,让其他部门的数据使用方支付给数据拥有方相应的费用,取得数据的使用权,并在数据拥有方的监督下合理使用数据。
数据使用方的资金额度由企业根据需要划定,鼓励其更经济地开展项目。通过考核数据拥有者收费的情况,对其相关服务工作予以奖惩。鼓励数据拥有者将数据提供给大家使用,创造更大的价值。质量越高的数据越有人愿意使用,数据拥有者会不断提高数据的数量和质量,满足数据使用者的需要。
数据应用需要配套的软硬件环境支持,需要在企业内建设一套共享的数据应用平台环境,并安排专业团队提供服务支持。采用同一个数据应用环境,不但可以大幅度节省采购、建设及运维成本,还可以保证各业务部门数据相互间的共享使用,也可以非常便捷地开展数据应用交流和相关应用模型的借鉴复用。
数据平台建设要循序渐进,配置够近期使用就可以了,后续逐年确认是否需要扩容和升级。使用过好的设备和软件工具,过大的配置,很可能因数据量和应用程度无法达到预期,造成相关投入闲置浪费。随着技术的快速进步,设备及软件工具会越来越高效,单位处理能力的价格也会越来越低。
而数据应用的不断深入,各个平台使用者会对平台的数据存储量、计算能力及建模工具等方面提出更高要求,更多成功的数据应用会使得公司愿意增加平台投入。最经济的做法是根据数据应用的情况及用户的需要,逐步扩充或更换设备,采购更加先进的软件工具。
数据平台存放着公司全部数据资产,如果数据失密,不但给公司商誉带来重大的损害,也会影响到客户的切身利益。公司必须明确平台管理者数据安全的管理责任和权力,提出数据安全目标要求。要建立数据安全的管理规章制度,严格遵照执行。
数据平台要有完善的安全管控设计,数据使用必须在授权状况下进行,所有数据操作行为均要记载下来,以供后续审计检查使用。要做好数据网络隔离措施,抵御网络数据攻击。重要敏感数据要进行加密或变形,避免直接暴露在外。
大数据工作的重点不是数据规模或高精尖技术,而在于用数据改变企业的经营管理方式。企业越早从数据中洞察事实,并据此快速做出行动越早受益。不要将资源投放在建设豪华的设备环境和队伍上面,不用先准备大规模数据,只要开始实践就会有收获。想在水中遨游?那就赶快找个安全的水池,跳下去吧!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01