京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据工作的正确打开姿势
“运用大数据战略实践的关键问题不是数据规模或高精尖技术,而是如何利用数据迅速产生价值,如何用数据改变企业的经营管理方式。企业越早从数据中洞察事实,并据此快速做出行动越早受益。
最近跟一家著名互联网企业的首席架构师讨论起了数据的话题,得知其正为数据迅速膨胀却无法很快产生价值而发愁。我开玩笑说;“您这是饱汉子不知道饿汉子饥,我们想数据都想疯了”。其回复:“这些数据消耗的资源实在太庞大了!若不能产生价值,很难维持这样的运作模式”。十分认同这个观点,回顾一年来实施公司大数据战略中的实践,关键问题的确不是数据的大小,而是如何利用数据迅速产生价值。
大多数传统企业习惯于依靠经验凭直觉分析经营管理中的具体问题,提出相关解决思路并安排改进措施,然后再重复这个循环。这种工作方法在过去也曾经十分有效,特别是在企业问题比较明显的情况下,能够快速反应做出调整并取得成效。这种企业的经营管理方式类似骑自行车,凭经验直觉就可以安全地前进了。
信息化时代市场竞争进一步加剧,企业的运作越来越复杂,充满了各种风险和不确定性,企业核心能力的主要差异越来越体现在各个细节之中。企业需要快速且安全的发展,其经营管理犹如驾驶汽车,没有仪表盘肯定无法做到安全高速的行驶。互联网时代下,数据收集更为方便,数据更能够反映企业的具体运营细节状况,相当于可以建立企业经营的驾驶仪表盘。
若仍依靠定性和数据统计简单分析,凭经验大致判断问题形成改进方案的做法,没有客观的评价基准,无法准确判断问题程度和改进效果,不能让参与各方形成统一的共识,难以在现代市场竞争中取得优势地位。必须引入量化分析管理的方法,通过数据从具体细节中发现衡量问题,协同各方实施有针对性的优化措施。
用数据建模的方式自动识别问题并采取行动,可以更好地为企业经营管理服务。类似汽车辅助自动驾驶功能,汽车里的电脑根据驾驶者的要求,对汽车各种传感器收集上来的自身及周边各项数据进行模型计算,确定汽车相应的方向和速度,保证车辆高效安全的行驶。未来金融企业经营更像驾驶喷气式飞机,没有基于数据建模的辅助驾驶系统帮助,肯定无法航行。
未来的金融竞争一定会比拼数据建模能力,若不尽快在精准营销、风险识别、产品个性化定价等方面开展数据建模实践,就很难形成相应的核心竞争力。
传统企业中基于经验习惯的工作方法已经运作了很长时间,让其改变为基于量化分析和数据建模的工作方法会十分困难。这就要求企业最高决策领导提出硬性要求,将数据应用作为关键工作部署下去,并在企业各部门的年度考核目标中增加相应的指标,逐渐形成使用数据的经营管理文化。
企业为迎接数据时代的到来,需要建立一支数据分析队伍,并设置独立的部门。他们的职责任务就是用数据帮助寻找和解决企业经营管理中存在的问题,提升企业的核心竞争能力。数据分析人员不同于IT人员,他们更多需要具有科学抽象思维能力,而非工程思维能力。部门建设初期可以从外部引进人才,也可以从企业内部寻找有数学、物理、统计学历背景的员工加入进来。
数据专业人员由于专业特点的局限,对业务知识掌握和理解存在缺陷。因其分析对象更多为企业专业的内容,若不能与业务专业形成很好的互动,数据分析工作很难开展,搞不好会陷入自我孤立的状况。企业的业务人员虽然对业务本身非常熟悉,但对数据应用缺乏概念。必须让数据人员前置到业务一线中,与业务人员共同面对企业的日常经营活动,双方取长补短逐步尝试利用数据去改进业务工作。
数据人员要主动学习业务知识,尝试在某一局部用数据发现和解决业务问题,然后与业务人员交流讨论,看是否能够对业务有些帮助。业务人员要主动学习理解数据应用的知识和方法,结合自身业务情况进行思考,努力尝试运用数据提升经营管理效率。可以考虑客户数字画像、风险定价、营销转换,甚至是内部员工挽留、办公物品合理使用、成本绩效等等各方面的数据应用。
刚开始做出来的成果很可能会非常粗糙,或根本不靠谱,但经过数据与业务人员反复探讨打磨,相关的数据应用会逐步取得成效。通过在业务实际工作中的数据应用,观察其效果,再逐步完善,直至最终固定到业务日常工作中。局部突破后,逐步扩大数据应用的范围,获取更大的效益。
数据应用先不要涉及解决复杂的问题,避免起步阶段迟迟无法打开局面。最好从解决简单问题做起,可以考虑直接引入其他外部公司的成功实践,迅速产生实际成果,让大家快速看到数据应用带来的成效。根据二八原理,这些简单的数据应用很可能会产生意想不到的效果。通过对这些成功数据应用案例的宣传,引导大家进一步认识到数据所能够带来的价值,加大在数据应用方面投入资源,启动更多的相关项目。
传统金融行业因为过去IT资源相对昂贵,本着节省开销的考虑,只记录与金融交易相关的数据。内容主要为客户状况、合约和相关交易服务状况,而其他过程行为数据一般不做记录。这造成其数据所覆盖的范围较窄,难以支撑大规模的数据应用。现代IT技术降低了IT成本,同时随着数据应用带来价值的提升,各金融企业扩大数据收集范围和粒度的意识普遍提高,为更大规模和更加深入的数据应用创造了条件。
要根据所涉及业务领域的相关问题,提出需要增加收集哪些数据,然后由IT人员在现有系统中进行埋点,做数据记录。金融机构所拥有的客户行为数据比较有限,无法满足很多算法预测模型的要求,可以考虑在法律容许的范围内,与外部数据公司合作,获取更多的数据支持。
数据有其时效性,不能立即使用的数据会随着时间的推移逐步失去其自身价值,且还会占用大量的IT资源。那种先获取数据后考虑数据应用场景的做法,成本比较高。因此要避免没有数据应用目标就大量获取数据的做法。
数据整理和数据质量管理也要面向解决实际问题的需要,避免盲目追求完美。虽然数据整理和数据质量管理对于后续的数据应用会带来很大帮助,但其也会消耗很多资源。特别对于业务部门来说,提高数据的质量意味着大量工作,甚至可能会影响业务流程的效率。可以计算相关成本与后续可能带来的收益进行比较做出决定。
比如为了让客户准确填写电话号码,有些企业要求客户发短信确认码。这显然降低了业务操作的流畅程度,但若电话号码是后续服务所必不可少的,那么这样的改变就应该尽快实施。
企业会产生大量数据,不同业务单元和部门所产生的数据不同,数据使用的情况也不同,很可能会形成企业内的数据交叉使用。为避免内部的数据使用冲突造成数据的混乱,就需要明确各数据的主人,赋予其管理数据的责任和权利。原则上谁产生的数据谁就拥有这些数据,谁就对这些数据负责,其他人要使用数据必须经过数据拥有者的同意。
数据拥有者要管理保护好自己的数据,同时要考虑如何让这些数据产生更大的价值。可以考虑在企业内部形成数据使用的模拟收费机制。确定一合理的价格,让其他部门的数据使用方支付给数据拥有方相应的费用,取得数据的使用权,并在数据拥有方的监督下合理使用数据。
数据使用方的资金额度由企业根据需要划定,鼓励其更经济地开展项目。通过考核数据拥有者收费的情况,对其相关服务工作予以奖惩。鼓励数据拥有者将数据提供给大家使用,创造更大的价值。质量越高的数据越有人愿意使用,数据拥有者会不断提高数据的数量和质量,满足数据使用者的需要。
数据应用需要配套的软硬件环境支持,需要在企业内建设一套共享的数据应用平台环境,并安排专业团队提供服务支持。采用同一个数据应用环境,不但可以大幅度节省采购、建设及运维成本,还可以保证各业务部门数据相互间的共享使用,也可以非常便捷地开展数据应用交流和相关应用模型的借鉴复用。
数据平台建设要循序渐进,配置够近期使用就可以了,后续逐年确认是否需要扩容和升级。使用过好的设备和软件工具,过大的配置,很可能因数据量和应用程度无法达到预期,造成相关投入闲置浪费。随着技术的快速进步,设备及软件工具会越来越高效,单位处理能力的价格也会越来越低。
而数据应用的不断深入,各个平台使用者会对平台的数据存储量、计算能力及建模工具等方面提出更高要求,更多成功的数据应用会使得公司愿意增加平台投入。最经济的做法是根据数据应用的情况及用户的需要,逐步扩充或更换设备,采购更加先进的软件工具。
数据平台存放着公司全部数据资产,如果数据失密,不但给公司商誉带来重大的损害,也会影响到客户的切身利益。公司必须明确平台管理者数据安全的管理责任和权力,提出数据安全目标要求。要建立数据安全的管理规章制度,严格遵照执行。
数据平台要有完善的安全管控设计,数据使用必须在授权状况下进行,所有数据操作行为均要记载下来,以供后续审计检查使用。要做好数据网络隔离措施,抵御网络数据攻击。重要敏感数据要进行加密或变形,避免直接暴露在外。
大数据工作的重点不是数据规模或高精尖技术,而在于用数据改变企业的经营管理方式。企业越早从数据中洞察事实,并据此快速做出行动越早受益。不要将资源投放在建设豪华的设备环境和队伍上面,不用先准备大规模数据,只要开始实践就会有收获。想在水中遨游?那就赶快找个安全的水池,跳下去吧!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在用户行为分析实践中,很多从业者会陷入一个核心误区:过度关注“当前数据的分析结果”,却忽视了结果的“泛化能力”——即分析 ...
2026-03-13在数字经济时代,用户的每一次点击、浏览、停留、转化,都在传递着真实的需求信号。用户行为分析,本质上是通过收集、整理、挖掘 ...
2026-03-13在金融、零售、互联网等数据密集型行业,量化策略已成为企业挖掘商业价值、提升决策效率、控制经营风险的核心工具。而CDA(Certi ...
2026-03-13在机器学习建模体系中,随机森林作为集成学习的经典算法,凭借高精度、抗过拟合、适配多场景、可解释性强的核心优势,成为分类、 ...
2026-03-12在机器学习建模过程中,“哪些特征对预测结果影响最大?”“如何筛选核心特征、剔除冗余信息?”是从业者最常面临的核心问题。随 ...
2026-03-12在数字化转型深度渗透的今天,企业管理已从“经验驱动”全面转向“数据驱动”,数据思维成为企业高质量发展的核心竞争力,而CDA ...
2026-03-12在数字经济飞速发展的今天,数据分析已从“辅助工具”升级为“核心竞争力”,渗透到商业、科技、民生、金融等各个领域。无论是全 ...
2026-03-11上市公司财务报表是反映企业经营状况、盈利能力、偿债能力的核心数据载体,是投资者决策、研究者分析、从业者复盘的重要依据。16 ...
2026-03-11数字化浪潮下,数据已成为企业生存发展的核心资产,而数据思维,正是CDA(Certified Data Analyst)数据分析师解锁数据价值、赋 ...
2026-03-11线性回归是数据分析中最常用的预测与关联分析方法,广泛应用于销售额预测、风险评估、趋势分析等场景(如前文销售额预测中的多元 ...
2026-03-10在SQL Server安装与配置的实操中,“服务名无效”是最令初学者头疼的高频问题之一。无论是在命令行执行net start启动服务、通过S ...
2026-03-10在数据驱动业务的当下,CDA(Certified Data Analyst)数据分析师的核心价值,不仅在于解读数据,更在于搭建一套科学、可落地的 ...
2026-03-10在企业经营决策中,销售额预测是核心环节之一——无论是库存备货、营销预算制定、产能规划,还是战略布局,都需要基于精准的销售 ...
2026-03-09金融数据分析的核心价值,是通过挖掘数据规律、识别风险、捕捉机会,为投资决策、风险控制、业务优化提供精准支撑——而这一切的 ...
2026-03-09在数据驱动决策的时代,CDA(Certified Data Analyst)数据分析师的核心工作,是通过数据解读业务、支撑决策,而指标与指标体系 ...
2026-03-09在数据处理的全流程中,数据呈现与数据分析是两个紧密关联却截然不同的核心环节。无论是科研数据整理、企业业务复盘,还是日常数 ...
2026-03-06在数据分析、数据预处理场景中,dat文件是一种常见的二进制或文本格式数据文件,广泛应用于科研数据、工程数据、传感器数据等领 ...
2026-03-06在数据驱动决策的时代,CDA(Certified Data Analyst)数据分析师的核心价值,早已超越单纯的数据清洗与统计分析,而是通过数据 ...
2026-03-06在教学管理、培训数据统计、课程体系搭建等场景中,经常需要对课时数据进行排序并实现累加计算——比如,按课程章节排序,累加各 ...
2026-03-05在数据分析场景中,环比是衡量数据短期波动的核心指标——它通过对比“当前周期与上一个相邻周期”的数据,直观反映指标的月度、 ...
2026-03-05