京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据的核心价值到底是什么
无论是大数据在农业的应用也好,工业的应用也好,抑或是在金融行业的应用也好,最终都是通过大数据技术来获知事情发展的真相,最终利用这个“真相”来更加合理的配置资源。
具体来说,要实现大数据的核心价值,还需要前两个重要的步骤,第一步是通过“众包”的形式收集海量数据,第二步是通过大数据的技术途径进行“全量数据挖掘”,最后利用分析结果进行“资源优化配置”。
只说概念大家肯定没法直观的理解上面的观点,那就将几个咱们都接触过的例子讲一讲大数据是怎么通过这三步发挥核心价值的?
第一步、通过“众包”产生和收集数据
高德地图、百度地图都有实时路况的功能,但大家有没有想过实时路况的数据是怎么收集的?实际上经过了三个阶段,开始是跟交通口的一些公司合作,获取交通流量监测设备的数据,这个方法缺陷很明显,一个是受制于人,一个是想扩大监测范围就要部署大量设备,费时费力,而且还受法律制约。于是一些专门做路况的公司开始用出租车当浮动车收集数据。但这种办法还是无法覆盖大量的大小路段,随着移动互联网的普及,高德地图的APP能够实时上传大量机动车的速度和位置信息,经过去噪和综合分析,就形成了覆盖率极高的实时路况信息。这就是一个典型的“众包”过程。
严谨一点来说,众包指的是一个公司或机构把过去由员工执行的工作任务,以自由自愿的形式外包给非特定的(而且通常是大型的)大众网络的做法。
大数据的“海量数据”就是由“众包”产生的。广义上,用户的行为数据,各种传感器的数据,也都是“众包”的形式,只要是由过去集中式的产生模式扩散到分布式的模式,都是众包的形式。
第二步、通过“全量数据挖掘”获知“真相”
曾经看过一个视频,通过分析阿里巴巴全年的数据得到的阿里巴巴的世界贸易与全国贸易的趋势。视频中体现的不仅是阿里巴巴集团的运营情况,其实也部分反映了整个中国的经济运行情况。而且这些数据不是通过采样得来的,就是真真切切的“全量数据”。我们再也不用通过“管中窥豹”的形式来推测全局,而是直接通过“上帝视角”来窥视真相。这就是大数据的魅力,我们获得了前所未有的获取真相的能力,而且对于大型互联网公司来说,即使是PB级别的数据分析也是准实时的,我们下一个小时就能够得知上一个小时的全量数据分析结果,这样的能力是前所未有的。
第三步 大数据的核心价值——“资源优化配置”
前段时间,滴滴打车曾通过投票和订单分析的方式得出了北上广深四地的加班大楼排行榜,敝司不幸排名第三,但事实真的是即使加班很晚也很难打到车啊啊!所以滴滴打车更名为“滴滴出行”之后,也抛出了他们伟大的愿景,那就是利用大数据分析实时综合调度“快车”、“专车”、“出租车”、“顺风车”甚至是滴滴巴士的资源,实现全局的交通资源优化。事实也是如此,滴滴的司机们越来越多的需要完成“指派任务”,而不是集中去抢高净值客户。也许对于个别单体来说他们的利益降低了,但全局的资源配置却避免了全局的资源浪费和过度竞争,无疑大大提高了交通资源的使用效率。
所以我们说,基于大数据分析的结果,进行资源优化配置,才是大数据应用的落地点和真正价值。
而“资源优化配置”的价值,又远远超出我们能够想象的层面,在资本寒冬即将来临的大背景下,利用大数据实现资源的高效利用,显得更加重要。广告行业利用DMP、DSP进行广告的精准投放,房地产行业利用大数据分析价值洼地,宜信利用大数据建设征信系统降低坏账率,券商陆续推出大数据基金,全部都是广义的“资源优化配置”的体现。大数据也远远不再停留在学术和“分析现象”的阶段,而是在各行各业实现了落地并发挥着非常非常重要的价值。
我是在互联网广告行业从事程序化购买系统建设的,而这个行业也是大数据最先发挥价值的地方。举个最简单的例子来说明大数据在广告资源优化配置上的作用。
宝洁集团是我们的客户,而宝洁的产品有非常强的用户性别倾向性,护舒宝的广告就应该投给女性,投给男性就是赤裸裸的浪费。而吉列的目标用户就只是男性。之前保洁集团是怎么做广告的?就是海投品牌广告,不分性别的海投,那这个做法在投放之前就已经确切无疑的知道有一半广告费用时浪费的。但没有办法,因为我们没有大数据技术来发掘用户的性别。
而随着DMP(Data Management Platform)技术的不断成熟,越来越多的广告主建立起自己的用户数据中心,可以不断积累客户的各种用户行为,进而判断出用户的性别,再通过DSP(Demand Side Platform)系统定向投放,最终可以为宝洁节省一半的广告预算。
上面的例子正是广告资源的优化配置,事实上DMP系统对用户画像的构建精确程度远超人们的想象,精准投放的各类筛选条件也越来越精细。现在微信支持精确到设备的精准投放,也就是未来完全可能实现精确到每个人终端的精准投放,这都依赖于大数据对于用户行为的挖掘,最终实现整个广告行业的效果提升。
很多同学可能会说大数据的核心是数据挖掘,是分布式存储,是NLP,是深度学习,但这一切其实只是大数据的技术途径,大数据的终极核心价值就在于“资源优化配置”。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在MySQL数据库运维与开发实践中,经常出现一种典型现象:数据库实际存储的数据量很小,数据表条数少、文件体积低,但服务器整体 ...
2026-09-11 很多数据分析师能熟练计算均值、标准差,但当被问到“总体和样本有什么区别”“参数和统计量有什么关系”“数据级别的高低如 ...
2026-09-11CDA数据分析师 出品 作者:李诗怡 定义: 将同一时间段内因具备相同属性或共同经历的用户划分为群体,分析其留存与生命周期价值 ...
2026-09-11在零售、商超、餐饮、线下门店等实体商业运营中,客流与销售额是衡量门店经营状态的两大核心指标。销售额是门店经营的最终结果, ...
2026-09-10在数据可视化体系中,柱形图是最基础、应用最广泛的图表类型,其中**累计柱形图(堆积柱状图)**是兼顾整体总量与内部结构的核心 ...
2026-09-10 许多数据分析师精通Excel函数和SQL查询,但当面对一张上万行的销售明细表,要快速回答“哪个地区销量最高”“哪款产品增长最 ...
2026-09-10在Python Pandas数据分析中,DataFrame是承载结构化数据的核心载体,数据清洗、数据修正、条件赋值、字段更新等实操场景,都离不 ...
2026-09-09 很多数据分析师掌握了Excel函数、会写SQL查询,但当被问到“数据从哪里来”“数据加工有哪些步骤”“如何使用分析工具连接数 ...
2026-09-09卡方检验(Chi-Square Test)是统计学中针对分类数据的经典显著性检验方法,核心用于判断两个离散分类变量是否相互独立、数据实 ...
2026-09-09CDA数据分析师 出品 作者:李诗怡 1. 销售漏斗阶段判断 题目:销售漏斗模型中,通过广告、社交媒体等方式触达品牌信息(如浏览品 ...
2026-09-07在Python数据分析中,Pandas库的DataFrame是最核心、最常用的结构化数据表对象,类似于Excel的二维表格,具备规整的行列结构、字 ...
2026-09-07在数据分析、经营复盘、业绩预测与经济统计工作中,平均增速(平均增长率)是衡量数据长期变化趋势、业务发展快慢的核心指标。不 ...
2026-09-07 很多数据分析师精通Excel单元格操作,但当被问到“表结构数据的基本处理单位是什么”“字段和记录的本质区别”“为什么表结 ...
2026-09-07随着大数据技术的快速发展,商业竞争逐步从传统的经验式经营转变为数据驱动的精细化运营。海量的用户行为数据、交易数据、运营数 ...
2026-09-04CDA数据分析师 出品 作者:李诗怡 1. 波士顿矩阵(BCG Matrix) 定义: BCG于1970年提出的业务组合分析工具,以"市场增长率"(纵 ...
2026-09-04 数据分析师八成以上的时间在和数据表格打交道,但许多人拿到Excel后习惯性地先算、先分析,结果回头发现漏了一列关键数据, ...
2026-09-04数据透视表是Excel与Power BI中最核心的数据分析工具,具备快速汇总、维度拆分、动态筛选的能力,可高效完成数据归类与统计展示 ...
2026-09-03在Power BI数据分析可视化场景中,堆积柱状图+折线图是最常用的复合图表组合。堆积柱状图适合展示各细分维度当期数值、结构占比 ...
2026-09-03 很多数据分析师每天与Excel打交道,但当被问到“表格结构数据的基本处理单位是什么”“数据类型误判会引发哪些分析错误”“ ...
2026-09-03CDA数据分析师 出品 作者:李诗怡 一、8个核心数据清洗函数 1. TRIM:一键清除多余空格(最常用) 作用:仅保留文本中"单词/字 ...
2026-09-02