京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据:巨人间的游戏筹码
最近10年,没有一个技术名词能像大数据一样深入社会每个阶层,获得这么广泛的关注。大数据被讨论得如此泛滥已经引起警觉,以至于2013年后,真正从事大数据行业的人尽量避免提及这三个字。本文无意对大数据概念做任何修正,评判,或专家论调。只是一些事实,和来自20年数据分析从业经验的一些感想。1.辉煌的十年大数据浪潮来自三股力量推动:技术社区,市场,学术圈。2004, Google 发表了 “MapReduce: Simplified Data Processing on Large Clusters”,明确提出 MapReduce。值得注意的是,Google 并没有发明什么,’分布执行-中央汇总’ 是最朴素古老的并行思想,Google 这篇文章价值在于,把这种并行思想流程化、规范化了,并提出了可能的实现架构。市场迅速对此作出反应,很多软件实现涌现出来,其中最成功的是 Hadoop, 雅虎慷慨地把它交给Apache 软件基金会。之后数年经过无数人努力发展成了完整的工具栈。
我只列举了我熟悉的领域标志性事件,实际上每一年每个领域这个列表可以铺满一页。2.大数据仍然是巨人游戏每次重要的技术革新都带给市场一次重新洗牌的机会。这次革新体现尤为突出,值得注意的是这次变革开源社区一开始就参与进来,并且始终在技术层面上推动。这一点不同造成影响非常深刻,甚至改变了游戏规则。第一就是传统巨头和初创公司之间的硬件资源壁垒变的不明显了。Hadoop 问世之初被称为’穷人的大数据’,因为可以低成本使用廉价硬件堆叠计算能力,给那些买不起 IBM 小型机的企业,特别是创业公司,与巨头竞争的机会。
另外网络和智能设备的普及让数据的流通属性发挥的淋漓尽致,一个热门服务短时间就能吸收巨大的数据流量。 这其间很多创业公司迅速从几人小团队发展成独角兽公司。相对小公司的热情拥抱,大公司用谨慎的步伐适应这个转变,特别是传统行业。第一怀疑开源产品的稳定性和安全性,第二大家习惯了付费从厂商得到支持,而不是自己参与到工具维护开发,甚至回馈技术社区。可是一旦度过转型期,大公司充分利用自己的渠道优势,资源优势,会想尽办法把大数据变成巨人游戏。技术只是入场劵,在所有门槛里,这是最低的一道。巨人的游戏考验的是装备,耐力,人力,业务积累,那些成功的小公司的绝不是凭技术胜出。大公司的优势之一是积累深厚,后劲足。大公司还有个优势是,有足够体量消化大数据的能量。如果公司业务线丰富,比如阿里、腾讯、百度、平安等,同一份数据在多个业务部门都可以释放一次能量,这给了大公司更多空间对数据精耕细作。
3.不要把数据本身当作唯一壁垒,建立自己的数据闭环数据是非常脆弱的核心竞争力,数据本身不管多么大,无法支撑一个公司的长久运营。脆弱的原因是收集成本与复制成本极度不对等,特别是当前监管落后市场很多,一家电商网站一年的交易情况一个盘阵就可以塞满;在线地图厂商走遍每条街道手工采集的POI数据一个星期就被爬虫收入囊中。公司在制定数据战略的时候要认真考虑这种不对等,多层布局要把数据资产持久化运营和精细化运营。这方面的例子很多,实际上回顾 2010-2015 的互联网的圈地狂潮,大伙儿都在做的两件事就是:抢占入口,自建闭环。为了抢占入口各种地推烧钱,明争暗斗无需多言。入口抢到了闭环的建立更困难。典型的数据闭环是:数据在消费端生成,通过交易、服务渠道完成采集,经过清洗汇总进入仓库,加工分析应用到业务流程,市场反馈再通过消费端回来。这个闭环对业务流程的增量改进意义重大。说到闭环建设,亚马逊和 eBay 5年间的地位更替很有代表性。
2015年,亚马逊值刚刚超过了3000亿美元,eBay 曾经是亚马逊的主要竞争对手,在金融危机的2008年,两家公司的市值还不相上下,但是现在只是它市值的四分之一。这5年发生了什么?亚马逊是非常在意渠道建设和闭环打造,除了在线交易,在云计算,物流,支付,智能硬件,电子出版,新媒体都有大量投入,相比之下 eBay 的资源高度集中在自己的主营业务上。1995~2000年互联网刚刚起步,亚马逊采取的直营方式便于培养早期的用户,但到2001~2007年电商快速发展,抢到流量就是抢到钱,eBay这样的轻资产模式很快就能实现变现,所以它也是最先盈利的电商之一,此时亚马逊是落后的。2008年的金融危机之后,电商行业又经历了新的变化,交易额高速增长的时代告一段落,公司价值的竞争由过去的单纯交易额和用户驱动变成了价值链经营驱动,而实现了闭环经营的亚马逊的市值又实现了反超。
2015年第二季度,亚马逊服务收入已经超过60亿美元,其中三分之一来自云服务,其他的来源还包括云平台、物流、广告,这部分业务可能会成为亚马逊未来盈利能力的主要来源。4.让大数据工作落地数据最关键的一个环节是数据解读。如果并不懂数据的作用时,他们就不会参与,当他们不参与时,数据就没有价值。数据团队的工作如果不能落在实处,前面所有环节都是徒劳。Airbnb 公司的例子为数据团队如何推广工作结果提供了很好的范本。Airbnb是成立于2008年8月的旅行房屋租赁公司,Aifbnd 非常有远见,在团队只有7个人的时候就有了专职大数据工程师,公司发展中每一次重大决策,数据团队都发挥了重要作用。在早期团队规模小的时候,大数据团队工作模式是集中式的,分析团队的意见可以很快传达到决策层,业务端的反馈也同样。随着公司成长,沟通链条变得越来越长,数据团队有被悬挂的感觉。其他同事不明白如何和我们互动,其他人对我们没有完全的理解。
随着时间的推移,数据团队被看成一种静态资源,被要求提供数据,而没有能够主动思考未来的机会。随后数据团队被重新组织。仍然遵循集中的管理,但是走出自己的小组,进入每个需求部门,直接同工程师、设计师、产品经理、营销人员等等沟通。这样做增加了整个公司的数据利用率,也使数据科学家成为积极的合作伙伴。如今Airbnb用户遍布190个国家近34000个城市,2015年2月28日,估值将达到200亿美元。5.相信数据,不凭感觉决策以往的分析模型大多是大模型+小数据,我们对模型本身做很多的假设和约束,人为干预在抽样环节已经开始,在结果出来前就已经针对预期输出准备好可能的解释。
大数据时代有个明显的特点是分析手段趋向粗暴简单。无需抽样,也不对分布做太多假设,用全样本输入;以深度神经网络为代表的大数据模型对解释性的要求降到最低。这种大数据+小模型在很多领域取得了成功,特别是在决策短的情况下,只要数据量足够大,可以得到一些直接的洞见。2006年以前,赛林格受命用大数据为亚马逊增加营收,那时亚马逊作为单纯的在线零售商并不为起平台上的商家做广告,塞林格认为在广告销售有很大的利润潜力,于是将这件事汇报给了自己的老板贝索斯,后者认为这是个愚蠢的主意 “我们是零售商。为什么要销售展示广告?”。
尽管贝索斯不喜欢也不支持这个想法,但是他允许赛林格的团队在网站上进行小规模测试,结果成为了亚马逊有史以来最盈利的项目,他们把协同过滤,结构最简单的推荐算法,做成了大数据一个经典案例。6. 大数据不是良药 大数据还在进化大数据决策的另一个极端是过分专注于大数据的技术讨论,而忽略了一个基本事实:大数据不会改变业务维度的复杂性。尽管大的趋势是很多业务问题可以变成技术问题来解决,但是经历十年快速发展,我们仍然处于大数据的初期阶段。这个时期大数据的解决问题思路仍然是横向的,试图从量上突破。已经积累了大量数据的企业,可以快速兑现历史红利,当前的火爆很大程度是确实很大一部分过去二三十年甚至更久数据积累的一次集中释放.当浅层数据价值挖掘干净后,如果没有健康持久的业务模式,问题还在哪里。现在我们的大数据在五年后会变成小数据,MapReduce,Hadoop,stream computing 等概念会变成理所当然的基本操作,甚至集成在语言本身,在业务层面感知不到它们的存在。
现在或许是大数据最热闹的时代,当在大数据真正回归业务的时候,才是大数据最好的时代。能活到那一天的都是从现在开始把大数据往深处做的人。大数据不是神话,不是泡沫,它是一些实在的工具和方法的综合,是在其上构建的创意和生意。大数据已经走过十年辉煌,让我们继续期待。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在用户行为分析实践中,很多从业者会陷入一个核心误区:过度关注“当前数据的分析结果”,却忽视了结果的“泛化能力”——即分析 ...
2026-03-13在数字经济时代,用户的每一次点击、浏览、停留、转化,都在传递着真实的需求信号。用户行为分析,本质上是通过收集、整理、挖掘 ...
2026-03-13在金融、零售、互联网等数据密集型行业,量化策略已成为企业挖掘商业价值、提升决策效率、控制经营风险的核心工具。而CDA(Certi ...
2026-03-13在机器学习建模体系中,随机森林作为集成学习的经典算法,凭借高精度、抗过拟合、适配多场景、可解释性强的核心优势,成为分类、 ...
2026-03-12在机器学习建模过程中,“哪些特征对预测结果影响最大?”“如何筛选核心特征、剔除冗余信息?”是从业者最常面临的核心问题。随 ...
2026-03-12在数字化转型深度渗透的今天,企业管理已从“经验驱动”全面转向“数据驱动”,数据思维成为企业高质量发展的核心竞争力,而CDA ...
2026-03-12在数字经济飞速发展的今天,数据分析已从“辅助工具”升级为“核心竞争力”,渗透到商业、科技、民生、金融等各个领域。无论是全 ...
2026-03-11上市公司财务报表是反映企业经营状况、盈利能力、偿债能力的核心数据载体,是投资者决策、研究者分析、从业者复盘的重要依据。16 ...
2026-03-11数字化浪潮下,数据已成为企业生存发展的核心资产,而数据思维,正是CDA(Certified Data Analyst)数据分析师解锁数据价值、赋 ...
2026-03-11线性回归是数据分析中最常用的预测与关联分析方法,广泛应用于销售额预测、风险评估、趋势分析等场景(如前文销售额预测中的多元 ...
2026-03-10在SQL Server安装与配置的实操中,“服务名无效”是最令初学者头疼的高频问题之一。无论是在命令行执行net start启动服务、通过S ...
2026-03-10在数据驱动业务的当下,CDA(Certified Data Analyst)数据分析师的核心价值,不仅在于解读数据,更在于搭建一套科学、可落地的 ...
2026-03-10在企业经营决策中,销售额预测是核心环节之一——无论是库存备货、营销预算制定、产能规划,还是战略布局,都需要基于精准的销售 ...
2026-03-09金融数据分析的核心价值,是通过挖掘数据规律、识别风险、捕捉机会,为投资决策、风险控制、业务优化提供精准支撑——而这一切的 ...
2026-03-09在数据驱动决策的时代,CDA(Certified Data Analyst)数据分析师的核心工作,是通过数据解读业务、支撑决策,而指标与指标体系 ...
2026-03-09在数据处理的全流程中,数据呈现与数据分析是两个紧密关联却截然不同的核心环节。无论是科研数据整理、企业业务复盘,还是日常数 ...
2026-03-06在数据分析、数据预处理场景中,dat文件是一种常见的二进制或文本格式数据文件,广泛应用于科研数据、工程数据、传感器数据等领 ...
2026-03-06在数据驱动决策的时代,CDA(Certified Data Analyst)数据分析师的核心价值,早已超越单纯的数据清洗与统计分析,而是通过数据 ...
2026-03-06在教学管理、培训数据统计、课程体系搭建等场景中,经常需要对课时数据进行排序并实现累加计算——比如,按课程章节排序,累加各 ...
2026-03-05在数据分析场景中,环比是衡量数据短期波动的核心指标——它通过对比“当前周期与上一个相邻周期”的数据,直观反映指标的月度、 ...
2026-03-05