京公网安备 11010802034615号
经营许可证编号:京B2-20210330
做蚱蜢、蜘蛛还是狐狸?新兴大数据公司的四种理念
随着大数据概念的提出,新兴相关数据公司也犹如雨后春笋般出现,想象一下每早与大数据创业梦想一起醒来,这确实是一种美妙的感觉。粗浅地想象一下貌似处理大数据很容易,你只需要:
1)一个使一切工序“自动化”的想法
2)一伙能够拿出一个个算法的“数据科学家”
3)数据!大量的数据!
如果你已经有了一个基本的想法,而至于那些“数据科学家”们,你通常可以在和你合伙的小伙伴们中找到他们(如果没有的话,去哈佛、耶鲁、伯克利或者纽约大学这样的高校碰碰运气吧)。 万事具备,只欠东风,那么问题来了,该如何找到数据呢?通常有以下几个可以考虑的备选策略。
策略1:蚱蜢——相信开放数据吧!
蚱蜢先生是个乐天派,他总是告诉自己:“别担心,总会有可供使用的数据出现的,说不定它们之中还会有可以自由访问的呢!”不论现在或是将来,他相信开放数据,这一切都是为了提供他自己的服务。
这种开放数据策略可以在金融和运输市场中带来可盈利的成果。例如,初创公司往往可以运用商品运输信息,并且将它与货物与市场价格进行交叉关联,从而对有关的工业提供高度相关的信息。
这个方法的主要缺点是数据的开放范围往往有限。事实上,由于伦理或是经济方面的原因,当你想研究一个具体的东西,比如一个人、一个产品或一个地址时,开放的数据总是有所遗漏的。无论如何,最有用的东西往往是那些自己私有的(真是幸运)和花钱买来的(真是悲催)。
策略2:蜘蛛——编织你自己的网络吧!
蜘蛛先生总是那么一丝不苟。“没有数据?没关系,让我们去寻找它。”蜘蛛先生创建了一个网络结点以供他捕获数据,有时他从一个小结点出发,然后慢慢寻找更大的。蜘蛛先生将制造所有的接入点和链接器,并允许所有的参与者在使用他的服务的同时时把数据提供给他。
大多数的在线营销者采取这样的做法:这意味着你的“tracker”(从第三方网站获取流量的组件)都在网上,从而能够有最大化的数据量和最大的网络可能性。而如今,这一切正在向移动应用端转移,我们不在谈论如何运用“tracker”而是如何运用SDK(软件开发工具包)。在我们生活的现实世界中,Lokad公司已经构建了一个延伸到超市收银机的网络,使得大部分的专用收银机和库存管理程序间实现了简单的链接,从而为超市库存管理提供了一个有效的解决方案。
如果一切顺利,蜘蛛先生的方法将使得他足以建立一个扩张速度很快的成功企业。然而,这样的方案对以下两个风险因素极其敏感:
蜘蛛网太脆弱了(一个大的网络参与者可以决定“改变游戏规则”并摧毁一切)
足够肥美的昆虫太少了(也许那些大型客户和真正有兴趣的客户并不在这个网络的覆盖的范围内)
策略3:狐狸——狩猎“大集团”!
狐狸先生在哪里寻找“大数据”呢?答案是在那些已经把“大数据”喂得饱饱的大企业里。 狐狸先生按照以下几个步骤行动:
首先,他提出一个问题的可能的解决方案(例如,减少欺诈行为,提高你的广告购买的投入,增加你的邮件营销途径,采购性能更好的原材料,等等) 接着,他开始收集客户资料,并尝试实现解决问题的方案 最后,他将运用从第一个客户那学来的知识,对之后客户提出的问题给出更为简化的解决方案。
狐狸先生的一生十分艰辛,因为在他迈出走向成功的第一步时,就必须坚信自己能够解决那些自己从未解决过的问题。为此,他必须激发出自身强大的欲望(为了吸引大集团老总的注意),招摇自己的能力(大谈算法、职称、学历),炫耀自己所有的华丽衣冠(那些使人耳目一新的图表设计规划)。因此,“大数据”狐狸是一个吃力不讨好的角色,往往在他得到用真实的数据证明自己的机会之前,就不得不费尽心思地去说服别人。
当狐狸先生成功时,他便可以真真正正地为潜在的客户解决一个有直接价值的实际问题了。然而,这么做同样有非常显著的副作用:那些辛辛苦苦为第一个大客户建立的产品、服务和模型往往将会被卖给他们的竞争队手,一些相对较小的客户,这就相当于狐狸先生教会了自己的大客户如何更好服务于他们的竞争对手(那些小客户)。这意味着,参与其中的大集团们有时将会间接地帮助自己的竞争者去以更低廉的价格获得服务,从而无形之中充当了替罪羊的角色。
策略4 工具制造者!
既然所有人都想玩转大数据,那么为什么不把大数据分析交给工具,而我们只需成为工具制造者。
大数据分析工具市场是一个竞争化的市场,既有一些新创立的小企业的参与,也有一些类似于谷歌、微软、Oracle等的行业龙头的参与。同时,大数据分析工具市场也是一个强吸金市场,单2014年就有数十亿美元的投资额。然而,当这次大数据分析的热潮过去之后,大数据分析工具的需求是否还会持续?这是目前该市场面临的主要问题。这极其类似淘金时代过去后,对镐这种工具的生产是否还具有大规模可持续性的问题。当然,目前我们对大数据的分析尚停留在石器时代,能够进行大数据分析的“镐”还没有完全被开发出来。智能计算机系统需要更高效更可控的分析工具。就让我们先生产出“镐”吧,然后期待以后的某一天可以生产出大数据分析的“手提钻”!--cda数据分析师考试
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
写在开头 老板在微信上甩来一句: "帮我看下为什么销量跌了。" ” 你回工位,打开 SQL,开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23在统计学与数据分析中,研究多组数据差异最常用的方法为单因素方差分析与事后多重比较。很多数据分析初学者容易混淆两者功能,认 ...
2026-09-23 很多数据分析师每天都在写 SQL,但当被问到“DQL 的本质是什么”“SELECT 子句的书写顺序与执行顺序为何不同”“INNER JOIN ...
2026-09-23 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-09-22