京公网安备 11010802034615号
经营许可证编号:京B2-20210330
数据大未必是大数据 三谈大数据时代
极而言之,如果全世界网民的网络行为记录都能紧密整合在一起,那当然称得起大数据这个名称。反之,如果只有一个网民的一条孤零零网络记录,那当然撑不起大数据这个概念。问题在于如何在这两个极端之间,找到一个划分大数据与否的区分点,或者找到一组指标,能够具体衡量数据量从量变到质变的相对标准。这无论在学术研究上或是在商业实战上都很重要。试想若是某个公司自认为自己网络服务产生的数据量很大,觉得可以自称大数据公司了。于是说服董事会和投资者加大这方面的投入,购买大批专用设备和第三方专业服务,组建这方面的团队。经过一段时间的实践,发现投入产出不成比例,建立在大数据基础上的商业模式和产品服务研发不能得到理想的回报,那岂不是个悲剧?
以我的观察和实践经验,网络业中一个公司是否称得起拥有大数据至少要从三个维度考量:
数据规模----所谓大数据最基本的要求当然是数据规模大,但很难给出一个绝对的数字标准来确定大小,而只能用一些模糊的感觉来相对比较。例如,一个公司在年度预算中有了专门的,显著的数据存储和分析预算(例如,总预算的3-5%),有了独立的数据处理和分析部门,有了比较完整的数据存储,安全和保密政策与管理流程,有了高度依赖数据分析结果的商业模式,那么,可以说这个公司面临着利用大数据的机会或挑战了。
数据结构----数据量只是反映数据性质的一个指标,也许还不是最重要的指标。一天产生一百万个T数据的公司也许算不上大数据公司,而另一个一天只产生一万个T数据的公司也许反而是个大数据公司,其奥妙在于数据结构的复杂性。例如,A公司拥有一亿用户,但用户在A公司网站上只干一件事或一类事,比如获取新闻资讯,买买东西,或者玩玩游戏。那么由此产生的数据量虽然不小,但结构简单,重复性高,分析起来很容易,无非就是根据用户背景和使用习惯分分组,归归类,简单数据挖掘基本功足够,扯什么大数据就有点故弄玄虚了。B公司只有一千万用户,却是个开放平台,用户在此可以干互联网能够支持的所有事情,网络行为又可分为个人,群体,组织等层次,那么这个数据的结构就够复杂,能够支持深度挖掘和复杂建模,因而就可以算作大数据。
数据关联度----网络业一个常见现象就是随着数据量的增加,用户行为所产生的数据间的关系越来越不清晰,越来越难以捉摸,越来越相互孤立,也就是所谓的数据碎片化。这种碎片化主要来自两个方面:一是网站结构碎片化,逻辑混乱化,各种产品与服务之间相互孤立化,因而导致数据之间关系断裂,关联度很低。例如,明明是同一个用户在一个网站上使用了十种不同的产品和服务,但由于其中五种无需注册使用,其他五种又需要分别注册使用,结果这十种网络行为的数据无法整合在一起,或者需要通过种种技术手段和工具进行高成本的数据整合,以至于入不敷出。这也就减少了数据的含金量,降低了数据的可挖掘度,使得无论数据量如何大,结构如何复杂,也形成不了大数据。反之,如果一个WEB2.0时代的开放平台,架构清晰,逻辑分明,用户与用户,用户与用户行为,行为与行为之间都具有确定的关联性,那么这样的数据就具有极高的含金量,极高的分析挖掘价值,也就可以形成大数据。
所以,简而言之,大数据与否取决于数据规模,结构复杂性和关联性,简单地说某个公司的数据量大并不等于说这个公司具备拥有和利用大数据的前景。例如,直到google+诞生前,谷歌就不能声称自己是个大数据公司,因为它的海量搜索数据虽然规模庞大,但结构简单。尽管听说它的搜索算法已经囊括了六万多个变量,成千上万的数学和统计学模型,上千的博士和工程师参与分析,但在数据挖掘深度,搜索结果个人化,搜索结果与广告之间的相关度上进展有限,只有改良,没有突破。更严重的是,谷歌数百个产品和服务之间相互关联度极低,各干各的,无数数据库互不相干。各个部门之间以邻为壑,互不配合,更不整合。所以,面对以FACEBOOK和苹果为代表的WEB2.0时代以及由此产生的大数据战略机会,谷歌若干年来束手无策,只能靠不断扩展产品线对付。如果直到两年前谷歌还算不上大数据公司,那些自认为自己有点数据,或者会点加减乘除,或者以为掌握一些基本的数据库技术和KNOWHOW就可以招摇过市,到网络业和资本界呼风唤雨,是不是有点不知深浅,过于幼稚了呢?
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
做产品立项、写商业计划书、规划市场进入策略时,"市场调研"和"竞品分析"几乎总是被绑在一起说,甚至被当成同一件事。但实际 ...
2026-11-19 在做数据治理、搭数据中台或者梳理数据库表结构时,"主数据"和"参考数据"是被提及频率最高、也最容易被混为一谈的两个概念。 ...
2026-11-19“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-19一、什么是本体 在知识图谱和语义建模里,本体(Ontology)是对一个领域内概念、属性、关系和实例的形式化描述。它回答三个问题 ...
2026-11-18一、K-S 曲线解决什么问题 风控评分卡、客户流失模型、欺诈识别模型建好之后,最核心的一个问题是:模型能不能把"会变坏"和"不会 ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-18产品上线之后,真正回答"用户是谁、想要什么、卡在哪里"的,往往不是调研问卷,而是用户留下的一条条行为记录。点击、浏览、停留 ...
2026-11-17在日常数据库开发与报表查询中,日期格式几乎是最高频的"打交道"对象:页面上要展示 yyyy-MM-dd,接口要返回 ISO 8601 字符串, ...
2026-11-17核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-17一、销售行业为什么离不开大数据分析 销售行业的本质是"把合适的产品,在合适的时间,卖给合适的人,并持续复购"。传统销售靠经 ...
2026-11-16一、什么是频数分布 拿到一批连续数据(员工年龄、商品价格、考试分数、订单金额),最想先看的往往不是平均值,而是数据集中在 ...
2026-11-16教育部办公厅关于成立全国数据职业教育教学指导委员会(2026—2030年)的通知 教职成厅函〔2026〕25号 各省、自治区、直辖市教 ...
2026-11-16CDA数据分析师 出品 作者:李诗怡 基础与单表查询 四大类语言 · 数据库基础 · DQL 单表查询 ” 一、SQL 四大类语言与数据 ...
2026-11-13核心资源推荐 CDA教材(2025):https://edu.cda.cn/goods/show/3151CDA模拟题(2025):https://edu.cda.cn/goods/show/2845CD ...
2026-11-13一、问题从哪来 财务分析里算增长率,常规公式所有人都会写: 增长率本年数上年数上年数 这个公式在"上年为正"时完全成立。但一 ...
2026-11-12一、什么是加权聚类 普通聚类默认"每个样本、每个指标都同等重要":距离公式里每个样本权重都是 1,每个指标在距离计算里占比相 ...
2026-11-12“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关键 ...
2026-11-12一、需求从哪来 做 Excel 报表时,"从一个透视表取数据"这个需求通常有三种来源: 汇总页引用:明细透视表在另一个 sheet,汇总 ...
2026-11-11一、透视表的价值在哪 一句话概括:数据透视表把"写公式汇总"变成了"拖字段看结果"。 传统做法要写 SUMIFS、COUNTIFS,改一个维 ...
2026-11-11