京公网安备 11010802034615号
经营许可证编号:京B2-20210330
悄悄来临的大数据时代
如今,网购已在悄悄改变着人们许多年以来形成的购物方式。对于刚刚过去的11月11日,人们仍记忆犹新,知名电商阿里巴巴通过旗下的天猫和淘宝,将“光棍节”变成“购物狂欢节”。
阿里巴巴是做什么的?很多人会说“电子商务”。但如果看电商交易的实质,实际上是“海量的信息和数据服务”——一句话,阿里巴巴的所作所为符合“大数据时代”的潮流特征。
继“物联网”、“云计算”之后,进入2012年,“大数据”一词被越来越多地提及。人们用它来描述、定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。
“大数据并非突然产生的,实际上,IBM、谷歌和亚马逊等大企业早已开始利用它。这个概念之所以能够为更多行业所认知,还是因为人们越发看重它的应用。”中国工程院院士、工信部通信科技委主任邬贺铨表示。
“大数据时代”已经来临
最早提出“大数据”时代到来的是管理咨询公司麦肯锡:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
什么是大数据?邬贺铨引用了维基百科的定义:没有办法在允许的时间里用常规的软件工具对内容进行抓取、管理和处理的数据集合。“当然,大数据规模的标准是持续变化的,当前泛指单一数据集的大小在几十个TB(万亿字节)和几个PB(千万亿字节)之间。”
大数据到底有多大?以下这组“互联网上一天”的数据告诉我们:一天之中,百度大约要处理60亿次搜索请求,达到几十PB数据;淘宝网站的交易达数千万笔,单日数据量超过20TB;联通的用户上网记录一天达到10TB……
“如果说第三次工业革命有各种各样的标记,那么信息技术发展到今天,大数据也是其中的一个标记。”邬贺铨评价道。
大数据虽然孕育于信息通信技术的日渐普遍和成熟,但各行各业的有识之士认为,它对社会经济生活产生的影响绝不仅限于技术层面。
挖掘“数据财富”
当你仍把微博等社交平台当作抒情或者大发议论的工具时,一些商界精英却正在挖掘“数据财富”,先人一步用其判断市场走势,从中获得了不菲的收益。
通过分析网民的情感数据,社交媒体监测平台DataSift发现,社交网站脸谱(Facebook)申请上市发行股票的当天,微博推特(Twitter)上的情感倾向与Facebook股价波动基本上呈正相关:在Facebook开盘前,如果Twitter上的情感逐渐转向负面,25分钟之后Facebook的股价便开始下跌;而当Twitter上的情感转向正面时,Facebook股价在8分钟后也随之回弹……当然,仅凭这些并不能证明Twitter的情感倾向会对股价产生影响,不过确实已经有人试图据此发现预测股价走势的方法。
大数据的影响并不仅限于信息通信产业,它还在“吞噬”、重构一些传统行业——从这个意义上讲,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。
邬贺铨举了个有趣的例子。美国target超市将女性顾客中的孕妇视作购物的黄金消费者。为了将这部分目标人群在怀孕前就争取过来,该超市通过调查罗列出几十种购物偏好,当某位顾客的收银条上集中呈现这类商品时,就会被认定为可能是孕妇或家中有孕妇,并随后向其发送孕妇产品广告。一次,当有人以“家中并无孕妇却总是收到相关产品广告”为由控告这家超市后,却发现原来是自己还在上高中的女儿怀孕了。“这个例子告诉我们,利用购物信息这个大数据,商家可以进一步分析、细分购物群体,从而提升销售额。”
此外,利用搜索关键词,疾控部门可以预测、判断某地流感暴发情况;通过关注社交网络上“糖友”的交流与感悟,医院和医生可以获得更好的糖尿病诊疗和康复经验……据邬贺铨介绍,不仅在商业方面,大数据在电网运营、交通管控、医疗服务等社会领域同样存在着巨大的利用空间。
拿什么迎接“大数据时代”
如何利用这些大数据,从而开发出其中的商业价值,已经成为投资者、IT界人士以及政府公共管理部门普遍关心的问题。
2012年3月29日,美国政府宣布投资两亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。
最积极的当属众多IT企业。IBM提出,继上一个十年抛弃私人电脑业务成功转向软件和服务后,这次将更多地专注于大数据分析软件带来的全新业务增长点。此外,有关“大数据”主题的并购案层出不穷,并购数量和规模都呈逐步上升态势。其中,Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元。
当众多国外企业竞相追逐大数据带来的产业价值时,还鲜有一家中国公司能够跻身大数据开发的领先行列。
邬贺铨表示,虽然现在国家从科技项目上开始重视大数据,安排了一些研究,但感觉整体差距还很大。“这并非一些简单的科技项目就能解决的,应该鼓励拥有资源和能力的企业、部门去开发大数据,因为他们才是真正的应用需求者,才是牵引技术的最重要力量。”
为了缩小在这场时代竞争中的“起跑”差距,政府的主导作用显得尤为重要。
“除特殊情况外(例如涉及国家机密和安全),政府部门应该尽可能及时地发布、公开信息,鼓励数据共享,帮助需求主体了解各行各业的整体情况。”邬贺铨认为,我国目前的状况不是数据收集太少,而是共享太少。“拥有数据的部门没有能力去分析,有分析能力的部门没有数据,各部门之间缺少协调合作,这实际上涉及一个体制问题。”
此外,拥有数据的企业或部门不知如何在保护好用户隐私与安全的情况下使用大数据,也是妨碍我国紧跟“大数据时代”的一大羁绊。
既然收集、整理、存储大数据的门槛这么高,为什么不利用国外的平台去做点什么?对此,邬贺铨特别提示,国内企业和相关部门要避免将自己的重要数据放到国外的分析应用平台。“这些看似无关的数据,其实都跟企业发展策略、国家经济运行状况相关,我们不能因为国外的东西免费好用而失去了对信息安全的警觉。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
手游行业具备用户迭代快、竞争激烈、用户粘性易流失的典型特征。随着新游持续上线、玩家审美升级、玩法疲劳等问题出现,存量用户 ...
2026-08-14在数字化产品运营、商业数据分析、业务增长管理中,零散的指标统计无法支撑系统性的业务决策。单一的点击率、转化率、销量数据只 ...
2026-08-14 很多数据分析师每天都在写SQL,但当被问到“数据查询语言(DQL)的本质是什么”“SELECT语句中各子句的书写顺序与实际执行顺 ...
2026-08-14在数据库数据分析、数据清洗、报表统计与业务查询场景中,日期时间是最高频、最核心的基础字段。数据库中存储的日期格式多样,包 ...
2026-08-13在数据统计分析与数据清洗工作中,箱线图是一种简洁高效、客观性强的数据可视化图表,能够直观呈现数据集的分布特征、离散程度和 ...
2026-08-13 很多数据分析师写过无数个SELECT查询,但当被问到“如何新建一张表来固化中间数据”“创建视图和创建物理表有什么区别”“视 ...
2026-08-13在自动化办公、数据采集、定时统计、日志清理、系统监控等场景中,程序往往需要按照固定时间间隔重复执行指定任务,这种运行机制 ...
2026-08-12在数据分析日常工作中,Excel数据筛选是数据清洗、数据提取、样本筛选的核心基础操作。传统Excel手动筛选、函数筛选方式,面对多 ...
2026-08-12 很多数据分析师精通Excel函数和数据透视表,但当被问到“数据从哪里来”“表和视图有什么区别”“数据库管理系统和SQL是什么 ...
2026-08-12在数据分析、统计建模、数据挖掘与商业调研过程中,原始数据往往无法做到绝对干净规整。受系统故障、人工录入失误、设备误差、突 ...
2026-08-11在数据分析工作中,聚类分析是典型的无监督学习方法,核心作用是依据数据自身的多维特征,将相似样本自动划分为若干类别,实现“ ...
2026-08-11 很多企业团队并非缺乏指标,而是陷入“指标失控”:仪表盘上堆满实时跳动的数据,却无法回答“当前瓶颈在哪、下一步该做什么 ...
2026-08-11AB实验是互联网产品迭代、营销优化、功能升级的核心科学验证手段,通过流量随机分组、对照组与实验组对比,科学验证策略、功能、 ...
2026-08-10在MySQL数据库优化中,索引是提升查询效率、降低数据库IO开销、优化系统性能的核心手段。普通单列索引仅适配简单查询场景,面对 ...
2026-08-10 很多数据分析师每天盯着几十个指标,但当被问到“这套指标要支撑什么业务目标”“指标之间是什么逻辑关系”“业务变化时如何 ...
2026-08-10在数字化市场调研体系中,大数据与小数据是两类核心调研数据形态,分别对应海量行为统计与精准样本深度调研。行业普遍存在认知误 ...
2026-08-07数据透视表是Excel、WPS中最核心的数据分析工具,凭借快速汇总、分组统计、动态筛选的优势,被广泛应用于销量统计、业绩复盘、数 ...
2026-08-07 很多数据分析师每天盯着GMV、DAU、转化率,但当被问到“哪些指标在所有行业都适用”“哪些指标只对电商有意义”“二者如何搭 ...
2026-08-07在商品销量、市场需求、营收规模等业务数据中,季节性波动是最普遍、最核心的数据特征。零售快消、食品餐饮、家电服饰、电商行业 ...
2026-08-06在流量红利消退、市场竞争白热化的商业环境中,传统依托经验、跟风投放、广撒网式的营销模式,逐渐暴露出成本高、精准度低、转化 ...
2026-08-06