京公网安备 11010802034615号
经营许可证编号:京B2-20210330
悄悄来临的大数据时代
如今,网购已在悄悄改变着人们许多年以来形成的购物方式。对于刚刚过去的11月11日,人们仍记忆犹新,知名电商阿里巴巴通过旗下的天猫和淘宝,将“光棍节”变成“购物狂欢节”。
阿里巴巴是做什么的?很多人会说“电子商务”。但如果看电商交易的实质,实际上是“海量的信息和数据服务”——一句话,阿里巴巴的所作所为符合“大数据时代”的潮流特征。
继“物联网”、“云计算”之后,进入2012年,“大数据”一词被越来越多地提及。人们用它来描述、定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。
“大数据并非突然产生的,实际上,IBM、谷歌和亚马逊等大企业早已开始利用它。这个概念之所以能够为更多行业所认知,还是因为人们越发看重它的应用。”中国工程院院士、工信部通信科技委主任邬贺铨表示。
“大数据时代”已经来临
最早提出“大数据”时代到来的是管理咨询公司麦肯锡:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”
什么是大数据?邬贺铨引用了维基百科的定义:没有办法在允许的时间里用常规的软件工具对内容进行抓取、管理和处理的数据集合。“当然,大数据规模的标准是持续变化的,当前泛指单一数据集的大小在几十个TB(万亿字节)和几个PB(千万亿字节)之间。”
大数据到底有多大?以下这组“互联网上一天”的数据告诉我们:一天之中,百度大约要处理60亿次搜索请求,达到几十PB数据;淘宝网站的交易达数千万笔,单日数据量超过20TB;联通的用户上网记录一天达到10TB……
“如果说第三次工业革命有各种各样的标记,那么信息技术发展到今天,大数据也是其中的一个标记。”邬贺铨评价道。
大数据虽然孕育于信息通信技术的日渐普遍和成熟,但各行各业的有识之士认为,它对社会经济生活产生的影响绝不仅限于技术层面。
挖掘“数据财富”
当你仍把微博等社交平台当作抒情或者大发议论的工具时,一些商界精英却正在挖掘“数据财富”,先人一步用其判断市场走势,从中获得了不菲的收益。
通过分析网民的情感数据,社交媒体监测平台DataSift发现,社交网站脸谱(Facebook)申请上市发行股票的当天,微博推特(Twitter)上的情感倾向与Facebook股价波动基本上呈正相关:在Facebook开盘前,如果Twitter上的情感逐渐转向负面,25分钟之后Facebook的股价便开始下跌;而当Twitter上的情感转向正面时,Facebook股价在8分钟后也随之回弹……当然,仅凭这些并不能证明Twitter的情感倾向会对股价产生影响,不过确实已经有人试图据此发现预测股价走势的方法。
大数据的影响并不仅限于信息通信产业,它还在“吞噬”、重构一些传统行业——从这个意义上讲,广泛运用数据分析手段管理和优化运营的公司其实质都是一个数据公司。
邬贺铨举了个有趣的例子。美国target超市将女性顾客中的孕妇视作购物的黄金消费者。为了将这部分目标人群在怀孕前就争取过来,该超市通过调查罗列出几十种购物偏好,当某位顾客的收银条上集中呈现这类商品时,就会被认定为可能是孕妇或家中有孕妇,并随后向其发送孕妇产品广告。一次,当有人以“家中并无孕妇却总是收到相关产品广告”为由控告这家超市后,却发现原来是自己还在上高中的女儿怀孕了。“这个例子告诉我们,利用购物信息这个大数据,商家可以进一步分析、细分购物群体,从而提升销售额。”
此外,利用搜索关键词,疾控部门可以预测、判断某地流感暴发情况;通过关注社交网络上“糖友”的交流与感悟,医院和医生可以获得更好的糖尿病诊疗和康复经验……据邬贺铨介绍,不仅在商业方面,大数据在电网运营、交通管控、医疗服务等社会领域同样存在着巨大的利用空间。
拿什么迎接“大数据时代”
如何利用这些大数据,从而开发出其中的商业价值,已经成为投资者、IT界人士以及政府公共管理部门普遍关心的问题。
2012年3月29日,美国政府宣布投资两亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。
最积极的当属众多IT企业。IBM提出,继上一个十年抛弃私人电脑业务成功转向软件和服务后,这次将更多地专注于大数据分析软件带来的全新业务增长点。此外,有关“大数据”主题的并购案层出不穷,并购数量和规模都呈逐步上升态势。其中,Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元。
当众多国外企业竞相追逐大数据带来的产业价值时,还鲜有一家中国公司能够跻身大数据开发的领先行列。
邬贺铨表示,虽然现在国家从科技项目上开始重视大数据,安排了一些研究,但感觉整体差距还很大。“这并非一些简单的科技项目就能解决的,应该鼓励拥有资源和能力的企业、部门去开发大数据,因为他们才是真正的应用需求者,才是牵引技术的最重要力量。”
为了缩小在这场时代竞争中的“起跑”差距,政府的主导作用显得尤为重要。
“除特殊情况外(例如涉及国家机密和安全),政府部门应该尽可能及时地发布、公开信息,鼓励数据共享,帮助需求主体了解各行各业的整体情况。”邬贺铨认为,我国目前的状况不是数据收集太少,而是共享太少。“拥有数据的部门没有能力去分析,有分析能力的部门没有数据,各部门之间缺少协调合作,这实际上涉及一个体制问题。”
此外,拥有数据的企业或部门不知如何在保护好用户隐私与安全的情况下使用大数据,也是妨碍我国紧跟“大数据时代”的一大羁绊。
既然收集、整理、存储大数据的门槛这么高,为什么不利用国外的平台去做点什么?对此,邬贺铨特别提示,国内企业和相关部门要避免将自己的重要数据放到国外的分析应用平台。“这些看似无关的数据,其实都跟企业发展策略、国家经济运行状况相关,我们不能因为国外的东西免费好用而失去了对信息安全的警觉。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在中介效应分析(或路径分析)中,间接效应是衡量“自变量通过中介变量影响因变量”这一间接路径强度与方向的核心指标。不同于直 ...
2025-12-30数据透视表是数据分析中高效汇总、多维度分析数据的核心工具,能快速将杂乱数据转化为结构化的汇总报表。在实际分析场景中,我们 ...
2025-12-30在金融投资、商业运营、用户增长等数据密集型领域,量化策略凭借“数据驱动、逻辑可验证、执行标准化”的优势,成为企业提升决策 ...
2025-12-30CDA(Certified Data Analyst),是在数字经济大背景和人工智能时代趋势下,源自中国,走向世界,面向全行业的专业技能认证,旨 ...
2025-12-29在数据分析领域,周期性是时间序列数据的重要特征之一——它指数据在一定时间间隔内重复出现的规律,广泛存在于经济、金融、气象 ...
2025-12-29数据分析师的核心价值在于将海量数据转化为可落地的商业洞察,而高效的工具则是实现这一价值的关键载体。从数据采集、清洗整理, ...
2025-12-29在金融、零售、互联网等数据密集型行业,量化策略已成为企业提升决策效率、挖掘商业价值的核心工具。CDA(Certified Data Analys ...
2025-12-29CDA中国官网是全国统一的数据分析师认证报名网站,由认证考试委员会与持证人会员、企业会员以及行业知名第三方机构共同合作,致 ...
2025-12-26在数字化转型浪潮下,审计行业正经历从“传统手工审计”向“大数据智能审计”的深刻变革。教育部发布的《大数据与审计专业教学标 ...
2025-12-26统计学作为数学的重要分支,是连接数据与决策的桥梁。随着数据规模的爆炸式增长和复杂问题的涌现,传统统计方法已难以应对高维、 ...
2025-12-26数字化浪潮席卷全球,数据已成为企业核心生产要素,“用数据说话、用数据决策”成为企业生存与发展的核心逻辑。在这一背景下,CD ...
2025-12-26箱线图(Box Plot)作为数据分布可视化的核心工具,凭借简洁的结构直观呈现数据的中位数、四分位数、异常值等关键信息,广泛应用 ...
2025-12-25在数据驱动决策的时代,基于历史数据进行精准预测已成为企业核心需求——无论是预测未来销售额、客户流失概率,还是产品需求趋势 ...
2025-12-25在数据驱动业务的实践中,CDA(Certified Data Analyst)数据分析师的核心工作,本质上是通过“指标”这一数据语言,解读业务现 ...
2025-12-25在金融行业的数字化转型进程中,SQL作为数据处理与分析的核心工具,贯穿于零售银行、证券交易、保险理赔、支付结算等全业务链条 ...
2025-12-24在数据分析领域,假设检验是验证“数据差异是否显著”的核心工具,而独立样本t检验与卡方检验则是其中最常用的两种方法。很多初 ...
2025-12-24在企业数字化转型的深水区,数据已成为核心生产要素,而“让数据可用、好用”则是挖掘数据价值的前提。对CDA(Certified Data An ...
2025-12-24数据分析师认证考试全面升级后,除了考试场次和报名时间,小伙伴们最关心的就是报名费了,报 ...
2025-12-23在Power BI数据可视化分析中,矩阵是多维度数据汇总的核心工具,而“动态计算平均值”则是矩阵分析的高频需求——无论是按类别计 ...
2025-12-23在SQL数据分析场景中,“日期转期间”是高频核心需求——无论是按日、周、月、季度还是年度统计数据,都需要将原始的日期/时间字 ...
2025-12-23