京公网安备 11010802034615号
经营许可证编号:京B2-20210330
一、移动互联时代,数以百亿计的机器、企业、个人随时随地都会获取和产生新的数据
即便是在“摩尔定律”——每18个月芯片性能将提高1倍——的支撑下,硬件性能进化的速度也早已赶不上数据增长的速度,并且差距越来越巨大。
1分钟之内,新浪微博发送数万条微博,苹果应用商店下载次数以万计,淘宝卖出了几万件商品,百度产生了百万次搜索查询……所有这些行为都由海量的数据来呈现。
在去年12月12日电商的促销期,淘宝网推出“时光机”——一个根据淘宝买家几年来的购买商品记录、浏览点击次数、收货地址等数据编辑制作的“个人网购志”,从而记录和勾勒出让人感怀的生活记忆。背后,是基于对4.7亿淘宝注册用户网购数据的分析处理,这正是大数据的典型应用。
随着传统互联网向移动互联发展,全球范围内,除了个人电脑、平板电脑、智能手机、游戏主机等常见的计算终端之外,更广阔的、泛在互连的智能设备,比如智能汽车、智能电视、工业设备和手持设备等都连接到网络之中。基于社会化网络的平台和应用,让数以百亿计的机器、企业、个人随时随地都会获取和产生新的数据。
互联网搜索引擎是大数据最为典型的应用之一。百度日处理数据量达到数十PB,并呈现高速增长的态势。如果一张光盘容量为1GB,这相当于垒在一起的几千万张光盘。微软Bing(在中国为必应)搜索引擎,一周需要响应100亿次量级的搜索请求。通过和Facebook的合作,每天有超过10亿次的社交网络搜索请求通过Bing来处理。
短短的18个月,中国移动互联网流量增加了10倍。中国工程院院士邬贺铨说,随着社交网络的逐渐成熟、移动带宽迅速提升,更多的传感设备、移动终端接入网络,产生的数据及其增长速度比历史上任何时期都要多,互联网上的数据流量正在迅猛增长。邬贺铨认为,在云计算、物联网等技术的带动下,中国的移动互联网已经步入“大数据”时代。
而根据市场调研公司IDC的报告,全球信息总量每过两年就会增长一倍,2011年全球产生的数据总量为1.8ZB(1ZB约为百万PB),相比2010年增长了1ZB,相当于全球历史数据总和。
继云计算后,大数据(big data)成为信息技术领域最为热门的概念之一。
二、大数据有四个特征,最重要的是获得洞察力和价值
在IT业界,有人把大数据产业定义为:“建立在对互联网、物联网等渠道广泛大量数据资源收集基础上的数据存储、价值提炼、智能处理和分发的信息服务业”,或者如IT巨头概括大数据战略为:“致力于让所有用户能够从几乎任何数据中获得可转换为业务执行的洞察力,包括之前隐藏在非结构化数据中的洞察力”。
“总之是对大量、动态、能持续的数据,通过运用新系统、新工具、新模型的挖掘,从而获得具有洞察力和新价值的东西。”微软公司全球资深副总裁、微软亚太研发集团主席张亚勤博士接受记者采访时说。
虽然有多种解读,但业界一般认为,大数据有四个“V”字开头的特征:Volume(容量), Variety(种类), Velocity(速度)和最重要的Value(价值)。Volume是指大数据巨大的数据量与数据完整性。张亚勤说,IT业界所指的数据,诞生不过60多年。而一直到个人电脑普及前,由于存储、计算和分析工具的技术和成本限制,许多自然界和人类社会值得记录的信号,并未形成数据。几十年前,气象、地质、石油物探、出版业、媒体业和影视业是大量、持续产出信号的行业,但那时90%以上采用的是存储模拟信号,难以通过计算设备和软件进行直接分析。拥有大量资金和人才的政府和企业,也只能把少量最关键的信号,进行抽取、转换、装载到数据库中。
张亚勤认为,尽管业界对达到怎样的数量级才算是大数据并无定论,但在很多行业的应用场景里,数据集本身的大小并不是最重要的,是否完整才最重要。
Variety则意味着要在海量、种类繁多的数据间发现其内在关联。互联网时代,各种设备通过网络连成了一个整体。进入以互动为特征的Web2.0时代,个人计算机用户不仅可以通过网络获取信息,还成为了信息的制造者和传播者。这个阶段,不仅是数据量开始了爆炸式增长,数据种类也开始变得繁多。
“这必然促使我们对海量数据进行分析、处理和集成,找出原本看来毫无关系的那些数据的‘关联性’,把似乎没有用的数据变成有用的信息,以支持我们做出的判断。”张亚勤说。
Velocity可以理解为更快地满足实时性需求。数据的实时化需求正越来越清晰。对普通人而言,开车去吃饭,会先用移动终端中的地图查询餐厅的位置,预计行车路线的拥堵情况,了解停车场信息甚至是其他用户对餐厅的评论。吃饭时,会用手机拍摄食物的照片,编辑简短评论发布到微博或者微信上,还可以用LBS(基于位置的服务)应用查找在同一间餐厅吃饭的人,看有没有好友在附近……
张亚勤说,如今,通过各种有线和无线网络,人和人、人和各种机器、机器和机器之间产生无处不在的连接,这些连接不可避免地带来数据交换。而数据交换的关键是降低延迟,以近乎实时——这意味着小于250毫秒——的方式呈献给用户。
“但比前面3个‘V’更重要的,就是Value,它是大数据的最终意义——获得洞察力和价值。”张亚勤说,大数据的崛起,正是在人工智能、机器学习和数据挖掘等技术的迅速发展驱动下,呈现这么一个过程:将信号转化为数据,将数据分析为信息,将信息提炼为知识,以知识促成决策和行动。
百度相关专家认为,就大数据的价值而言,就像沙子淘金,大数据规模越大,真正有价值的数据相对越少。
“所以真正好的大数据系统,重要的不是越多越好,其实越少越好。”张亚勤说,开始数据要多,最好还是要少,把ZB、PB最终变成一个比特,也就是最后的决策。这才是最关键的。
三、云计算和大数据是一个硬币的两面,大数据正在引发全球范围内深刻的技术和商业变革
如同云计算的出现,大数据也不是一个突然而至的新概念。
“云计算和大数据是一个硬币的两面,云计算是大数据的IT基础,而大数据是云计算的一个杀手级应用。”张亚勤说。云计算是大数据成长的驱动力,而另一方面,由于数据越来越多、越来越复杂、越来越实时,这就更加需要云计算去处理,所以二者之间是相辅相成的。
30年前,存储1TB也就是约1000GB数据的成本大约是16亿美元,如今存储到云上只需不到100美元;但存储下来的数据,如果不以云计算进行挖掘和分析,就只是僵死的数据,没有太大价值。
目前,云计算已经普及并成为IT行业主流技术,其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存,企业客户根据自身需求,可以搭建自己的“私有云”,或托管、或租用“公有云”上的IT资源与服务,这些都已不是新鲜事。可以说,云是一棵挂满了大数据的苹果树。
大数据的出现,正在引发全球范围内深刻的技术与商业变革。在技术上,大数据使从数据当中提取信息的常规方式发生了变化。“在技术领域,以往更多是依靠模型的方法,现在我们可以借用规模庞大的数据,用基于统计的方法,有望使语音识别、机器翻译这些技术领域在大数据时代取得新的进展。”张亚勤说。
在搜索引擎和在线广告中发挥重要作用的机器学习,被认为是大数据发挥真正价值的领域。在海量的数据中统计分析出人的行为、习惯等方式,计算机可以更好地学习模拟人类智能。随着包括语音、视觉、手势和多点触控等在内的自然用户界面越来越普及,计算系统正在具备与人类相仿的感知能力,其看见、听懂和理解人类用户的能力不断提高。这种计算系统不断增强的感知能力,与大数据以及机器学习领域的进展相结合,已使得目前的计算系统开始能够理解人类用户的意图和语境。“这使得计算机能够真正帮助我们,甚至代表我们去工作”。
在商业模式上,张亚勤认为,对商业竞争的参与者来说,大数据意味着激动人心的业务与服务创新机会。零售连锁企业、电商业巨头都已在大数据挖掘与营销创新方面有着很多的成功案例,它们都是商业嗅觉极其敏锐、敢于投资未来的公司,也因此获得了丰厚的回报。
IT产业链分工、主导权也因为大数据产生了巨大影响。以往,移动运营商和互联网服务运营商等拥有着大量的用户行为习惯的各种数据,在IT产业链中具有举足轻重的地位。而在大数据时代,移动运营商如果不能挖掘出数据的价值,可能彻彻底底被管道化。运营商和更懂用户需求的第三方开发者互利共赢的模式,已取得一定共识。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数字化时代,数据分析已成为企业决策、业务优化、增长突破的核心支撑,从数据仓库搭建(如维度表与事实表的设计)、数据采集清 ...
2026-03-16在数据仓库建设、数据分析(尤其是用户行为分析、业务指标分析)的实践中,维度表与事实表是两大核心组件,二者相互依存、缺一不 ...
2026-03-16数据是CDA(Certified Data Analyst)数据分析师开展一切工作的核心载体,而数据读取作为数据生命周期的关键环节,是连接原始数 ...
2026-03-16在用户行为分析实践中,很多从业者会陷入一个核心误区:过度关注“当前数据的分析结果”,却忽视了结果的“泛化能力”——即分析 ...
2026-03-13在数字经济时代,用户的每一次点击、浏览、停留、转化,都在传递着真实的需求信号。用户行为分析,本质上是通过收集、整理、挖掘 ...
2026-03-13在金融、零售、互联网等数据密集型行业,量化策略已成为企业挖掘商业价值、提升决策效率、控制经营风险的核心工具。而CDA(Certi ...
2026-03-13在机器学习建模体系中,随机森林作为集成学习的经典算法,凭借高精度、抗过拟合、适配多场景、可解释性强的核心优势,成为分类、 ...
2026-03-12在机器学习建模过程中,“哪些特征对预测结果影响最大?”“如何筛选核心特征、剔除冗余信息?”是从业者最常面临的核心问题。随 ...
2026-03-12在数字化转型深度渗透的今天,企业管理已从“经验驱动”全面转向“数据驱动”,数据思维成为企业高质量发展的核心竞争力,而CDA ...
2026-03-12在数字经济飞速发展的今天,数据分析已从“辅助工具”升级为“核心竞争力”,渗透到商业、科技、民生、金融等各个领域。无论是全 ...
2026-03-11上市公司财务报表是反映企业经营状况、盈利能力、偿债能力的核心数据载体,是投资者决策、研究者分析、从业者复盘的重要依据。16 ...
2026-03-11数字化浪潮下,数据已成为企业生存发展的核心资产,而数据思维,正是CDA(Certified Data Analyst)数据分析师解锁数据价值、赋 ...
2026-03-11线性回归是数据分析中最常用的预测与关联分析方法,广泛应用于销售额预测、风险评估、趋势分析等场景(如前文销售额预测中的多元 ...
2026-03-10在SQL Server安装与配置的实操中,“服务名无效”是最令初学者头疼的高频问题之一。无论是在命令行执行net start启动服务、通过S ...
2026-03-10在数据驱动业务的当下,CDA(Certified Data Analyst)数据分析师的核心价值,不仅在于解读数据,更在于搭建一套科学、可落地的 ...
2026-03-10在企业经营决策中,销售额预测是核心环节之一——无论是库存备货、营销预算制定、产能规划,还是战略布局,都需要基于精准的销售 ...
2026-03-09金融数据分析的核心价值,是通过挖掘数据规律、识别风险、捕捉机会,为投资决策、风险控制、业务优化提供精准支撑——而这一切的 ...
2026-03-09在数据驱动决策的时代,CDA(Certified Data Analyst)数据分析师的核心工作,是通过数据解读业务、支撑决策,而指标与指标体系 ...
2026-03-09在数据处理的全流程中,数据呈现与数据分析是两个紧密关联却截然不同的核心环节。无论是科研数据整理、企业业务复盘,还是日常数 ...
2026-03-06在数据分析、数据预处理场景中,dat文件是一种常见的二进制或文本格式数据文件,广泛应用于科研数据、工程数据、传感器数据等领 ...
2026-03-06