
蕴含巨大潜在经济社会价值 “大数据”热冷静面对
继物联网、云计算之后,大数据已经成为当前信息技术产业最受关注的概念之一。面对社会各界纷纷关注的“大数据”热,应充分认识其内在机理及带来的挑战,进一步理清对策思路。
大数据蕴含着巨大的潜在经济及社会价值
种类繁杂、数量庞大的大数据,为我们更深入、更准确地认识和把握事物发展的内在规律提供了信息基础,其中蕴涵着非常大的潜在价值。这一点不仅是许多业内研究机构的共识,也已经在商业应用中得到了体现。
大数据的应用已经有了许多典型案例,如IBM日本公司利用互联网搜索数据建立的经济指标预测系统,以及美国印第安纳大学利用谷歌公司提供的心情分析工具对道琼斯工业指数变化的预测,已经达到比较高的准确率。除了经济分析外,在农业、医药卫生、制造业等领域,也有一些成功应用大数据进行预测的案例。
据美国麦肯锡公司预测,大数据将为美国医疗服务业每年带来3000亿美元的潜在增加值,为欧洲的公共管理每年带来2500亿欧元的潜在价值,为位置服务产业带来6000亿美元的潜在年收入。零售商充分利用大数据可实现运营利润增长60%,制造业充分利用大数据可降低设备装配成本50%。经合组织(OECD)的一项最新研究成果还对互联网数据的市场价值进行了估计,佐证了大数据的巨大潜在价值。
总体而言,大数据的应用和发展离不开以下三大要素:
一是不同参与主体产生的大量数据信息。这是大数据应用发展的“原材料”基础,也是催生这一概念的基本条件。日本EMC公司与美国IDC公司于2013年年初共同公布了关于大数据方面的最新预测结果:到2020年,人类产生的数据总量将达到40ZB。除了拥有大数据平台的互联网和电子商务企业之外,政府部门、科研院所、高等院校、非营利机构等组织也拥有大量尚未得到有效利用的数据。
二是支撑大数据存储和运算的IT基础设施。这是大数据应用发展所必需的“设备”基础。大数据的存储和高效处理需要云计算数据中心的支撑,大数据的高速传输则需要足够带宽的互联网通道。有了足够的数据承载能力,才有可能进行进一步的分析挖掘。
三是挖掘大数据潜在价值并进行应用的能力。这是大数据产业能否成功发展的“瓶颈”所在。数据量的不断增长尽管带来了巨大的潜在价值,但同时也对我们的价值挖掘能力提出了巨大挑战。2012年全球被创建和被复制的数据总量达2.7ZB,其中较容易处理的有序的结构化数据相对较少,而大量的文本、图片、音视频、医疗影像等非结构化数据则超过85%。如何把这些庞杂无序的数据进行分析、处理和集成,变成有用的信息,是大数据应用发展面临的核心问题。
我国发展大数据应用需冷静面对诸多挑战
据国内有关研究机构初步统计,目前我国大数据产业还处于发展初期,市场规模仍然比较小,2012年仅为4.5亿元,而且主导厂商仍以外企居多。据预测,2016年我国大数据应用的整体市场规模将突破百亿元量级,未来将形成全球最大的大数据产业带。事实上,相对于发展前景的乐观预测,我国发展大数据产业面临的现实挑战更值得认真分析和对待。
首先,如何使分散在不同部门和主体的数据得到合理有效应用。需要明确哪些数据可以用、哪些数据不能任意地进行商业应用。大量的互联网数据掌控在企业手中,但是属于个人隐私或涉及国家信息安全的则应该进行合理限制和规范。对于政府部门、研究机构和高校掌握的专业数据,则须明确是否应向社会公众开放。
其次,如何构建可支撑大数据的IT基础设施。这一点涉及到对传统数据中心的改造和利用、新型云计算存储和处理系统的建设,以及如何尽快建设一个高速、方便接入的互联网通道。
第三,如何掌握大数据挖掘技术和培养大数据专业人才。大数据分析需要相关技术与人才的支撑。发达国家的部分IT企业已经初步掌握了一些数据分析预测的关键技术,我国相关企业的技术能力还比较落后。麦肯锡公司预测美国到2018年需要大数据分析人才40多万,人才缺口将达10多万。我国刚刚引入大数据概念,人才匮乏问题更加突出。
第四,如何避免未来出现大数据产业重复建设甚至产能过剩问题。近几年来,部分新兴产业已经出现了产能过剩的苗头,体制性原因导致的重复、超前建设问题比较突出。对于热度正高的大数据产业,如何避免因政府不当干预导致这些问题重演,是对我国当前区域竞争下产业发展体制的一个挑战。
做好基础性工作,促进大数据应用发展
面对社会各界的“大数据”热,应理性分析、冷静观察,扎实做好几个方面的基础性工作。这些工作可能是长期性、前瞻性的,需要逐步推进,很难立竿见影、一蹴而就。
第一,不必急于出台战略性规划和设立产业专项资金。国内的IT企业和地方政府已经意识到大数据产业的发展前景,对发展大数据应用有着较大热情。某些城市已经启动了大数据发展战略,计划到2017年形成至少500亿元的产业规模。在这种情况下,以规划和专项资金等方式进行鼓励,有可能扭曲正常的市场行为,甚至催生泡沫。
第二,合理改造、建设和布局IT基础设施。对现有的传统数据中心及大量的旧服务器资源,可以通过建立虚拟数据中心或进行就近合并等方式进行改造利用,探索如何通过虚拟化技术和云计算平台管理软件来提高利用效率。对新建的大规模云计算数据中心应进行统筹、合理布局,协调不同省市之间加强互补合作,将能源和气候因素作为项目建设的重要条件,保证经济上的合理性。按照网络建设适度超前于产业发展的原则,加快“宽带普及提速工程”的推进速度,尽快解决大数据应用发展的网络带宽瓶颈。
第三,推动数据隐私保护和公共机构信息公开等立法修法工作。2012年12月,全国人大常委会通过了《关于加强网络信息保护的决定》。应在此基础上继续完善个人隐私保护的相关立法,对哪些互联网个人数据可以进行商业化应用、应用范围如何界定、数据滥用应承担哪些责任等具体问题做出规范。应继续推动政府及公益性机构信息公开,对政府信息公开条例进行修改完善,清晰界定各部门和机构数据公开的对象、时限和应用范围,使更多的可公开数据得到合理应用。此外,对于哪些数据可以向境外流动或允许境外企业开发利用,也应有相应的法律规定。
第四,资助大数据竞争前技术的研究,培养大数据分析人才。在现有政府科技计划中,适度安排项目资金支持大数据关键技术的研发,重点在于竞争前技术,鼓励企业牵头或参与承担。人才培养应从高等教育和企业技术人员再培训两个方面入手,允许大学设立大数据相关专业并进行招生,鼓励地方政府出台关于大数据技术人才培训的相关政策。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
MySQL 服务器内存碎片:成因、检测与内存持续增长的解决策略 在 MySQL 运维中,“内存持续增长” 是常见且隐蔽的性能隐患 —— ...
2025-09-24人工智能重塑工程质量检测:核心应用、技术路径与实践案例 工程质量检测是保障建筑、市政、交通、水利等基础设施安全的 “最后一 ...
2025-09-24CDA 数据分析师:驾驭通用与场景指标,解锁数据驱动的精准路径 在数据驱动业务的实践中,指标是连接数据与决策的核心载体。但并 ...
2025-09-24在数据驱动的业务迭代中,AB 实验系统(负责验证业务优化效果)与业务系统(负责承载用户交互与核心流程)并非独立存在 —— 前 ...
2025-09-23CDA 业务数据分析:6 步闭环,让数据驱动业务落地 在企业数字化转型中,CDA(Certified Data Analyst)数据分析师的核心价值,并 ...
2025-09-23CDA 数据分析师:以指标为钥,解锁数据驱动价值 在数字化转型的浪潮中,“用数据说话” 已成为企业决策的共识。但数据本身是零散 ...
2025-09-23当 “算法” 成为数据科学、人工智能、业务决策领域的高频词时,一种隐形的认知误区正悄然蔓延 —— 有人将分析结果不佳归咎于 ...
2025-09-22在数据分析、金融计算、工程评估等领域,“平均数” 是描述数据集中趋势最常用的工具之一。但多数人提及 “平均数” 时,默认指 ...
2025-09-22CDA 数据分析师:参数估计助力数据决策的核心力量 在数字化浪潮席卷各行各业的当下,数据已成为驱动业务增长、优化运营效率的核 ...
2025-09-22训练与验证损失骤升:机器学习训练中的异常诊断与解决方案 在机器学习模型训练过程中,“损失曲线” 是反映模型学习状态的核心指 ...
2025-09-19解析 DataHub 与 Kafka:数据生态中两类核心工具的差异与协同 在数字化转型加速的今天,企业对数据的需求已从 “存储” 转向 “ ...
2025-09-19CDA 数据分析师:让统计基本概念成为业务决策的底层逻辑 统计基本概念是商业数据分析的 “基础语言”—— 从描述数据分布的 “均 ...
2025-09-19CDA 数据分析师:表结构数据 “获取 - 加工 - 使用” 全流程的赋能者 表结构数据(如数据库表、Excel 表、CSV 文件)是企业数字 ...
2025-09-19SQL Server 中 CONVERT 函数的日期转换:从基础用法到实战优化 在 SQL Server 的数据处理中,日期格式转换是高频需求 —— 无论 ...
2025-09-18MySQL 大表拆分与关联查询效率:打破 “拆分必慢” 的认知误区 在 MySQL 数据库管理中,“大表” 始终是性能优化绕不开的话题。 ...
2025-09-18DSGE 模型中的 Et:理性预期算子的内涵、作用与应用解析 动态随机一般均衡(Dynamic Stochastic General Equilibrium, DSGE)模 ...
2025-09-17Python 提取 TIF 中地名的完整指南 一、先明确:TIF 中的地名有哪两种存在形式? 在开始提取前,需先判断 TIF 文件的类型 —— ...
2025-09-17CDA 数据分析师:解锁表结构数据特征价值的专业核心 表结构数据(以 “行 - 列” 规范存储的结构化数据,如数据库表、Excel 表、 ...
2025-09-17Excel 导入数据含缺失值?详解 dropna 函数的功能与实战应用 在用 Python(如 pandas 库)处理 Excel 数据时,“缺失值” 是高频 ...
2025-09-16深入解析卡方检验与 t 检验:差异、适用场景与实践应用 在数据分析与统计学领域,假设检验是验证研究假设、判断数据差异是否 “ ...
2025-09-16