
大数据带来大变革
近来,媒体报道了一系列看似互不相关的事件:
4月15日,波士顿马拉松爆炸案事发几小时内,数以千计的在场群众将事发现场拍摄的照片和视频放到了公共网络平台上,这些照片和视频图像来自各种相机,手机和平板电脑。不到一天时间,嫌犯被确认。又过了一天,两嫌犯在前往纽约,准备在时代广场再次引爆六枚炸弹,制造大规模血案的路途中被追捕,一死一伤。这是历史上第一次反犯罪机构的专业能力与社会大众汇集的海量信息及时结合,在与犯罪分子的时间竞赛中取胜。
4月底,谷歌正式发布了全新的网络终端—-谷歌眼镜,使人类第一次具备了真正意义上的所见即所得的工具,可以把人们在日常生活中目光所及的一切变成网络数据,传送到网络空间中加以保存利用。这一创新是如此神奇,可以用语音打开网站或电子邮件,用眨眼动作开启照片或视频的拍摄。
4月底,通用电气宣布投资10亿美元,开始在硅谷打造一个“工业互联网”平台。这个平台将通过安装在通用旗下大至飞机,小至激光手术刀等数万种产品上的传感装置,通过网络将设备运行状态数据实时传至平台,通过各种软件进行分析检测,以有效地确认各类设备的良好程度,以及时进行设备优化和维修更新。据测算,等到平台建成,仅在能源和交通领域,就可以比现有维护系统减少1500亿美元的浪费。
5月初,世界第一款通过3D打印制造出来的手枪由美国一家公司设计制造并试射成功。手枪由十六个部件组成,除撞针是金属制品外,其余部分全部由高强度塑料和树脂粉末通过3D打印设备制成。如果不是为了遵守现有枪支检测法律,手枪撞针本来也是可以不用金属制造的。手枪的全部设计图纸和工艺流程由发明者做成计算机文件放到了互联网上,短短几天内被下载了十万余次,以致美国政府担心产生可能的公共安全问题,封杀了这些文件。
如果留意,类似创新的报道每天都在出现。这些表面上看起来互不相关的事件却有着鲜明的共同点,即越来越多的领域,越来越多的产业,在创新上都走上依靠计算机-互联网-大数据这一道路,计算机-互联网-大数据的影响力正在越来越明显地覆盖社会生活的方方面面。那些正在或将来会牵动全社会,影响国家安全和人民福祉,创造巨大财富的创新,几乎都要在计算机-互联网-大数据的平台上实现。这形成了一个全新的“围城”现象:原来据守在计算机-互联网-大数据产业壁垒中的企业开始向外突围,试图冲入传统产业和传统社会生活中大施拳脚;原来从事传统产业,社会服务和公共事务的企业和机构开始攻城,试图通过登陆新型信息平台找到发展新途径。
从上世纪70年代末期开始,已经实现了工业化的发达国家先后开始了向信息化社会转型的过程。站在今天的角度观察,这一由工业化向信息化的转型可以分为三个时代,即计算机时代,互联网时代和大数据时代。
到90年代中期,美国已经基本度过了计算机时代,计算机高度普及,解决了信息的机器可读化和数据的可计算化问题。目前,美国也基本走完了互联网时代的路程,互联网高度普及,解决了信息传递和信息服务问题。在计算机和互联网的基础上,美国正在步入一个全新的历史阶段—-大数据时代。
从早期巨型计算机作为唯一的电子化数据获取和处理工具,到后来PC机和笔记本电脑的普及,再到今天的智能手机,谷歌眼镜和穿戴型数据终端以及形形色色的数据传感装置,人类将物理界,生物界和社会界的万事万物数据化并加以存储处理的能力大幅提高,可以说无处不在,无物不读。目前全球具备数据获取存储处理和传输的数据终端设备已经超过一百亿台,并且以每两年翻番的速度增长。
互联网从早期的有线网络发展出无线网络,数据传输速度越来越快,数据传输成本越来越低。当互联网与数据终端合为一体,就开始形成了一个全面深入映射现实世界的数据化世界,也就是人们所谓的大数据。获取和利用大数据,寻找过去现实世界中所没有的全新生活方式,社会治理机制和经济发展途径,开始成为社会方方面面关注投入的中心,也就是人们所谓的大数据时代。当获取和利用大数据成为社会共识和社会发展的主要推动力的时刻到来,就可以说人类全面进入了信息化社会。
大数据的核心组成部分是由政府机构所拥有的社会管理和公共生活数据,以及主要是由政府机构直接拥有或间接支持下获得的物理世界和生物世界的数据。同政府数据资源相比,无论个人,企业或社会组织如何努力,获取和可利用的数据资源都是简单,片面和利用价值极其有限的。
所以,如何使政府从垄断和保密的历史惯性思维方式中解脱出来,在确保隐私,机密和国家安全的前提下带头开放数据,降低公众获取和利用政府数据资源难度和成本,至少是大数据时代开启阶段的瓶颈。冲破开放数据这一关,海阔天空,前途无限。迟疑不决或畏缩不前,早晚会自尝恶果,落后挨打。大数据正在成为一个国家最重要的国家社会资源,对大数据的获取和利用能力正在成为软硬兼备的真实力。正是在开放政府数据资源这一关键点上,美国再次走在了世界各国的前面。
5月9日,美国总统奥巴马发布了题为“实现政府信息公开化和机器可读取化”的总统行政命令(相当于我国的最高级别行政法规),这是继奥巴马于2008年上任后发布关于政府公开化,数字化政府和迎接大数据时代到来的一系列总统行政命令后,在国家治理和公共服务方面坚决和主动适应时代变革的又一重大举措。这一行政命令的基本要点是:
–“政府的开放性将巩固民主制度,使公共服务效益提升并促进经济增长。开放政府的一个重大益处是通过信息资源容易被发现,获取和使用,从而为社会创业,创新和科学发现提供动力,从而改善美国人民生活并显著增加就业机会”。
–“为进一步促进通过政府数据开放给公众以增加就业机会,政府施政效率和公共服务产品,新增和经过现代化处理的原有政府信息资源的基本形态必须实现开放化和机器可读化。政府信息在其生命周期内必须作为一种资产加以管理,以提升数据的可交互操作性和开放性,并确保在法律许可范围内,在任何地方都可以将数据开放给公众,同时确保其开放方式使公众容易寻找,获取和使用。”
–相关政府部门将制定并不断更新一整套数据开放政策,与此行政命令同时发布。在推进数据开放政策时,各相关政府部门在确定开放任何信息之前,都应对该信息在有效期内是否侵犯个人隐私,政府机密和国家安全进行评估,确保数据开放在相关法律规定的范围内实施。
–为确保数据开放政策有效实施,在30天之内,白宫信息与法规办公室的首席信息官和首席技术官必须在互联网上公布相关数据转换工具和使用指南,以帮助各政府部门在落实此行政命令过程中协调一致。这些工具和指南必须定期更新以跟上数据开放政策落实的进程。在90天之内,白宫有关部门和官员必须确定政策落实的初步实施细则,并将此细则纳入各种国家采购和国家基金发放程序之中。白宫办公厅首席绩效官必须制定出所有政府部门重点施政目标考核办法,以跟踪数据开放政策的落实情况。各部门的进展和达标情况必须按季度上报并将纳入政绩考核。
为了证明政府开放数据对社会发展的重要性,奥巴马特意列举了美国政府向全社会免费开放气象数据和全球定位系统(GPS)两个实例。在开放了源自政府气象卫星和地面气象站的数据后,美国出现了一个全新的产业链,包括电视气象频道和气象网站,商业化的农业气象顾问服务以及新型与气象有关的保险产品。在过去国防专用的GPS系统向民用和商用开放后,全世界涌现出一大批基于GPS的创新产品和服务,例如飞机导航系统,精细化农产品耕种系统和互联网上形形色色的基于定位的网络服务。
为了表明对数据开放政策的支持,美国卫生部在奥巴马签署行政命令的前一天,首次公开了所有医院在对患者乱收费方面的数据,从而加强了公众对医院价格透明度和公共责任的监督力度。而在过去几年美国卫生部已经大量公开了机器可读的有关医疗方面的数据,包括医院,药品,医保产品,社保成本等等,由此触发了数以百计的利用公共健康医疗数据进行创业的公司,涌现了大量有利于大众健康和疾病治疗方面的产品。
可以相信,美国在推进大数据发展方面的持续努力,能够确保其在全球走向信息化社会的过程中的领先地位。以开放政府数据资源为重点的大数据战略,以鼓励大规模开发页岩气(高度依赖计算机)为重点的新能源战略和以3D打印(与大数据密不可分)为突破口的创意与制造业更新战略将成为美国经济与社会转型的三块基石。由此产生的巨大的社会生产力提升,巨大的财富创造效应和巨大的科技创新能力将极大地提升美国社会的现代化程度和国际竞争力,彻底摆脱2008年金融危机发生以来所造成的社会经济转型痛苦,从而确保未来几十年美国在全球的领导地位。
经过30多年的改革开放,中国已经基本完成了从农业社会向工业化社会的转变。与美国等发达国家不同,在推进国家工业化和加入国际分工体系的同时,中国从上世纪80年代中期开始就启动了走向信息化社会的进程。回顾过去20多年的历史,可以发现中国已经基本走完了计算机时代和互联网时代的路程,已经一条腿迈入了信息化社会。
无论是以计算机设计制造能力和数量以及软件创造能力来衡量,还是以计算机普及度和社会依赖度来衡量,中国已经极大地缩短了与发达国家的差距,从过去的三十年以上减少到十年以内。无论是以网络设备设计制造能力和数量以及布网建设水平来衡量,还是以互联网普及程度和社会依赖度来衡量,中国同样已经极大地缩短了与发达国家的差距,从过去的十五年以上减少到五年以内。
在以美国为首的发达国家开始做出走向大数据时代的种种努力的历史性时刻,如果中国能够在以往的基础上,凝聚共识,扫除障碍,立即行动,义无反顾地走向大数据时代,那么,就有极大的机会进一步缩短与发达国家的差距,与美国相差两三年,与其他发达国家并驾齐驱,大幅领先其他新兴经济体。这样,中国的社会现代化程度将得以极大提升,在世界上的竞争能力明显增强。
与美国相比,中国的政府体系在社会中的地位,能力和影响力要强得多,拥有的公共数据资源多很多,开放程度低很多。所以,一旦政府下决心实施开放数据战略,推进力度和综合社会经济效益会更加显著。这首先需要在政府最高层次上建立决策,实施和协调机构,类似在推进计算机和互联网发展时期的国务院信息化领导小组。
一旦决策形成,就要推出一系列可操作,可监督,可问责的行政法规和实施细则,并与国家预算与资金投放机制挂钩,形成激励和推动的动力。开放政府信息资源可以先易后难,从气象,地震,交通,公安,社保,医疗卫生,教育等公共数据资源的开放入手,在投资,生产,消费,统计,审计等经济领域也大有潜力可挖。当这些公共数据与民间和企业界拥有的数据资源相互融合,就会形成巨大的创新力,财富创造能力和社会进步推动力。
毋庸置疑,大数据时代对社会现有结构,体制,文化和生活方式的冲击和变革远大于计算机时代和互联网时代。对中国而言,以往计算机时代,互联网时代甚至工业化时代和融入世界分工体系所带来的冲击,阵痛和改变还在继续。这是一个高速发展的社会不得不付出的代价。
相比较而言,如果拒绝走向大数据时代,闭目塞听,墨守成规,消极保护部门利益或其他既得利益集团的垄断地位,从而丧失难得的历史机遇,迟滞国家现代化的进程,所要付出的代价要高的多。现在正是由大数据所带来的大变革的前夜,面对这场势将席卷全球的社会大变革,主动比被动好,早动比晚动好,不动不是一个选择。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
机器学习解决实际问题的核心关键:从业务到落地的全流程解析 在人工智能技术落地的浪潮中,机器学习作为核心工具,已广泛应用于 ...
2025-09-09SPSS 编码状态区域中 Unicode 的功能与价值解析 在 SPSS(Statistical Product and Service Solutions,统计产品与服务解决方案 ...
2025-09-09CDA 数据分析师:驾驭商业数据分析流程的核心力量 在商业决策从 “经验驱动” 向 “数据驱动” 转型的过程中,商业数据分析总体 ...
2025-09-09R 语言:数据科学与科研领域的核心工具及优势解析 一、引言 在数据驱动决策的时代,无论是科研人员验证实验假设(如前文中的 T ...
2025-09-08T 检验在假设检验中的应用与实践 一、引言 在科研数据分析、医学实验验证、经济指标对比等领域,常常需要判断 “样本间的差异是 ...
2025-09-08在商业竞争日益激烈的当下,“用数据说话” 已从企业的 “加分项” 变为 “生存必需”。然而,零散的数据分析无法持续为业务赋能 ...
2025-09-08随机森林算法的核心特点:原理、优势与应用解析 在机器学习领域,随机森林(Random Forest)作为集成学习(Ensemble Learning) ...
2025-09-05Excel 区域名定义:从基础到进阶的高效应用指南 在 Excel 数据处理中,频繁引用单元格区域(如A2:A100、B3:D20)不仅容易出错, ...
2025-09-05CDA 数据分析师:以六大分析方法构建数据驱动业务的核心能力 在数据驱动决策成为企业共识的当下,CDA(Certified Data Analyst) ...
2025-09-05SQL 日期截取:从基础方法到业务实战的全维度解析 在数据处理与业务分析中,日期数据是连接 “业务行为” 与 “时间维度” 的核 ...
2025-09-04在卷积神经网络(CNN)的发展历程中,解决 “梯度消失”“特征复用不足”“模型参数冗余” 一直是核心命题。2017 年提出的密集连 ...
2025-09-04CDA 数据分析师:驾驭数据范式,释放数据价值 在数字化转型浪潮席卷全球的当下,数据已成为企业核心生产要素。而 CDA(Certified ...
2025-09-04K-Means 聚类:无监督学习中数据分群的核心算法 在数据分析领域,当我们面对海量无标签数据(如用户行为记录、商品属性数据、图 ...
2025-09-03特征值、特征向量与主成分:数据降维背后的线性代数逻辑 在机器学习、数据分析与信号处理领域,“降维” 是破解高维数据复杂性的 ...
2025-09-03CDA 数据分析师与数据分析:解锁数据价值的关键 在数字经济高速发展的今天,数据已成为企业核心资产与社会发展的重要驱动力。无 ...
2025-09-03解析 loss.backward ():深度学习中梯度汇总与同步的自动触发核心 在深度学习模型训练流程中,loss.backward()是连接 “前向计算 ...
2025-09-02要解答 “画 K-S 图时横轴是等距还是等频” 的问题,需先明确 K-S 图的核心用途(检验样本分布与理论分布的一致性),再结合横轴 ...
2025-09-02CDA 数据分析师:助力企业破解数据需求与数据分析需求难题 在数字化浪潮席卷全球的当下,数据已成为企业核心战略资产。无论是市 ...
2025-09-02Power BI 度量值实战:基于每月收入与税金占比计算累计税金分摊金额 在企业财务分析中,税金分摊是成本核算与利润统计的核心环节 ...
2025-09-01巧用 ALTER TABLE rent ADD INDEX:租房系统数据库性能优化实践 在租房管理系统中,rent表是核心业务表之一,通常存储租赁订单信 ...
2025-09-01