京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据正引发新一轮革命 看待大数据还需“大眼界”
当人们享受被电商的大数据“算计”而带来的方便和廉价时,有时也会陷入它是否有损实体经济、是否破坏个人隐私等担忧。
纠结于此类担忧甚至争论,人们往往容易忽视大数据更宏大的意义:在促进传统行业升级改造、引领新兴产业和新兴应用蓬勃发展、提升社会运行和管理效率等方面,大数据正引发新一轮革命。人们看待大数据的眼光也亟待与时俱进。 传统产业大升级
“喷气式客机一起飞,就会产生海量数据”清华大学信息技术研究院研究员薛一波接受新华社记者采访时介绍,“分析客机实时传输的大数据,可实时掌握飞机的运行状态,提前预警和发现潜在问题,采取预防、维修等措施,大大减少故障率。”
类似技术也应用在高铁上。薛一波说,以往铁路工人在铁轨上敲敲打打,通过声音检查问题;如今,高铁上的各种传感设备可实时传回车辆数据,通过大数据分析,即可实现故障预警、诊断、排查和定位,提高效率,降低成本。
他说,大数据分析可大幅提升传统行业的运行效率、降低运维成本、提升数据价值,在欧美等发达国家,工业大数据应用已非常普及。
“大数据技术推动传统产业升级是必然的,”暨南大学信息学院/网络空间安全学院副院长郑力明对记者说,比如,德国积极推动包含工业大数据应用在内的“工业4.0”计划,正是要进一步促使工业生产与信息技术融合,使供应、制造、销售各环节智慧化。
鉴于大数据更广泛的潜力,早在2012年,世界经济论坛就发布《大数据·大影响》报告指出,数据已成为一种像黄金和货币一样的经济资产。
如今,大数据巨大的商业价值正成为推动经济变革的新引擎。中国工信部已印发《大数据产业发展规划(2016-2020年)》,提出到2020年基本形成技术先进、应用繁荣、保障有力的大数据产业体系。大数据相关产品和服务业务收入将突破1万亿元人民币,年均复合增长率保持30%左右。
“现在的突出问题,一是许多传统企业行业和机构缺乏新思维,没有意识到,甚至不清楚大数据这种战略资源的价值所在;二是缺乏机构间融合和深度合作,有数据的不知怎么用,会用的没有数据,因此需要打破条条框框、利益分割,共同促进大数据产业链的健康发展,”薛一波说,“除消费领域外,更多传统企业的大数据思维应成为行业共识。”
“天算”挖掘大价值
“人算不如天算,天算就是云计算,”阿里巴巴集团董事局主席马云日前在深圳IT领袖峰会上强调了云计算的重要。
今年1月初,谷歌、微软、阿里巴巴和英特尔等科技巨头相继公布的季报均显示:云计算已成为这些技术巨头最大的增长引擎。
如今,说起大数据,人们往往会提到云计算,可云计算与大数据又是什么关系?可以说,大数据与云计算一个是问题,一个是解决问题的方法。
从问题看,当前社会的数据资源正呈指数级增长。薛一波说,2006年,个人用户才刚刚迈进TB(1TB相当于10的12次方字节)时代,而全球共新产生约180EB(1EB相当于10的18次方字节)数据;到了2011年,这个数字达到1.8ZB(1ZB相当于10的21次方字节)。有市场研究机构预测,到2020年,整个世界的数据总量将会达到35.2ZB。
对于如此大量的非结构数据,传统计算机分析已难以胜任,集分布式计算、效用计算、网络存储、虚拟化等为一体的云计算应运而生。通过云计算对大数据进行分析,才能释放出更多数据的隐藏价值。
“因此,从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分,”《大数据时代》作者、英国牛津大学教授维克托·迈尔-舍恩伯格这样解释。
他还认为,大数据要求人们改变对精确性的苛求,转而追求混杂性,并找出数据间的关联。这种思维的转变将是革命性的,而云计算是发现并征服这些巨量混杂性数据的“利器”。
去年7月,美国高德纳咨询公司曾估计,未来5年内IT产业将有超过1万亿美元支出,直接或间接促进企业向云计算领域转型。
与云计算相伴的是行业人才培养问题凸显。全球知名职业人士社交网站“领英”公布的最受雇主青睐且最抢手技能中,云计算排名第一。郑力明也指出,目前中国发展大数据和云计算最大的问题在于人才,尤其是企业界需要大量人才。
打通信息“大动脉”
统计显示,目前我国信息数据资源80%以上掌握在各级政府部门手里,“深藏闺中”造成极大浪费。一些地方和部门的信息化建设各自为政,形成“信息孤岛”和“数据烟囱”,给应用带来不便。
中国人民大学调查与数据中心副主任、社会学系副教授王卫东认为,数据开放意义重大。因为大数据最初是用数据模型采集的各种信息的总和,开放数据能帮助研究人员找到之前看来不相干的事物间的关联,然后据此找到更精确的计算参数。开放程度越高,参数设置和分析就会越精准,得出的信息参考价值越高。
正因如此,“开放数据”已成为一股世界性运动,各国政府则成为这场运动中最重要的对象。推动信息跨部门跨层级共享共用,加快推进公共数据资源向社会开放,已经成为政府工作的重要目标。
2015年中国国务院印发的《促进大数据发展行动纲要》明确指出,数据已成为国家的基础性战略资源,要大力推动政府信息系统和公共数据互联开放共享,加快政府信息平台整合,消除信息孤岛,推进数据资源向社会开放,增强政府公信力,引导社会发展,服务公众企业。
所谓信息化,不仅在于“有”,更在于“通”。尤其是在互联网时代,信息必须实现有效流通和共享,才谈得上“化”。当今世界,信息化发展不进则退。加强信息基础设施建设,强化信息资源深度整合,让大数据思维与时俱进,才能打通经济社会发展的信息“大动脉”。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15