
大数据将怎样改变互联网
信用卡公司通过客户信息,能迅速发现资金异动,向持卡人发出提前警示;能源公司利用气象集纳分析,能够轻松选定安装风轮机的理想地点;交管部门通过车流数据预测,能让市区拥堵时间缩短一半……
随着大数据产业蓬勃发展,大数据技术及应用逐渐渗透、融入社会各个领域,并且推动互联网等产业加快转型升级。如何充分释放和利用大数据蕴含的巨大价值,无疑成为当下的热门议题。
传统行业“掘金”大数据
怎样给大数据下定义?“通俗地说,大数据就是量很大的数据,大到单个计算机无法处理。”工业和信息化部软件司司长陈伟此前在接受采访时介绍,目前,全球数据量每18个月就会翻倍,而由于产业链涉及数据采集、存储、分析、挖掘以及流通服务,大数据不仅改变着互联网的商业模式,而且还将重构互联网产业格局,并将人类带入互联网的全新时代。
经过多年积累,现在不少保险公司已占有大量线下数据,并圈定大批低赔付人群样本。作为互联网企业代表的百度,正与保险公司发展“深交”,通过对保险公司数据科学建模,利用人工智能算法海量计算,将这批具备相同特征的群体挖掘出来,寻找低赔付人群的准确性已超过了85%。
随着“双11”电商节临近,快递业紧锣密鼓地开始准备“迎战”。与保险行业类似,物流行业也在积极拥抱大数据。阿里巴巴利用菜鸟物流雷达预警,去年“双11”货品预测率达到90%,“双11”期间2.78亿订单仅用10天时间便已发送到位。
“因物流与商家供需信息不匹配,前年或者更早时货物送达时间甚至超过1个月,有人‘双12’还没收到‘双11’的货品……”阿里数据经济研究中心秘书长潘永花进一步介绍,结合商家销售数据和物流公司快递数据综合分析,可为物流公司提供智能物流解决方案。
伴随人们大步迈进互联网时代,各传统行业不断争相拥抱“大数据+”,云、网、端逐渐成为各行业重要基础设施体系。潘永花认为,从“端”的角度来看,除智能终端外,还有越来越多的App;从“网”角度来说,互联网、物联网、云和大数据都将是核心资源,而正是基于云、网、端的基础,才有了“互联网+”各种行业的化学反应。
巧用数据资源释放大能量
有人说,“IT”代表着过去,“DT”才代表着未来。这里所说的“DT”正是指的数据技术。也就是说,当下大数据核心技术成了诸多产业的发展驱动力。“人们逐渐意识到,数据是推动产业发展的动力,也将为今后各行业提供全新服务。它不再仅是业务的附属品!”Teradata天睿公司大中华区副总裁姜欣表示。
根据大数据产业发展需求,不少互联网企业不仅巧用大数据助力自身发展,而且也尝试逐渐向外界开放数据资源,推动传统企业在“互联网+”的大潮下转型升级。
“大数据与行业数据融合,可以产生‘核聚变’,迸发出新能量。”百度公司高级副总裁王劲告诉记者,百度正通过大数据技术识别各类目标客群,进行多维度分析客群搜索趋势、搜索行为、兴趣偏好,助力企业了解行业趋势、加强用户洞察、提升营销效果;此外,系列数据资源还能为网上舆情提供实时监控分析。
王劲介绍:“随着互联网用户趋于交互方式寻找服务需求,百度大数据预测未来5年使用语音、图像来表达需求的比例将超过50%。百度在语音识别、图像识别、自然语言处理等前沿技术领域,正在有针对性地进行重点突破。”
从政府角度看,如果能盘活政府机构大量数据资源,将更有利于融合并利用外部智慧,提升政府公共服务创新能力,提升社会运行效率。“政务大数据可让公众、企业深入参与政府治理,使政府与公众充分互动,实现政府对公众服务的精准化、个性化,使政府从单纯的管理角色向多元共治方向变革。”潘永花说。
大数据瓶颈消除在望
“目前,大数据产业发展主要遇到的障碍是数据的共享与互通,以及如何保障数据安全。”百度有关负责人表示。
潘永花坦言,目前我国大数据人才缺口大,相关的创新创业人才有待培养,而且我国也缺乏像发达国家一样的“大数据国家战略”以及“开放政府政策”,在标准、规范方面还存有各自为政的尴尬。
陈伟指出,国务院印发的《促进大数据发展行动纲要》提出要“加快政府数据开放共享,推动资源整合,提升治理能力”,此举不仅开启了数据共享的大门,而且也对各行业、各企业间进行数据互通起到引导示范作用,将有利于打破数据共享互通中的发展障碍。
同时,数据安全、数据共享等话题同样备受关注。“这是一场‘革命’,将对各行各业带来深刻影响,甚至改变我们的思维方式,但同时它也引发‘数据暴政’的担忧……”牛津大学教授维克多·梅耶-舍恩伯格在《大数据》中的这句经典话语,曾被业界津津乐道。
为保证数据安全,技术层面不容忽视。“从大数据存储、应用、管理以及隐私保护等方面应层层把关,有针对性地应对安全威胁。”王劲告诉记者,目前,百度综合采用随机干扰、散列、K-匿名、泛化等多种隐私保护手段,对用户数据实现了完全的数据脱敏处理,再供应业务方和合作伙伴进行使用,防止用户隐私泄露。
有人时常提及,“数据安全三分靠技术,七分靠管理”。潘永花对此也深表认同:“从运营管理层面上说,互联网企业须对数据安全有严格规范标准,建立数据安全保障策略以及各项应急机制。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在 “神经网络与卡尔曼滤波融合” 的理论基础上,Python 凭借其丰富的科学计算库(NumPy、FilterPy)、深度学习框架(PyTorch、T ...
2025-10-23在工业控制、自动驾驶、机器人导航、气象预测等领域,“状态估计” 是核心任务 —— 即从含噪声的观测数据中,精准推断系统的真 ...
2025-10-23在数据分析全流程中,“数据清洗” 恰似烹饪前的食材处理:若食材(数据)腐烂变质、混杂异物(脏数据),即便拥有精湛的烹饪技 ...
2025-10-23在人工智能领域,“大模型” 已成为近年来的热点标签:从参数超 1750 亿的 GPT-3,到万亿级参数的 PaLM,再到多模态大模型 GPT-4 ...
2025-10-22在 MySQL 数据库的日常运维与开发中,“更新数据是否会影响读数据” 是一个高频疑问。这个问题的答案并非简单的 “是” 或 “否 ...
2025-10-22在企业数据分析中,“数据孤岛” 是制约分析深度的核心瓶颈 —— 用户数据散落在注册系统、APP 日志、客服记录中,订单数据分散 ...
2025-10-22在神经网络设计中,“隐藏层个数” 是决定模型能力的关键参数 —— 太少会导致 “欠拟合”(模型无法捕捉复杂数据规律,如用单隐 ...
2025-10-21在特征工程流程中,“单变量筛选” 是承上启下的关键步骤 —— 它通过分析单个特征与目标变量的关联强度,剔除无意义、冗余的特 ...
2025-10-21在数据分析全流程中,“数据读取” 常被误解为 “简单的文件打开”—— 双击 Excel、执行基础 SQL 查询即可完成。但对 CDA(Cert ...
2025-10-21在实际业务数据分析中,我们遇到的大多数数据并非理想的正态分布 —— 电商平台的用户消费金额(少数用户单次消费上万元,多数集 ...
2025-10-20在数字化交互中,用户的每一次操作 —— 从电商平台的 “浏览商品→加入购物车→查看评价→放弃下单”,到内容 APP 的 “点击短 ...
2025-10-20在数据分析的全流程中,“数据采集” 是最基础也最关键的环节 —— 如同烹饪前需备好新鲜食材,若采集的数据不完整、不准确或不 ...
2025-10-20在数据成为新时代“石油”的今天,几乎每个职场人都在焦虑: “为什么别人能用数据驱动决策、升职加薪,而我面对Excel表格却无从 ...
2025-10-18数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15