
大数据遭遇孤岛危机,困局该如何破
在大数据产业快速发展的今天,大数据应用仍然远远落后于大数据建设,而这种情况的最重要因素就在于存在各种形式的“壁垒”,无法实现充分的分享与流通,这也制约了大数据产业的发展潜力。那么,该如何实现突破呢?
大数据“壁垒” 制约产业发展 应如何实现突破?
不久前,在工业和信息化部位于北京万寿路的机关里,一个行业内部的会议——工业和信息化部大数据行业组织对接座谈会召开了。工信部软件司相关领导和来自全国的大数据相关行业组织代表30余人,一起研究讨论了在全国范围内开展大数据企业调查的具体行动步骤。这次会议的工作任务实施,将为我国全面开展完善大数据产业发展体系提供重要基础信息。
大数据企业发展良好 交易平台业已起步
当前我国大数据企业发展势头良好。去年底工信部发布《大数据产业发展规划(2016-2020年)》(以下简称《规划》)中提出,“加快大数据产业主体培育,培育一批大数据龙头企业和创新型中小企业,形成多层次、梯队化的创新主体和合理的产业布局,繁荣大数据生态”。在大数据资源建设、大数据技术、大数据应用领域涌现出一批新模式和新业态。龙头企业引领,上下游企业互动的产业格局已经初步形成。仅仅一两年的时间,我国的数据交易所从无到有,已经突破10家了。
在国外,数据流通产业始于2007年。随着大数据产业市场规模的迅速扩大,数据交易业务得到快速发展,涌现出微软数据市场、亚马逊公共数据集、甲骨文在线数据交易、富士通数据市场等一批知名数据服务商。这些公司有的专注于政府数据,有的提供多样的数据服务,形成了总体上丰富多样的数据交易市场。
而在我国,数据交易产业已经起步。2015年4月,国内第一家数据交易平台——贵阳大数据交易所正式上线。截至上个月,我国已经建成并运营的大数据交易所或交易平台已经超过10家。预计到2017年年中,这一数字将达到15~20家。可以说,平台建设正处在井喷期,而且平台的变现能力正在得到稳步提升。
壁垒让大数据“沉睡” 如开放将有重大利好
国际数据公司(IDC)的数据显示,按目前发展趋势,预计2020年全球大数据总存储量将达到44ZB(1ZB约等于10000亿GB)。我国数据总量为909EB(1EB约等于1000亿GB),占全球数据总量的13%。
目前数据层面的壁垒普遍存在于政企、企业间,业内人士表示针对现状普遍是通过购买和“爬虫”(自动获取网页内容的手段)的方式获取,但数据存在不准确、不全和非结构化等问题。
相关研究报告称,2017年国内大数据技术和服务市场的复合年增长率预计将达28%,市场规模约320亿美元。
但从国内看,以国有数据资源和公共数据资源为主的大量数据像“冰块”一样无法流动。据市场分析测算,政府掌握的直接和间接数据占总数据量的70%,其中大部分在公共基础设施、公共服务这块,比如医院、公交体系等。
中科院院士梅宏在此前接受采访时说,“一些掌握数据资源的机构或部门不愿、不敢、不会开放共享数据。”不愿,是因为觉得自己的数据很重要,要掌握在自己手上;不敢,是因为没有法律、标准支撑,担心数据安全;不会,则是受制于数据技术研发瓶颈。
业内人士指出,大数据时代的数据资源广泛散布于政府、行业、企业三个子系统中,其中,信息数据资源80%以上掌握在各级政府部门手里。而与此同时,区域部门间基本实现共享的省级地方仅占13%,区域部门间少量实现共享的地市和区县仅占32%和28%,信息共享和业务协同在地市和区县进展缓慢。
“如果更多数据可以开放,将会对产业转型、政务和公共服务效率提升等大有裨益。”上海至信普林科技有限公司总经理顾敏洁说,“比如中国人民银行上海总部自2006年起公开金融信息后,催生了一批金融信息咨询服务公司,其中还有5家上市公司,拉动的就业人数也非常可观。”
大数据“孤岛”如何实现突破?
2015年国务院印发的《促进大数据发展行动纲要》明确指出,要引导培育大数据交易市场,开展面向应用的数据交易市场试点,探索开展大数据衍生产品交易,鼓励产业链各环节的市场主体进行数据交换和交易,促进数据资源流通。这一文件从政策层面肯定了数据流通市场的地位,但数据资源交易机制和定价机制都还未明确,规范交易行为的举措都还在研究制定中。
要打通数据孤岛,一方面是技术上的革新和标准化的推进,同时包括数据安全领域建设。“在物联网时代,需要从政府等层面推进包括身份识别、信息安全系统等庞大的安全体系建设。”中关村大数据产业联盟秘书长赵国栋说。
全国信息安全标准化技术委员会大数据标准工作组成员张群介绍:“目前全国信息技术标准化技术委员会已推进获批了6项大数据领域的标准,包括了大数据技术参考模型、数据能力成熟度评价模型标准等。”
另一方面,在法律维度,立法推进的前提是明确数据权属。对此,赵国栋建议,可以参照土地管理的做法,将数据权属划分为所有权、处置权、使用权和收益权。“例如处置权应归国家,规定归档、删除的各种条件等。只有权属清楚才能推动法律保护。”
日前,大数据流通与交易技术国家工程实验室正式落户上海,该实验室由国家发改委批复成立,不仅是国家大数据产业创新体系的重要组成部分,也是进一步落实国家“十三五”战略布局,促进大数据产业健康发展的重要举措。
“大数据流通与交易技术国家工程实验室是国家在大数据流通领域部署的首个面向应用的创新型平台。”中国联通集团副总经理姜正新表示,该实验室将有力支撑国家重大战略任务和区域协同发展,提升大数据行业自主创新能力,解决我国大数据共享交换及交易流通不畅、标注不明、数据质量参差不齐等问题。
未来,政府与大数据行业、企业应着重解决基础性的标准、安全和技术等问题,这样大数据产业就一定可以走出“孤岛”,全面提升市场流通与交易的发展前景,为我国经济领域变革提供重要动能。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Pandas 选取特定值所在行:6 类核心方法与实战指南 在使用 pandas 处理结构化数据时,“选取特定值所在的行” 是最高频的操作之 ...
2025-09-30球面卷积神经网络(SCNN) 为解决这一痛点,球面卷积神经网络(Spherical Convolutional Neural Network, SCNN) 应运而生。它通 ...
2025-09-30在企业日常运营中,“未来会怎样” 是决策者最关心的问题 —— 电商平台想知道 “下月销量能否达标”,金融机构想预判 “下周股 ...
2025-09-30Excel 能做聚类分析吗?基础方法、进阶技巧与场景边界 在数据分析领域,聚类分析是 “无监督学习” 的核心技术 —— 无需预设分 ...
2025-09-29XGBoost 决策树:原理、优化与工业级实战指南 在机器学习领域,决策树因 “可解释性强、处理非线性关系能力突出” 成为基础模型 ...
2025-09-29在标签体系的落地链路中,“设计标签逻辑” 只是第一步,真正让标签从 “纸上定义” 变为 “业务可用资产” 的关键,在于标签加 ...
2025-09-29在使用 Excel 数据透视表进行多维度数据汇总时,折叠功能是梳理数据层级的核心工具 —— 通过点击 “+/-” 符号可展开明细数据或 ...
2025-09-28在使用 Pandas 处理 CSV、TSV 等文本文件时,“引号” 是最容易引发格式混乱的 “隐形杀手”—— 比如字段中包含逗号(如 “北京 ...
2025-09-28在 CDA(Certified Data Analyst)数据分析师的技能工具箱中,数据查询语言(尤其是 SQL)是最基础、也最核心的 “武器”。无论 ...
2025-09-28Cox 模型时间依赖性检验:原理、方法与实战应用 在生存分析领域,Cox 比例风险模型(Cox Proportional Hazards Model)是分析 “ ...
2025-09-26检测因子类型的影响程度大小:评估标准、实战案例与管控策略 在检测分析领域(如环境监测、食品质量检测、工业产品合规性测试) ...
2025-09-26CDA 数据分析师:以数据库为基石,筑牢数据驱动的 “源头防线” 在数据驱动业务的链条中,“数据从哪里来” 是 CDA(Certified D ...
2025-09-26线性相关点分布的四种基本类型:特征、识别与实战应用 在数据分析与统计学中,“线性相关” 是描述两个数值变量间关联趋势的核心 ...
2025-09-25深度神经网络神经元个数确定指南:从原理到实战的科学路径 在深度神经网络(DNN)的设计中,“神经元个数” 是决定模型性能的关 ...
2025-09-25在企业数字化进程中,不少团队陷入 “指标困境”:仪表盘上堆砌着上百个指标,DAU、转化率、营收等数据实时跳动,却无法回答 “ ...
2025-09-25MySQL 服务器内存碎片:成因、检测与内存持续增长的解决策略 在 MySQL 运维中,“内存持续增长” 是常见且隐蔽的性能隐患 —— ...
2025-09-24人工智能重塑工程质量检测:核心应用、技术路径与实践案例 工程质量检测是保障建筑、市政、交通、水利等基础设施安全的 “最后一 ...
2025-09-24CDA 数据分析师:驾驭通用与场景指标,解锁数据驱动的精准路径 在数据驱动业务的实践中,指标是连接数据与决策的核心载体。但并 ...
2025-09-24在数据驱动的业务迭代中,AB 实验系统(负责验证业务优化效果)与业务系统(负责承载用户交互与核心流程)并非独立存在 —— 前 ...
2025-09-23CDA 业务数据分析:6 步闭环,让数据驱动业务落地 在企业数字化转型中,CDA(Certified Data Analyst)数据分析师的核心价值,并 ...
2025-09-23