
大数据发展的根基是什么
大数据活在“云端”!唯有云计算能让大数据找到自己的轨迹和存在的真正价值;但大数据不是无根的浮云,它有自己的根,源源不断输送数据的根。
那么,大数据的“根”在哪里?日前国务院出台的《促进大数据发展行动纲要》(以下简称《行动纲要》)或许可以让我们找到答案。
《行动纲要》明确提出了促进大数据发展的三大重点任务和十项工程。三大重点任务之首即加快政府数据开放共享,推动资源整合;十项工程前四大工程涉及政府信息,即:政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程。不难发现,三大重点任务、十项工程的关键词就是共享,而政府数据的开放共享是核心。
共享是大数据的“根”
大数据与云计算,或许就像一枚神奇的金币之正反面,让许多人感觉“云里雾里”、亦真亦幻,却又能真切地感受到金币的光芒。
什么是大数据?按照维基百科的定义,大数据是指无法在可承受时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据的基本特点可以概括为“4V”:大量化(Volume)多样化(Variety)、快速化(Velocity)、价值化(Value),即海量的数据规模、快速的数据流动和动态的数据体系、多样的数据类型、巨大的数据价值。
而《大数据时代》的作者维克托·迈尔·舍恩伯格给出的解释或许更易于理解,他认为,“大数据”并不是很大或者很多数据,并不是一部分数据样本,而是关于某个现象的所有数据。比如说关于一家企业的数据信息,除了企业名称、法定代表人、注册资本、经营范围等基本信息外,还包括财务信息、经营信息、外部关联关系、诚信状况等信息。大量、多维、立体、交织信息的汇集,就可以为不同主体、基于不同需求分析企业提供数据基础。
如果将单个或局部领域的数据及其挖掘处理视为小数据,那么关于某一主体的大数据就是由成千上万、相互关联、相互交织的小数据汇聚而成的。小数据的充分融合,就是大数据形成的根基。譬如一滴水,唯有与别的水滴融合在一起,才能形成水流,才能汇成江河、海洋,才能发挥水的价值。这种融合就是共享。没有小数据的共享,就没有大数据生长的“根”。
要从海量的数据中快速地分析、挖掘出有用的信息,单台计算机已难以胜任,必须采用分布式架构,依托云计算的分布式处理、分布式数据和云存储、虚拟化技术,即透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算、分析之后将处理结果回传给用户。这就是与大数据相依相存的云计算。显然,如果没有数据的共享,云计算也是“无米之炊”。
当然,数据能否共享,涉及到数据的开放性、法律边界、数据价值实现等问题,还面临诸多现实障碍。
谁阻碍了数据共享?
当我们沉醉于大数据的奇妙与魔法无边的时候,现实世界却给了我们一记响亮的耳光!我们会沮丧地发现,许多政府公共信息仍处于零散、分割、封闭状态!
各级政府部门在履职过程中掌握了大量的数据信息,其中涉及企业(个人)的数据最为丰富。目前普遍认为比较有用的企业信息大致包括四个方面。
一是反映企业基本情况的信息。包括:工商部门提供的企业注册登记信息,注册资本、股东及高管变更情况等;环保部门提供的企业环境违法处罚信息、环评审批、排污许可证和排污权抵押登记情况等;质监、安监、食品药监、卫生等部门提供的各项资质信息。
二是反映企业真实经营状况的信息。包括:税务部门提供的企业应税销售额,纳税、退税情况等;人力社保部门提供的企业社保缴纳、劳动争议情况、劳动保障书面审查信息等;海关部门提供的进出口信息、企业报关情况等;水、电、气部门提供的缴费及欠费情况等。
三是反映企业及企业主资信状况及守法情况的信息。包括:公安、法院等部门提供的企业或企业主的司法诉讼、执行、查封信息等;工商、环保、人社、税务、质监、安监、食品药监、卫生、海关等部门提供的处罚信息。
四是反映企业融资、财产抵质押、对外担保等情况的信息。包括:人民银行[微博]征信系统提供的贷款、质押信息,工商部门提供的股权转让、抵押、查封信息等;房产部门提供的房地产权属、抵押、查封、租赁信息等。
这些涉及企业的各种信息资源散落在不同的政府管理部门,总体处于彼此分割、孤立、封闭状态,没有实现数据之间的共享、连接和融合,更谈不上大数据价值的体现。
尽管近年来,各级政府都在积极搭建公共信用信息平台,推动社会征信体系建设,特别是《国务院关于印发社会信用体系建设规划纲要(2014—2020年)的通知》出台后,步伐进一步加快,各部门也大多建立了自身的信息管理系统,但部门之间信息不共享或共享不充分仍是常态。即使有一些全国性、地区性的统一信息平台,如“全国企业信用信息公示系统”“信用浙江”等,所含企业信息也非常有限,且不完整、不及时。
这种信息割裂的状态,不仅不利于大数据的发展,从眼前看,则对具体运用大数据的相关主体的发展形成阻碍。比如,银行业在服务实体经济特别是小微企业过程中,面临的突出瓶颈之一,就是信息瓶颈。银行业开展小微企业信贷业务面临的最大困惑是信息不对称。信息的不对称使银行在发放小微企业贷款时难免“如履薄冰”,顾忌甚多。因此,能否切实掌握和了解反映企业真实经营状况、企业及企业主资信状况等相关信息,在很大程度上决定了银行对小微企业放贷的意愿以及介入小微企业信贷领域的深度。
目前客观存在的企业信息难共享之格局,根源在于部门利益。相关政府部门在参与公共信用信息平台建设时,出于种种原因,往往叫得响、做得少。一些部门出于自身商业利益,将自身所拥有的大量公共信息视为“私有财产”,以有偿作为提供信息的条件;或以维护商业秘密、涉及部门机密为由,不愿将拥有的、本属于公共资源的企业信息与其他部门共享,或者象征性地扔几根“骨头”,人为造成了企业信息的分割、残缺,也造就了许多“僵尸”信息平台;有些信息的共享按说不应存在障碍,只因为一些数据拥有的部门感觉“吃力不讨好”,缺乏主动提供数据的动力。
当然,也不排除个别地方政府从局部利益出发,对可能影响当地企业发展的行政处罚类负面、失信信息的公开加以阻扰,影响信息数据的共享。深层的原因,则是社会信用体系建设法制化步伐缓慢,公共信息征集机制不健全,对相关部门提供、公开相关政务信息缺乏有效的约束,以及信用信息使用在公开与保密之间的法律边界不清晰。
怎样走向数据共享?
《行动纲要》把加快政府数据开放共享、推动资源整合列为首要任务,把推动政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程等工程建设作为促进大数据发展的基础设施工程。说明政府高层对信息共享问题的高度关注。
显然,推动数据共享的起点是政府部门间的信息共享,而这恰恰是难点所在。这是一个系统性艰巨工程,也是一个渐进的过程,既需要加快社会征信体系的法制化进程,更需要政府及相关部门创新思维。
搭建统一、公开、透明的社会信用信息共享平台,有效整合政府各部门信息。对于拥有各种管理资源的政府而言,搭建一个比较完备的信息平台框架似乎并不难,难就难在能否实现信息的充分共享。如何让信息平台所涉及的政府部门主动、及时、充分地将自身所拥有、可公开的数据信息共享到统一的信息平台,关键是要强化信息征集的行政约束力,建立公共信息共享平台的保障机制。
在现行体制下,笔者以为政绩考核“指挥棒”或是推动信息共享之“神器”。应以推动《社会信用体系建设规划纲要(2014—2020年)》实施、落实政务公开制度为抓手,将公共信用信息共享系统数据信息的报送纳入政府对相关部门的考核,前提是要充分研究和界定各类信息公开的法律边界,特别是在对各类违法违规信息、不诚信行为信息的公开方面,应明确可以采取的共享方式和程度,以打消信息发布各方的顾虑。在此基础上,制定清晰的公共信息共享清单,明确相应的责任与义务。
小数据不能共享,大数据必是空谈。所以,看大势、顾大局、破本位,推进小数据共享,是政府部门在大数据时代应有的思维。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
尊敬的考生: 您好! 我们诚挚通知您,CDA Level I和 Level II考试大纲将于 2025年7月25日 实施重大更新。 此次更新旨在确保认 ...
2025-07-10BI 大数据分析师:连接数据与业务的价值转化者 在大数据与商业智能(Business Intelligence,简称 BI)深度融合的时代,BI ...
2025-07-10SQL 在预测分析中的应用:从数据查询到趋势预判 在数据驱动决策的时代,预测分析作为挖掘数据潜在价值的核心手段,正被广泛 ...
2025-07-10数据查询结束后:分析师的收尾工作与价值深化 在数据分析的全流程中,“query end”(查询结束)并非工作的终点,而是将数 ...
2025-07-10CDA 数据分析师考试:从报考到取证的全攻略 在数字经济蓬勃发展的今天,数据分析师已成为各行业争抢的核心人才,而 CDA(Certi ...
2025-07-09【CDA干货】单样本趋势性检验:捕捉数据背后的时间轨迹 在数据分析的版图中,单样本趋势性检验如同一位耐心的侦探,专注于从单 ...
2025-07-09year_month数据类型:时间维度的精准切片 在数据的世界里,时间是最不可或缺的维度之一,而year_month数据类型就像一把精准 ...
2025-07-09CDA 备考干货:Python 在数据分析中的核心应用与实战技巧 在 CDA 数据分析师认证考试中,Python 作为数据处理与分析的核心 ...
2025-07-08SPSS 中的 Mann-Kendall 检验:数据趋势与突变分析的有力工具 在数据分析的广袤领域中,准确捕捉数据的趋势变化以及识别 ...
2025-07-08备战 CDA 数据分析师考试:需要多久?如何规划? CDA(Certified Data Analyst)数据分析师认证作为国内权威的数据分析能力认证 ...
2025-07-08LSTM 输出不确定的成因、影响与应对策略 长短期记忆网络(LSTM)作为循环神经网络(RNN)的一种变体,凭借独特的门控机制,在 ...
2025-07-07统计学方法在市场调研数据中的深度应用 市场调研是企业洞察市场动态、了解消费者需求的重要途径,而统计学方法则是市场调研数 ...
2025-07-07CDA数据分析师证书考试全攻略 在数字化浪潮席卷全球的当下,数据已成为企业决策、行业发展的核心驱动力,数据分析师也因此成为 ...
2025-07-07剖析 CDA 数据分析师考试题型:解锁高效备考与答题策略 CDA(Certified Data Analyst)数据分析师考试作为衡量数据专业能力的 ...
2025-07-04SQL Server 字符串截取转日期:解锁数据处理的关键技能 在数据处理与分析工作中,数据格式的规范性是保证后续分析准确性的基础 ...
2025-07-04CDA 数据分析师视角:从数据迷雾中探寻商业真相 在数字化浪潮席卷全球的今天,数据已成为企业决策的核心驱动力,CDA(Certifie ...
2025-07-04CDA 数据分析师:开启数据职业发展新征程 在数据成为核心生产要素的今天,数据分析师的职业价值愈发凸显。CDA(Certified D ...
2025-07-03从招聘要求看数据分析师的能力素养与职业发展 在数字化浪潮席卷全球的当下,数据已成为企业的核心资产,数据分析师岗位也随 ...
2025-07-03Power BI 中如何控制过滤器选择项目数并在超限时报错 引言 在使用 Power BI 进行数据可视化和分析的过程中,对过滤器的有 ...
2025-07-03把握 CDA 考试时间,开启数据分析职业之路 在数字化转型的时代浪潮下,数据已成为企业决策的核心驱动力。CDA(Certified Da ...
2025-07-02