京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据发展的根基是什么
大数据活在“云端”!唯有云计算能让大数据找到自己的轨迹和存在的真正价值;但大数据不是无根的浮云,它有自己的根,源源不断输送数据的根。
那么,大数据的“根”在哪里?日前国务院出台的《促进大数据发展行动纲要》(以下简称《行动纲要》)或许可以让我们找到答案。
《行动纲要》明确提出了促进大数据发展的三大重点任务和十项工程。三大重点任务之首即加快政府数据开放共享,推动资源整合;十项工程前四大工程涉及政府信息,即:政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程。不难发现,三大重点任务、十项工程的关键词就是共享,而政府数据的开放共享是核心。
共享是大数据的“根”
大数据与云计算,或许就像一枚神奇的金币之正反面,让许多人感觉“云里雾里”、亦真亦幻,却又能真切地感受到金币的光芒。
什么是大数据?按照维基百科的定义,大数据是指无法在可承受时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。大数据的基本特点可以概括为“4V”:大量化(Volume)多样化(Variety)、快速化(Velocity)、价值化(Value),即海量的数据规模、快速的数据流动和动态的数据体系、多样的数据类型、巨大的数据价值。
而《大数据时代》的作者维克托·迈尔·舍恩伯格给出的解释或许更易于理解,他认为,“大数据”并不是很大或者很多数据,并不是一部分数据样本,而是关于某个现象的所有数据。比如说关于一家企业的数据信息,除了企业名称、法定代表人、注册资本、经营范围等基本信息外,还包括财务信息、经营信息、外部关联关系、诚信状况等信息。大量、多维、立体、交织信息的汇集,就可以为不同主体、基于不同需求分析企业提供数据基础。
如果将单个或局部领域的数据及其挖掘处理视为小数据,那么关于某一主体的大数据就是由成千上万、相互关联、相互交织的小数据汇聚而成的。小数据的充分融合,就是大数据形成的根基。譬如一滴水,唯有与别的水滴融合在一起,才能形成水流,才能汇成江河、海洋,才能发挥水的价值。这种融合就是共享。没有小数据的共享,就没有大数据生长的“根”。
要从海量的数据中快速地分析、挖掘出有用的信息,单台计算机已难以胜任,必须采用分布式架构,依托云计算的分布式处理、分布式数据和云存储、虚拟化技术,即透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算、分析之后将处理结果回传给用户。这就是与大数据相依相存的云计算。显然,如果没有数据的共享,云计算也是“无米之炊”。
当然,数据能否共享,涉及到数据的开放性、法律边界、数据价值实现等问题,还面临诸多现实障碍。
谁阻碍了数据共享?
当我们沉醉于大数据的奇妙与魔法无边的时候,现实世界却给了我们一记响亮的耳光!我们会沮丧地发现,许多政府公共信息仍处于零散、分割、封闭状态!
各级政府部门在履职过程中掌握了大量的数据信息,其中涉及企业(个人)的数据最为丰富。目前普遍认为比较有用的企业信息大致包括四个方面。
一是反映企业基本情况的信息。包括:工商部门提供的企业注册登记信息,注册资本、股东及高管变更情况等;环保部门提供的企业环境违法处罚信息、环评审批、排污许可证和排污权抵押登记情况等;质监、安监、食品药监、卫生等部门提供的各项资质信息。
二是反映企业真实经营状况的信息。包括:税务部门提供的企业应税销售额,纳税、退税情况等;人力社保部门提供的企业社保缴纳、劳动争议情况、劳动保障书面审查信息等;海关部门提供的进出口信息、企业报关情况等;水、电、气部门提供的缴费及欠费情况等。
三是反映企业及企业主资信状况及守法情况的信息。包括:公安、法院等部门提供的企业或企业主的司法诉讼、执行、查封信息等;工商、环保、人社、税务、质监、安监、食品药监、卫生、海关等部门提供的处罚信息。
四是反映企业融资、财产抵质押、对外担保等情况的信息。包括:人民银行[微博]征信系统提供的贷款、质押信息,工商部门提供的股权转让、抵押、查封信息等;房产部门提供的房地产权属、抵押、查封、租赁信息等。
这些涉及企业的各种信息资源散落在不同的政府管理部门,总体处于彼此分割、孤立、封闭状态,没有实现数据之间的共享、连接和融合,更谈不上大数据价值的体现。
尽管近年来,各级政府都在积极搭建公共信用信息平台,推动社会征信体系建设,特别是《国务院关于印发社会信用体系建设规划纲要(2014—2020年)的通知》出台后,步伐进一步加快,各部门也大多建立了自身的信息管理系统,但部门之间信息不共享或共享不充分仍是常态。即使有一些全国性、地区性的统一信息平台,如“全国企业信用信息公示系统”“信用浙江”等,所含企业信息也非常有限,且不完整、不及时。
这种信息割裂的状态,不仅不利于大数据的发展,从眼前看,则对具体运用大数据的相关主体的发展形成阻碍。比如,银行业在服务实体经济特别是小微企业过程中,面临的突出瓶颈之一,就是信息瓶颈。银行业开展小微企业信贷业务面临的最大困惑是信息不对称。信息的不对称使银行在发放小微企业贷款时难免“如履薄冰”,顾忌甚多。因此,能否切实掌握和了解反映企业真实经营状况、企业及企业主资信状况等相关信息,在很大程度上决定了银行对小微企业放贷的意愿以及介入小微企业信贷领域的深度。
目前客观存在的企业信息难共享之格局,根源在于部门利益。相关政府部门在参与公共信用信息平台建设时,出于种种原因,往往叫得响、做得少。一些部门出于自身商业利益,将自身所拥有的大量公共信息视为“私有财产”,以有偿作为提供信息的条件;或以维护商业秘密、涉及部门机密为由,不愿将拥有的、本属于公共资源的企业信息与其他部门共享,或者象征性地扔几根“骨头”,人为造成了企业信息的分割、残缺,也造就了许多“僵尸”信息平台;有些信息的共享按说不应存在障碍,只因为一些数据拥有的部门感觉“吃力不讨好”,缺乏主动提供数据的动力。
当然,也不排除个别地方政府从局部利益出发,对可能影响当地企业发展的行政处罚类负面、失信信息的公开加以阻扰,影响信息数据的共享。深层的原因,则是社会信用体系建设法制化步伐缓慢,公共信息征集机制不健全,对相关部门提供、公开相关政务信息缺乏有效的约束,以及信用信息使用在公开与保密之间的法律边界不清晰。
怎样走向数据共享?
《行动纲要》把加快政府数据开放共享、推动资源整合列为首要任务,把推动政府数据资源共享开放工程、国家大数据资源统筹发展工程、政府治理大数据工程、公共服务大数据工程等工程建设作为促进大数据发展的基础设施工程。说明政府高层对信息共享问题的高度关注。
显然,推动数据共享的起点是政府部门间的信息共享,而这恰恰是难点所在。这是一个系统性艰巨工程,也是一个渐进的过程,既需要加快社会征信体系的法制化进程,更需要政府及相关部门创新思维。
搭建统一、公开、透明的社会信用信息共享平台,有效整合政府各部门信息。对于拥有各种管理资源的政府而言,搭建一个比较完备的信息平台框架似乎并不难,难就难在能否实现信息的充分共享。如何让信息平台所涉及的政府部门主动、及时、充分地将自身所拥有、可公开的数据信息共享到统一的信息平台,关键是要强化信息征集的行政约束力,建立公共信息共享平台的保障机制。
在现行体制下,笔者以为政绩考核“指挥棒”或是推动信息共享之“神器”。应以推动《社会信用体系建设规划纲要(2014—2020年)》实施、落实政务公开制度为抓手,将公共信用信息共享系统数据信息的报送纳入政府对相关部门的考核,前提是要充分研究和界定各类信息公开的法律边界,特别是在对各类违法违规信息、不诚信行为信息的公开方面,应明确可以采取的共享方式和程度,以打消信息发布各方的顾虑。在此基础上,制定清晰的公共信息共享清单,明确相应的责任与义务。
小数据不能共享,大数据必是空谈。所以,看大势、顾大局、破本位,推进小数据共享,是政府部门在大数据时代应有的思维。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
指标体系是企业数字化分析、业务监控、经营决策的核心基础框架,是将零散数据转化为可衡量、可对比、可落地业务价值的关键体系。 ...
2026-10-08随着市场竞争日趋饱和,同质化低价竞争逐渐陷入内卷僵局,传统以价格、渠道、促销为核心的营销模式边际效益持续递减。在此背景下 ...
2026-10-08 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-10-08你有没有想过,手机里点外卖、刷社交软件、转一笔账,背后到底是谁在替你"记着账"? 答案其实很简单:数据库,以及跟它对话的那 ...
2026-10-07CDA数据分析师 出品 作者:李诗怡 一、数据分析四大思维 1. 对比思维:没有对比就没有分析 核心观点:单独一个数字没有意义,有 ...
2026-10-05Kimball 是方法,星型模型是它产出的形状。 很多人把"Kimball vs 星型模型"当成一道选择题——这本身就是个误会:Kimball 是动词 ...
2026-10-05写在开头 老板在微信上甩来一句: "帮我看下为什么销量跌了。" ” 你回工位,打开 SQL,开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24