京公网安备 11010802034615号
经营许可证编号:京B2-20210330
大数据:一个未知的“方程式”_数据分析师
互联网时代,各种热词、概念满天飞。说到大数据,许多人搞不太懂,甚至有人直斥“大数据=大忽悠”。大数据到底是什么,产业现状和创业机会怎样?
去年底宣布的一个事情,将对未来有深远影响,现在大家还没意识到。2013年11月19日,国家统计局与11家国内企业签署战略合作框架协议,合作内容涉及大数据应用统计标准,以及企业数据补充政府统计数据等领域。有分析称,在大数据国家战略日益强烈的情况下,统计局介入将进一步推动大数据的应用落地。
大数据绝对不是忽悠,它是当下IT领域最时髦的词,简单说就是从各种数据中快速获取价值信息的能力。美国是最早发现和使用大数据科学价值的国家。2012年3月,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家战略,奥巴马政府甚至将大数据定义为“未来的新石油”。当时美国政府声明说通过提高美国从大型复杂的数据集中提取知识和管理的能力,来加强整个国家的竞争力,这被认为是跟互联网同一个级别的时代。显然,大数据不止是一个词汇,更是一门技术,是一个产业时代。
而中国作为世界上人口最多、GDP排名第二的国家,成立大数据国家队是非常及时的。大数据的精髓在于“大”,它不是抽样而是全样,它不是盲人摸到的象腿或者是象鼻子,而是整个大象本身,大数据的精妙处在于用的人越多越增持,通过这样一个模糊的宏观判断,能够完成一个精准的个体推荐,从而会让整个生产效率得到极大提高。
不开放大数据,周边创业是无米之炊目前我国大数据应用还存在一些问题。首先,大数据不是IT公司的专利。第一批国家统计局引入的战略合作伙伴,大多数还是聚焦在IT公司,其实不是只有IT公司才有大数据,如线下零售巨头企业在实体经济中积累了很大的数据资源,他们数据的深度和广度不亚于甚至超过互联网公司。第一批进入的合作伙伴之一上海钢联其实掌握了煤炭钢铁在内的大宗商品数据,这是国家统计局没有涉及到的。因此,非IT类公司、拥有巨大的业务形态的企业,都可以成为第二批国家统计局大数据合作伙伴。我们也看到,国家统计局作为国家法定职能部门把姿态放平,主动寻求和民营企业的合作,这是非常可喜的进步。
第二,拥有大数据的IT公司和非IT公司应该打破数据格局。我们看BAT(百度、阿里、腾讯),近期围绕微信和淘宝发生新一轮互相屏蔽,在早前百度和淘宝进行了屏蔽,这三家掌握搜索、消费和社交的数据,本来是三方的数据汇总才能拼凑出比较完整的网上信息图谱,但是三家公司为了彼此的商业利益,并没有体现出数据合作的意愿,而是互相封杀,这将给社会数据的流动带来伤害。因此,在保证一定商业利益的基础上,巨头的眼光应该放远一点,打破数据割据。这看起来是一个很难实现的乌托邦。不过任何美好的事情都需要乌托邦的愿景作为起步的。我们看到许多美好的事情,比如说互联网,全世界的人通过互联网联结在一起,开始大家觉得乌托邦,现在已经形成现实。
第三,应该呼吁政府相关部门进一步开放市场。因为围绕大数据不管是应用还是创业,最核心的是要有数据的源头,然后才能进行采集、编辑,重新编制。据报道,现在大量的关于国民经济或者说民生的数据其实还在封闭状态,在工商部门、银行、保险、公安、医院、社保,包括电信运营商机构的手里。如何让这些数据流动起来,能让大家更方便,其实应该由政府带头实现等级制数据的开放共享。在不违反保密或者是国防的情况下,如果不开放大数据,那么相关研究和创业都是无米之炊。所以还是应该抓住这个机遇,进一步开放市场,不断试点,一步一步把数据开放转起来,带来更多的应用价值。
隐私保护与数据精准之间的平衡数据应该共融共通,还要开放市场。这个开放市场不仅仅是企业之间开放,企业对个人也要开放。为什么现在开放变得这么谨慎?因为开放有风险,一是安全问题,二是伦理问题。已经有专家指出,安全问题是对于国防、军事以及整个经济信息的保密顾虑而言;伦理问题是从个体角度而言,即网民的隐私。《大数据》作者曾经说过,在一个有组织的社会里,几乎每一则信息都在不同的时候,以不同的形式公开过。就公民而言,他的信息一次性在网上公开,和第一种情况有本质区别。
大数据平台在提供服务的同时,也在时刻收集用户的各种消费习惯、浏览习惯甚至生活习惯。如何保护用户的隐私成了大数据时代发展过程中不可回避的问题。因此,大数据的应用价值在于个人隐私保护与数据精准之间的平衡。要真正做到大数据的开放,还需要很长的路走。大数据会成为互联网之后,人类又一个技术乌托邦。大数据的启动跟互联网有着相同的逻辑,一开始大家谈,不知道怎么做,会有一轮甚至几轮比较明显的产业泡沫,但是随着那些看似乌托邦的愿景,一个技术、一个尝试的创业公司的进入,会一步一步变成现实。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
平均数是数据分析、数理统计与日常运算中最基础、最常用的统计量,核心作用是浓缩一组数据的整体水平、刻画数据集中趋势。在众多 ...
2026-08-24在MySQL数据库中,InnoDB存储引擎作为主流事务型引擎,默认事务隔离级别为可重复读(Repeatable Read,RR),这与SQL Server、Or ...
2026-08-24 很多数据分析师拿到数据就开始清洗、建模,但当被问到“这批数据属于什么类型——结构化还是非结构化?分类变量还是数值变量 ...
2026-08-24 很多数据分析师画过趋势图、做过业绩预测,但当被问到“这个月销售额增长20%,到底是长期趋势自然增长,还是促销活动的短期 ...
2026-08-21在数据分析与数据可视化工作中,直方图是展示数据分布特征、离散程度、集中区间的核心图表,能够直观呈现数值数据的频次分布规律 ...
2026-08-20在数据分析领域有一句核心准则:垃圾数据进,垃圾数据出。数据清洗是数据分析、数据建模、数据可视化之前的必经前置工序,也是保 ...
2026-08-20 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-08-20在Python数据分析与数据清洗工作中,Pandas是最核心的数据处理库,DataFrame是结构化数据的标准存储格式。在实时数据采集、循环 ...
2026-08-19在零售行业大数据分析与精细化运营领域,纸尿裤旁摆放啤酒是最经典、最具代表性的商业案例。两种看似毫无关联的商品,一个是婴幼 ...
2026-08-19 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-08-19在数据分析、业务监控、质量检测与风险管控工作中,数据波动性是衡量数据稳定性、业务健康度、结果可信度的核心依据。数据波动代 ...
2026-08-18很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当导致 ...
2026-08-18在数据分析、业务评价、产品评级、用户分层与综合决策场景中,单一指标往往无法全面、客观地评价事物整体水平。现实中的评价对象 ...
2026-08-18在数理统计、假设检验、数据分析与机器学习领域中,卡方分布(χ²分布)是继正态分布、t分布之后最重要的连续型概率分布之一。 ...
2026-08-17在Python数据清洗、文本校验、账号密码规则校验、脏数据过滤、字符串规整化处理中,正则表达式是最高效、最常用的文本匹配工具。 ...
2026-08-17 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-08-17手游行业具备用户迭代快、竞争激烈、用户粘性易流失的典型特征。随着新游持续上线、玩家审美升级、玩法疲劳等问题出现,存量用户 ...
2026-08-14在数字化产品运营、商业数据分析、业务增长管理中,零散的指标统计无法支撑系统性的业务决策。单一的点击率、转化率、销量数据只 ...
2026-08-14 很多数据分析师每天都在写SQL,但当被问到“数据查询语言(DQL)的本质是什么”“SELECT语句中各子句的书写顺序与实际执行顺 ...
2026-08-14在数据库数据分析、数据清洗、报表统计与业务查询场景中,日期时间是最高频、最核心的基础字段。数据库中存储的日期格式多样,包 ...
2026-08-13