京公网安备 11010802034615号
经营许可证编号:京B2-20210330
另一个视角看大数据 如何把数据变成真正的价值
大数据是当下最时髦的话题之一,依照迈尔·舍恩伯格及库克在《大数据时代》的描述,数据被定义为不用随机分析法(抽样调查)而运用所有数据的方法。除了对于社会组织、公共服务、人们生活的重大影响之外,这一热潮背后的关注焦点,其实还是商业模式,即相关数据仓库、数据安全、数据分析、数据挖掘等围绕大数据的商业价值利用。
大数据之所以在我国引起如此大的关注,也是由于在传统文化理念中,“大概齐、差不多”的习惯深入人心,在公共决策、商业选择、个人行为中充斥着“拍脑袋”现象。正如历史学家黄仁宇在《赫逊河畔谈中国历史》所论述的那样,“西欧和日本都已以商业组织的精神一切按实情主持国政的时候,中国仍然是亿万军民不能在数目字上管理。”当然,这种模糊管理下的信息不对称,亦成为另外一种既定利益格局的存在基础。正因为此,当信息爆炸时代快速来临之时,对数据信息的渴望迅速在社会不同层面体现出来。据报,汪洋副总理就曾向广东财政厅干部推荐涂子沛写的《大数据》。
要论大数据的历史,或可追溯到19世纪末。美国统计学家赫尔曼·霍尔瑞斯为统计1890年的人口普查数据,发明了一台电动器来读取卡片上的洞数,该设备用一年时间完成了原本需耗时八年的人口普查,由此开启了数据处理的新纪元。进入21世纪,随着信息技术、云计算的高速发展,以及社交网络的普及,大数据被赋予了全新含义。应该说,基于数据化严重不足的大背景,在我国经济社会发展中强调大数据的作用,其积极意义非常深远,但与此同时,也要避免走向另外的某些极端,这就需要相应的冷思考。
比如,在大数据的推动者之中,一方面各类新兴互联网企业成为主力,另一方面传统企业也在着力跟随,其根本动力都是在于发掘新的商业利润来源,以弥补我国经济转型期的投资迷茫。在此过程中,对于个人的利益和诉求还缺乏合理的认识和定位。虽然大数据对于进一步理解和服务消费者起到重要作用,但从其他侧面看,无序的、低效的、无用的信息轰炸,往往给个人带来“信息过度”的不佳体验,而在数据成为财富的狂热驱动下,对于个人信息权利的侵犯几乎无处不在,尤其在我国缺乏个人信息保护规则的条件下,数据渴望和采集很可能成为激怒消费者的动因,且拉大了与真正的消费者主权社会的距离。
另外,更值得我们思考的是,如果信息产生基础或其环境存在问题,那么大数据的技术是否会造成更大的信息扭曲?从金融市场的角度看,大数据在深刻改变高频交易方式、信贷风险判断等环节同时,也带来了其他潜在风险的积累,如信息误读造成的市场波动突然被放大,以及难以监管的新型金融产品创新等等。可以说,在诸多领域都缺乏法律游戏规则约束,更缺乏职业道德约束的情况下,如果初始数据就存在问题,那么在此基础上的大数据分析手段,恐怕就只有“南辕北辙”的效果了。从大处说,各类统计数据造假历年来都是被舆论广泛质疑的焦点;从小处说,在很多领域数据失真已经成为常态。例如,据5月7日的《北京青年报》报道,由于受到利益绑架,北京地区的电视收视率数据或许已被污染。再如,我国赴海外留学生的国内学校成绩,就一度存在许多造假行为,直到欧美出现更严厉的制约才有所收敛。无论如何,一旦数据本身的问题太多,则带来的只有大数据的灾难。
我们知道,信息不对称的后果是扭曲了市场机制的作用,误导了市场信息,造成市场失灵。如果处在普遍的信息数据缺乏状态下,经济行为的不确定性也会增加,往往会降低市场效率。反之,是过犹不及,即便是在上世纪末所谓“信息爆炸”年代,也远不如当前阶段如此快速的信息积累。据统计,互联网上的数据每两年翻一番,而全球绝大多数数据都是最近几年才产生的。面对似乎逐渐“供大于求”的数据,如何找到有用的信息,成为利用大数据的关键问题。正如美国颇有影响力的预测专家纳特·西尔弗在《信号与噪声》一书中所分析的:“如果信息的数量以每天250兆亿字节的速度增长,其中有用的信息肯定接近于零。大部分信息都只是噪声而已,而且噪声的增长速度要比信号快得多。”由此看来,当数据信息铺天盖地而来之时,也可能距离真相越来越远。在现实中,对于一哄而上追求大数据的企业来说,也需要冷静思考下,在信息过度充分的年代,如何把数据真正变成真正的价值?
大数据如同一把双刃剑,正如不少好莱坞电影中政府对公众无所不在的监控,大数据的爆炸,也让现代人对个人信息安全失控充满了担忧。斯诺登和棱镜事件,进一步在全球范围的国家之间提出这个疑问。一方面,在不可避免地拥抱大数据时代之前,可能更需要加强对其潜在风险的认识,做好基础数据净化、个人信息保护、国家信息安全等基础性建设;另一方面,大数据既可用来推动新商业模式演进,也可用来通过“抓坏蛋”,间接促进社会信息环境的完善,从而夯实大数据根基。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据可视化领域,树状图(Tree Diagram)是呈现层级结构数据的核心工具——无论是电商商品分类、企业组织架构,还是数据挖掘中 ...
2025-11-17核心结论:“分析前一天浏览与第二天下单的概率提升”属于数据挖掘中的关联规则挖掘(含序列模式挖掘) 技术——它聚焦“时间序 ...
2025-11-17在数据驱动成为企业核心竞争力的今天,很多企业陷入“数据多但用不好”的困境:营销部门要做用户转化分析却拿不到精准数据,运营 ...
2025-11-17在使用Excel透视表进行数据汇总分析时,我们常遇到“需通过两个字段相乘得到关键指标”的场景——比如“单价×数量=金额”“销量 ...
2025-11-14在测试环境搭建、数据验证等场景中,经常需要将UAT(用户验收测试)环境的表数据同步到SIT(系统集成测试)环境,且两者表结构完 ...
2025-11-14在数据驱动的企业中,常有这样的困境:分析师提交的“万字数据报告”被束之高阁,而一张简洁的“复购率趋势图+核心策略标注”却 ...
2025-11-14在实证研究中,层次回归分析是探究“不同变量组对因变量的增量解释力”的核心方法——通过分步骤引入自变量(如先引入人口统计学 ...
2025-11-13在实时数据分析、实时业务监控等场景中,“数据新鲜度”直接决定业务价值——当电商平台需要实时统计秒杀订单量、金融系统需要实 ...
2025-11-13在数据量爆炸式增长的今天,企业对数据分析的需求已从“有没有”升级为“好不好”——不少团队陷入“数据堆砌却无洞察”“分析结 ...
2025-11-13在主成分分析(PCA)、因子分析等降维方法中,“成分得分系数矩阵” 与 “载荷矩阵” 是两个高频出现但极易混淆的核心矩阵 —— ...
2025-11-12大数据早已不是单纯的技术概念,而是渗透各行业的核心生产力。但同样是拥抱大数据,零售企业的推荐系统、制造企业的设备维护、金 ...
2025-11-12在数据驱动的时代,“数据分析” 已成为企业决策的核心支撑,但很多人对其认知仍停留在 “用 Excel 做报表”“写 SQL 查数据” ...
2025-11-12金融统计不是单纯的 “数据计算”,而是贯穿金融业务全流程的 “风险量化工具”—— 从信贷审批中的客户风险评估,到投资组合的 ...
2025-11-11这个问题很有实战价值,mtcars 数据集是多元线性回归的经典案例,通过它能清晰展现 “多变量影响分析” 的核心逻辑。核心结论是 ...
2025-11-11在数据驱动成为企业核心竞争力的今天,“不知道要什么数据”“分析结果用不上” 是企业的普遍困境 —— 业务部门说 “要提升销量 ...
2025-11-11在大模型(如 Transformer、CNN、多层感知机)的结构设计中,“每层神经元个数” 是决定模型性能与效率的关键参数 —— 个数过少 ...
2025-11-10形成购买决策的四个核心推动力的是:内在需求驱动、产品价值感知、社会环境影响、场景便捷性—— 它们从 “为什么买”“值得买吗 ...
2025-11-10在数字经济时代,“数字化转型” 已从企业的 “可选动作” 变为 “生存必需”。然而,多数企业的转型仍停留在 “上线系统、收集 ...
2025-11-10在数据分析与建模中,“显性特征”(如用户年龄、订单金额、商品类别)是直接可获取的基础数据,但真正驱动业务突破的往往是 “ ...
2025-11-07在大模型(LLM)商业化落地过程中,“结果稳定性” 是比 “单次输出质量” 更关键的指标 —— 对客服对话而言,相同问题需给出一 ...
2025-11-07