京公网安备 11010802034615号
经营许可证编号:京B2-20210330
实实在在大数据
在人类历史长河中,即使是现代社会日新月异的发展中,人们还主要是依赖抽样数据,局部数据,片面数据,甚至是在无法获得实证数据的时候纯粹依赖经验,理论,假设和价值观去发现未知领域的规律。所以,人们对世界的认识往往是表面的,肤浅的,简单的,扭曲的或者是无知的。舍恩伯格指出,大数据时代的来临使人类第一次有机会和条件在非常多的领域和非常深入的层次获得和使用全面数据,完整数据和系统数据,深入探索现实世界的规律,获取过去不可能获取的知识,得到过去无法企及的商机。
由于大数据的出现,使得通过数据分析获得知识,商机和社会服务能力从以往局限于少数象牙塔之中的学术精英圈子扩大到普通的机构,企业和政府部门。门槛的降低直接导致了数据的容错率提高,成本的降低,但正如舍恩伯格所强调的,最重要的是人们可以从对于因果关系的追求中在很大程度上解脱出来,转而将注意力放在相关关系的发现和使用上。只要发现两个现象之间存在显著相关性就可以创造巨大的经济或社会效益,而弄清二者为什么相关可以留待学者们慢慢研究。大数据之所以可能成为一个“时代”,在很大程度上是因为这是一个可以由社会各界广泛参与,八面出击,处处结果的社会运动,而不仅仅是少数专家学者的研究对象。
大数据将逐渐成为现代社会的基础设施的一部分,和公路,铁路,港口,水电,通讯网络一样不可或缺。但就其价值特性而言,大数据却和这些物理化的基础设施不同,不会因为人们的使用而折旧和贬值。例如,一组DNA可能会死亡或毁灭,但数据化的DNA却永存。所以,舍恩伯格赞同许多物理学家的看法,世界的本质就是数据。因此,大数据时代的经济学,政治学,社会学和许多科学门类会发生巨大的甚至是本质上的变化和发展,进而影响人类的价值体系,知识体系和生活方式。哲学史上争论不休的世界可知论和不可知论将会转变为实证科学中的具体问题。可知性是绝对的,无事无物不可知;不可知性是相对的,是尚未知道的意思。
对于不是网络业,IT业和从事数据分析和使用的读者,本书的一大好处是通俗易懂,通过具体实例说明问题,有助于人们的理解和联想。在时限上,作者概括了直到2012年7月大数据方向上的最新发展,避免了许多同类作品中存在的例证过于陈旧,视野相对狭窄的毛病。
作为一位生活在欧美现代社会中的学者,舍恩伯格是把民主,开放和理性作为已知前提讨论大数据革命的。这对生活在发展中国家,社会现代化程度有限的读者来说,也许是个遗憾,因为书中描述的许多已经发生的事例可能更像是神话。没有市场经济制度和法治体系作为基础支撑,大数据很可能成为发达国家在下一轮全球化竞争中的利器,而发展中国家依然处于被动依附的状态之中。整个世界可能被割裂为大数据时代,小数据时代和无数据时代。
处于发展中国家前列的中国,目前正面临着一个重大的历史抉择关口。应该说,在过去三十余年的时间里,中国在快速走向工业化,信息化,网络化方面交出了一份不错的成绩单。适逢世界走向数据化,迈入大数据时代的时刻,无论对个人,企业,还是对社会和国家,都有认真理解,严肃决策的必要性和紧迫性。哪怕仅从这一点考虑,读读这本书是很值得的。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你有没有想过,手机里点外卖、刷社交软件、转一笔账,背后到底是谁在替你"记着账"? 答案其实很简单:数据库,以及跟它对话的那 ...
2026-10-07CDA数据分析师 出品 作者:李诗怡 一、数据分析四大思维 1. 对比思维:没有对比就没有分析 核心观点:单独一个数字没有意义,有 ...
2026-10-05Kimball 是方法,星型模型是它产出的形状。 很多人把"Kimball vs 星型模型"当成一道选择题——这本身就是个误会:Kimball 是动词 ...
2026-10-05写在开头 老板在微信上甩来一句: "帮我看下为什么销量跌了。" ” 你回工位,打开 SQL,开始写。查订单表、拉近三个月、按 ...
2026-10-03CDA数据分析师 出品 作者:李诗怡 1. 事实表 vs 维度表 对比维度 事实表 维度表 核心问题 记录“业务发生了什么事” 描述 ...
2026-10-02做数据聚合时,PySpark的groupBy()确实能完成统计,这也是它的本职工作。但它有一个根本性局限:每一组数据,最终只能返回一行 ...
2026-10-01热力地图是数据可视化中极具辨识度与实用性的空间分析图表,结合地理空间维度与数据密度特征,通过颜色深浅、色阶渐变直观展示数 ...
2026-09-30 很多数据分析师做过按月份的销售额趋势图,画过按天的流量折线图,但当被问到“时间序列和普通数据有什么本质区别”“季节性 ...
2026-09-30同样是“银行数据岗”,在国有大行总行数据中心、在一家城商行的零售部、在银行系金融科技子公司、在保险公司,工作内容、成长节 ...
2026-09-29在数据分析与统计学研究中,数据往往不是独立存在的,不同变量之间普遍存在相互关联、相互影响的关系。相关性统计分析是挖掘变量 ...
2026-09-29 导读:大多数人只把 dataclasses 当成偷懒工具,用来少写 __init__、__repr__ 这类魔法方法。但它的能力远不止于此。本文带 ...
2026-09-29 很多数据分析师能熟练地计算指标、搭建标签体系,但当被问到“画像到底在解决什么问题”“画像和标签是什么关系”“画像如何 ...
2026-09-29在MySQL数据库运维与业务开发中,行业普遍存在“数据达到千万级就必须分表”的说法。但在实际生产环境中,千万条数据并不是强制 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 5W1H 分析法 定义:经典系统性思维框架,通过六个核心维度对问题进行全方位拆解与剖析,确 ...
2026-09-28 很多分析师在设计标签时思路清晰,但真到落地环节却面临“数据在手,不知如何转化为可用标签”的困境:或因加工方式选择不当 ...
2026-09-28CDA数据分析师 出品 作者:李诗怡 1. 用户标签体系 定义: 通过一系列高度精炼的特征标识,对用户属性、行为与偏好进行量化刻画 ...
2026-09-24Pandas是Python生态中用于表格数据处理的核心库,广泛应用于数据清洗、统计运算、报表输出、数据分析建模等场景。在处理极大数值 ...
2026-09-24随着数字经济快速发展,数据已成为核心生产要素,各行各业的业务沉淀、用户行为、设备运行、市场交易均产生海量数据。数据处理作 ...
2026-09-24 很多分析师每天和数据打交道,但当被问到“标签是什么”“标签和指标有什么区别”“标签体系如何设计”时,却常常答不上来。 ...
2026-09-24在时序数据分析中,大部分业务数据并非持续平稳变化,而是会在某些时间节点出现突然抬升、断崖下跌、趋势反转、波动异变等现象, ...
2026-09-23