大数据时代的三个思维变换
维克托·尔耶·舍恩伯格在《大数据时代:生活、工作与思维的大变革》中最具洞见之处在于,他明确指出,大数据时代最大的转变就是,放弃对因果关系的渴求,而取而代之关注相关关系。也就是说只要知道“是什么”,而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例,对人类的认知和与世界交流的方式提出了全新的挑战。
知名IT研究机构Gartner以它对专业IT市场的“魔力象限图”发布作为一种评价方式,在其二维矩阵里,横轴是前瞻的完整性,纵轴是执行力,如果用此分析方法来评价《大数据时代》这本书,它大概位于右下角靠近纵轴中间点的位置。
2012年,笔者看过的3本有关大数据的中文书,它们分别是《证析》、《大数据》和维克托·迈尔·舍恩伯格的《大数据时代》。与其他两本相比,舍恩伯格这本书的特点重在“Impact Analysis”的前瞻分析,在大数据时代的思维变迁方面有启发价值。也说是说,此书对于企业高管和CIO的价值更大,它基本没有太多讨论技术,而偏重于观念转移(Paradigm Shift)。
简单说来,这本书的价值可以用两个“三”、一个“一”来概括:第1个“三”是3个关于大数据的思维变换,重在大数据变革时代的价值与观念变化;第2个“三”是关于大数据影响商业变革的3个要素:即数据、技术与创新思维之间的互动;一个“一”是关于大数据泛化下的治理与隐私。
关于大数据本身的价值已无需赘述,此处重点讨论关于大数据的3个思维变化:1.不是随机样本,而是全体数据;2.不是精确性,而是混杂性,尤其是大数据的简单算法比小数据的复杂算法有效;3.不是因果关系,而是相互关系。
《大数据时代》一书提醒读者,大数据是全数据,至少维度要全,这带来了观察和分析事物的角度变化,尤其相对于传统IT系统数据,大数据强调了数据的外部性和实时性,这两个特性也使得“证析”提到的基于事实(Evidence)的分析成为可能,不过此书忽略了外部数据与企业内部数据结合的分析价值。比如,对于政府来说,分析大范围的公共卫生事件、传染病可以更快地利用大数据(比如微博)发现目前的情况,但具体要调度资源,还是需要结合“小数据”的精确决策。
第2点的核心观念关于大数据的简单算法来自谷歌的洞见,也来自于Hadoop(一个分布式系统基础架构,由Apache基金会开发)这类算法的核心理念。大数据的简单算法是一种统计学的逻辑,这个如同热力学的分析模式,热力学并不关心具体的分子运动,而是关心温度、体积、压强之间的宏观联系,关于这种理念的内在理解,建议读者从吴军的《数学之美》一书中获得,只有真正理解了大数据基于统计学的思维方式,才能理解它的独特优势和局限。这种方式可以解决以往技术无法解决的大范围、实时性和并行处理等问题,并带来新的洞见,它用概率说话,并不是和人就细节较真。这个来自互联网公司的观念是,希望先解决80%的趋势问题,然后慢慢精细化。
第3点,大数据关注“是什么”,而不是“为什么”,经常网购的人会更容易体会。很多电商网站的推荐引擎具备这种能力,它能够在顾客买书的时候,推荐顾客刚好喜欢的其他书籍,顾客可能不知道“为什么”,其实网站也不在乎“为什么”,(“为什么”可以由学术专家慢慢分析)。但是网站根据成千上万甚至上亿人的统计学分析,就可以发现“关联物”,或者说大数据更擅长通过统计分析人类所不能感知的关联,并建议人采取行动。
这个革命式的思维非同小可,以前“啤酒+尿布”的数据仓库故事需要数据整理、清洗转换和专家建模挖掘,其采购行为的关联性可能被Hadoop等算法轻易的发现。上述方式由于分析门槛低,已经成为一种常见的工具,并衍生大数据的云服务的商业模式,成为企业可以购买的“分析即服务”(Analytics as a Services),国内阿里系正致力于这种模式的建立。
第2部分关于大数据商业模式方面,最有价值的是关于大数据商业生态的分析,除了大家熟知的数据、技术,作者认为还有第3种基于思维的大数据公司,包括数据中间商等等,这对于国内过于关注技术本身的趋势是个很好的提醒。一个有趣的话题是,作者认为基于统计的数据科学家会逐步取代行业专家,因为大数据发现的新的真实联系,可能会颠覆传统行业专家,这个话题学术界可能很感兴趣。
一个耐人寻味的例子是,基于大数据统计分析的自然语言翻译几年前就胜过了基于语义理解的语言学家派别,书中提到的一个从事语言翻译的算法小组甚至开玩笑地说,“每次我们组走了一个语言专家,我们的翻译精确度就提高一些”。
第3部分是关于大数据成为乔治·奥威尔《一九八四》里的“老大哥”,即通过技术手段实现了无处不在的监控以后,隐私和滥用的问题最为让人担心。笔者认为这个话题过于公共,而且已有很多文章在讨论,并不是本书的特质,况且大数据的兴起是一个渐进的过程,各个行业的实用案例尚在兴起,行业内部应专注于行业创新,关于公共的话题的讨论还是留给学者、政府和未来。
西方作者有一类是理念的鼓吹者,最著名是《失控》的作者KK(凯文·凯利),此类被读者推崇为传教士的作者,喜欢推广颠覆式的观念,产生一种前世今生(Before/After)比较的震撼力。本书作者也是如此,如此颠覆,强力的大数据时代似乎正在到来,然而,此类作者也会被人指责为“管杀不管埋”——提出理念,不对具体的可行性负责。回到前文提到的Gartner的“魔力象限图”,渐进的执行力才是大数据这种趋势逐步在各个行业开花的关键。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14