对大数据的认识不应盲目跟风_数据分析师
由于大数据技术发展迅速,一些囫囵吞枣的浅知误见也随之流传,如不及时纠正,将造成对大数据先入为主的误区,影响经济社会发展。
近年来,大数据在我国得到一致重视,各行各业兴起了一股重视大数据、应用大数据的热潮。这种全民迅速接受新生事物的现象,反映了中国经过改革开放,现代化意识深入人心的可喜状况,令人鼓舞。但是,由于大数据技术发展迅速,一些囫囵吞枣的浅知误见也随之流传,如不及时纠正,将造成对大数据先入为主的误区,影响经济社会发展。当前国内十分流行的《大数据时代》(维克托·迈尔-舍恩伯格等著,浙江人民出版社,2013年,以下简称《时代》)中提出了三个存在严重谬误的观点,特此指出,以期引起注意。
“不是因果关系,而是相互关系”?
《时代》一书的主要观点之一是,大数据时代“不是因果关系,而是相互关系”。其实,早在18世纪,英国怀疑论者休谟就指出,“不但我们的理性不能帮助我们发现原因和结果的最终联系,而且经验给我们指出它们的恒常结合以后,我们也不能凭自己的理性使自己相信,我们为什么把那种经验扩大到我们所曾观察过那些特殊事物以外。我们只是假设,却永远不能证明,我们所经验过的那些事物必然类似于我们所未曾发现的那些对象。”
《时代》一书将这一早已提出几个世纪的观点,作为大数据时代的新概念,不仅陈旧,而且错误。因为,简单地说大数据时代“不是因果关系,而是相互关系”,说明作者不了解因果关系本身也是一种相互关系,即原因与结果前后相继的相互关系,因此将因果关系归结为相互关系并不比因果关系本身更有内涵,实际上,这甚至是一种同义反复。
正确的观点应该明确因果关系是一种什么样的相互关系,而这一点经过20世纪自然科学和数理哲学的研究已经有了更深刻的认识。计算机的发明,使得人们开始从计算机语言表达、传递信息的角度来理解知识的起点。大数据时代的到来,使得人们豁然开朗。
经济学者李德伟教授在《时代》中译本发表之前,就已提出大数据时代不再强调因果关系,也不是简单地将因果关系归为相互关系,而是精确地指出客观事物运动序列之间存在同构关系,特别是人类认识与外部客观事物之间存在对应的、同构的关系,信息的表达、传输和存储就是一种同构关系,也就是说,外部客观事物运动与人的主观认识都是客观世界的事物现象,是协调性的、一一对应的相互关系,主观认识映像只是承载、传递外部客观事物现象的一种符号系统。无论是从人自身悟出来,还是从外部经验事物抽象出来,都是同构的、对应的关系。
“不是随机样本,而是全体数据”?
《时代》一书认为大数据时代“不是随机样本,而是全体数据”,认识事物不再是从随机抽取的部分样本,而是从全部数据出发。这种说法忽视了全部与部分的辩证关系。人类在有限的时间内不可能穷尽事物的全部,绝对真理只能在人类前后相继的、永远不会停止的认识过程中实现。任何事物的发展总是有过去、现在和未来,现在的是现在,未来的尚未出现,全部案例不可能在有限时间内达到,认识也永远不会完结。未来的与过去和现在相比还是无穷大的。正因为如此,波普尔才提出,“全称命题不可证实,只能证伪。”
实际上,过去的小数据时代的抽样调查方法与现在的大数据方法相比,只能说是大数据时代可以用更为精确的、全面的数据,以包含更大因素的仿真模型来追踪、分析模拟现实,取得比过去更为精确的认识结果。尽管如此,与全体相比,已经认识的永远是少数,误差、错误还是不能完全消除。例如,通过人口普查分析现在中国人具有什么特点。不要说全部认识现有13亿人口的全部属性不可能(因为事物属性有无穷层次),即使说能够完全认识现有13亿人口全部属性,也不意味着过去、未来的中国人,也能够全部认识。未来的中国人与已经认识的现有中国人相比还是无穷大。因此,大数据与小数据相比只是以巨量的、全面的、即时的数据来认识事物,但是要掌握全体数据在有限时间内总是不可能的。
“不是精确性,而是混杂性”?
《时代》作者说大数据时代“不是精确性,而是混杂性”,意指小数据时代是讲究精确性,大数据时代因为掌握了大量数据可以不再拘泥于精确性,而是依靠大数据比较模糊地行动。这显然是错误的。因为在小数据时代能够掌握精确的小数据,但是大多数数据却被遗漏、舍弃,认识的结果就无法实现精确、全面,真理和错误的边界也不是很清楚,这时的认识是模糊的、有偏差的。在大数据时代,因为掌握了更为全面的数据,可以在更大的范围认识事物,因此,能够更为准确、量化,以至于对一些中间模糊区域也可以得到更为准确的认识,其精确度和模糊度、误差本身都更为精确量化。例如,在计算机信息系统中,发布更多的信息,通过反复比对、纠错机制,降低噪音,到达精确度。这一点在人类的认识活动中本来就是这样做的,“耳听为虚”就以“眼见为实”来纠错,小数据一两个来回不可能正确,反复多次大数据比对,就能达到越来越高的精确度,误差率就越来越小。
中国人口世界第一,信息产业市场最大,最有机会发展信息化、大数据和智慧化产业。但中国目前在对大数据的认识上有一种盲目跟外国之风的倾向。对于国外大数据理论,我们应以批判的眼光保持清醒的认识。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14