怎样才算大数据_数据分析师
从谷歌趋势可漫谈大数据之一:怎样才算大数据以看到,大数据作为一个buzzword,是从2011年声名鹊起的。对这波趋势,中国跟进并不慢,旋即2012年被称作中国的大数据元年。其中两本书功不可没:前有涂子沛先生的《大数据》,从美国政府的数据信仰、政策和实践娓娓道来,让中国政坛和知识精英接受了一次思维洗礼,汪洋副总理离任广东前一系列开风气之先的大数据举措,当属此书之功;年末维克托.迈尔.舍恩伯格先生的《大数据时代》,则是系统论述大数据理念的奠基之作。如果说前者着力于发蒙—大数据可以做什么,后者则注重解惑—大数据该怎么做。
中国做事大气魄。原著为英文的《大数据时代》美国读者尚在翘首以盼,中文版在2012年末就摆上了国内读者的书架,原来是乘舍恩伯格先生参加云世界大会不失时机宣传。在年末年初的喧闹中,大数据产业园、大数据日、大数据专委会、大数据专业、大数据实验室和各种大数据峰会接踵而来。物联网和大数据、云计算和大数据彼此抱团取暖,来抵消决策者对层出不穷新概念的审美疲劳。其实,大数据还只是在民间热。相比起物联网和云计算,它在国家最高层面上获得的关注和实质支持还颇有不如,甚至美国政府都走在了前面:后者在2012年3月发布《大数据研究和发展倡议》,6个部门投资超过两亿美金推动相关研究。两亿美金对于工信部和科技部来说是毛毛雨,按兵不动是什么原因?
根据在下与工信部官员和智库的一些交流,我感觉决策者还存在很多疑惑:大数据究竟是什么新玩意儿?与以前的数据库、数据仓库、数据挖掘和商业智能有什么区别?市场有多大?中国应该重点发展什么?竞争优势和劣势在哪里?每每官员们在台上指点江山、大谈大数据战略云云(据在下目测,基本内容都来自2011年麦肯锡的《大数据:创新、竞争和生产力的下一个前沿》和2012年达沃斯的《大数据,大影响:全球发展的新可能》),台下一见专家就虚心请教大数据新在什么地方。
在下不揣浅陋,打算把对大数据的认识写下来,对大数据做一个深度的、非主流甚至是另类的解读。
当然从基本概念说起。大数据4个V:Volume(体量大),Velocity(快速化),Variety(类型杂),Value(价值大)。关于前3个V,很多人以讹传讹说是IBM首创的,其实是METAGroup(现为Gartner的一部分)的一个分析师Doug Laney早在2001年提出的(这位老兄专门写了一个博文吐槽他人冒功)。当然,IBM也不是全无贡献,它去掉了Value,加上Veracity(真实性),也算是自成一派。而其它公司只能暗恨字典里V字头的单词太少。
今天就从体量大说起
大数据有多大?—业界巨擘自我实现的预言?
IDC对于每年创建和复制的信息之体量做了预测:2011年1.8ZB(ZB有多大,可以戳这里),2012年2.8ZB,按照每两年翻一番(摩尔定律是一切类似规律的滥觞)的速度,2020年达到40ZB。这个数据怎么算出来的?IDC秘而不宣。这个研究是在EMC赞助下的,EMC笑而不语。如果说对静态数据(data at rest)体量的预测有助于存储的销售,动态数据(data in motion)的体量无疑跟网络需求绑在一起。于是Cisco一个类似的预测说道:2016年数据移动的总量达到1.3ZB。其实所有这些数据加起来都不如谷歌Eric Schmidt的说法有感染力:从人类文明曙光到2003年数以万计的时间长河里人类一共产生了5EB(天知道他怎么算出来的),而到2010年每两天人类就能产生5EB的数据(这个有可能是从IDC的数据里推知的)。
这是不是业界巨擘们自我实现的预言?我觉得是。克里斯.安德森2008年在《连线》做了个专题“拍字节时代(The Petabyte Age)”,显然作为数字时代预言家的老安胆子不够大。
数据总量的增长主要归功于非结构化数据的增长。广义的非结构化数据也包括了半结构化和多结构化数据,目前普遍被认为占到总量的85%以上,而且增速比结构化数据快得多(有说法是快10-50倍)。低信息密度的非结构化数据是大数据的一大挑战,以后在Variety这一专题中会细细阐述。挑战就是机会,业界巨擘们创造了很多新的概念来迎接非结构化数据,NoSQL数据库是其中最亮丽的一个。对此,数据库界的老法师Mike Stonebraker对此耿耿于怀,不惜力推“血统”更纯正的NewSQL数据库;Sybase的CTO Irfan Khan甚至说大数据(这个新概念)根本就是个大谎言,声称他们的数据仓库工具早就能分析包括非结构化数据在内的大数据。
这类总量数据的预测,对于存储和网络企业的投资者来说,无疑能提升信心,但对其他人来说,没有太大意义。他们更关心的是个体行业、企业甚至个人数据的状况。
麦肯锡对大数据的定义就是从个体数据集的大体量入手的:大数据是指那些很大的数据集,大到传统的数据库软件工具已经无法采集、存储、管理和分析。传统数据库有效工作的数据大小一般来说在10-100TB,因此10-100TB通常成为大数据的门槛。无独有偶,IDC在给大数据做定义时也把阈值设在100TB(它同时也给出了velocity和variety的量化指标,以后再表)。其实这种方法未必科学,对于非结构化数据的存储来说,本来就跟数据库无关,而且传统文件系统能够处理的数据量往往受限于元数据而非原始数据大小,因此能处理的上限要比数据库要高。不管怎样,有一个简单明晰的数值来指导企业大数据的判断,总是好事。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14