大数据是一种有着真正未来的趋势_数据分析师
我们是从什么时候开始进入大数据时代的?也许是从第一台智能手机被研发出来之日开始,也许是从Facebook、Twitter等社交网站诞生之日开始,也许是从大容量存储设备的制造成本降低之日开始,也许是从非结构化数据的有效分析模型的构建之日开始……我们无从确认,但我们可以理一理这一系列事件的发展顺序,也许我们能从中发现点什么。随着科技环境的巨变,首先是个人电脑的全球普及,然后是移动智能终端的盛行,随之而来的是社交网络的爆炸式发展,还有物联网在政府、企业组织的积极倡导下迅猛的发展,当然,传感技术在其间功不可没,数以千万计的联网传感器节点分布在交通、汽车、工业、公用事业和零售部门。还有存储技术的发展等,这些都让数据的生产和收集的能力和速度都得到大幅的提升。然后还有非结构化/半结构化数据的有效分析模型的构建,相关软硬件的支撑,让数据的分析能力得到大幅的提升。数据多了,形式复杂了,数据的获取正在变得越来越细致,也越来越个人化。与此相对立的,数据的传送、分享和访问能力也得到彻底变革。
中国有句古语“雁过尚且留声,人生岂能无痕“,出于对利益的追逐,出于对市场的占领,出于对客户的洞察,过去人们使用各种终端的难以被描述的自以为毫无意义的行为在今天被他们事无巨细地详尽地记录、保存了下来,而且这不是某一时刻的单一行为,而是持续性的实时行为,同时,网民、手机用户在增加,终端数量、终端类型在增加,网站、应用在增加,与此同时,社会上的各行各业,从电信、IT业,到金融、证券、保险、航空、酒店服务业等,地球上的各种存在,从每个人到每棵树、每朵花乃至每粒沙子,无一例外地都在成为大数据的生成者。于是,在量和面上的双重积累,数据从产生的源头开始进入爆炸式的增长阶段。
也许以上所述未必能让你直观地了解大数据时代的形象,以下是我在网上找到的一些比较直接的数字:无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据,数以亿计用户的互联网服务时时刻刻在产生巨量的交互,全球资料量在十年间就增加了60倍以上,一分钟内Twitter上新发的信息数超过10万,在Facebook上有超过600万的浏览量,每天产生的数据为2.5 quintillion。信息量每年正以最少59%速度在递增,到2020年世界上的数据存储总额将达到35 ZB。而更关键的是,这些信息不再是单纯的数字和文字,它包括比文字更复杂的图片、音频和视频。
好吧,回到最开始的问题,要界定“我们是从什么时候开始进入大数据时代的”或许比较困难,但如果哪一天你在浏览网页时发现页面推出的个性化广告框里的商品正是你数天前在视频中曾经与你朋友说起过的某样你很喜欢的物品时,你就可以确认你已经陷入了大数据时代。
现在,我们都知道“大数据”已经来了,但是我们还存有疑问:大数据究竟只是一个时髦的概念,还是一个无可逆转的趋势?这么多年来我们经历了太多的科技热点,而真正有着未来的只是小数,我们需要分辨出哪些是未来的趋势,哪些是时髦的概念。这是一个谨慎的问题,事关行业的巨额投资,事关企业的成本投入,甚至事关很多人的职业选择。关于这个问题,我想可以从以下几个关键点进行判断:第一,能否产生价值;第二,是否具有生命力;第三,是否不容易被替代。
关于大数据的价值,之后会有单独的篇章来论述,在此不详细展开来谈,只作“能/否”的判断。了解客户的需求,这对任何行业任何企业来说都是至关重要,如何了解?必经的方法是通过数据分析。现在数据越来越大,越来越复杂,增长越来越快,而竞争的压力,创新的需求,业务规划的需求对数据处理的实时性、有效性又提出了更高要求,过去传统的数据分析技术已经跟不上数据发展的步伐,在这样的背景下,大数据技术就应运而生了。通过大数据,人们可以对非结构化/半结构化数据进行实时监测和分析,从而制定相应的产品和服务推广方案,因此,我们可以判断,大数据是能产生价值的。
是否具有生命力关键在于看其立足的土壤是否能保证足够的养分供给或能量补充,以及是否有足够的生长空间。对大数据而言,其立足的土壤是指投入到大数据中,为大数据的发展提供动力的众多企业,如大数据的重要倡导者 – IBM、EMC,生成大数据的源头 – 苹果,生成大数据的介质 – Facebook、Twitter,大数据的汇集地 – 亚马逊,还有Google这样的大数据集大成者,当然大数据的“土壤”远远不止这些,还有包括众多的大数据技术的开发者,大数据分析服务提供商,大数据可视化服务提供商,大数据众包模式参与者等等,这个队伍还在逐渐的发展壮大。随着众多公司的加入,源源不绝地提供给大数据发展所需的养分,其他行业的发展(如传感技术,存储技术)也给大数据提供相当给力的能量补充。
生长空间对大数据而言是指应用大数据的企业和组织。根据IBM的调查发现,83%的CIO认为商业智能分析逐渐成为企业的最高战略。而国际研究顾问机构Gartner则表示,大数据将带动2012年280亿美元的全球IT支出,2013年带动之IT支出规模可望进一步增至340亿美元。越来越多企业意识到大数据对于企业发展的重要性,也越来越多企业愿意将成本投放到大数据的应用上,决策将日益基于数据和分析而作出,而并非基于经验和直觉。因此,我们可以认为大数据具有庞大的生长空间。
综合以上两点,我们可以得出大数据具有蓬勃的生命力的结论。
考量一个事物是否会被轻易替代,关键在于看其是否具有同类型的竞争者,其核心竞争力是否鲜明,其与竞品的边界是清晰还是模糊。举个例子,上网本之所以被市场迅速淘汰,原因在于其与同类型竞争者(笔记本电脑,平板电脑)相比核心竞争力较弱,而区分的边界相对模糊,在功能上趋近笔记本电脑而又弱于笔电,在便捷程度,娱乐性方面趋近平板电脑而又弱于平板电脑,因此其被淘汰是在情理之中。回到大数据上,大数据与数据虽然只是一字之差,但其内涵则是相差迥异(大数据与数据的区别下篇会重点提到,在此不详述),相互不具有替代性。而目前在处理巨量复杂数据上,尚未出现竞争者(由于目前大数据还是一个内涵庞大的概念,可以预料将来必然会分裂,细化,届时将出现大数据框架内的竞争双方)。根据Gartner的预期,目前大数据的领先企业到2015年底会开始把大数据的经验,深入应用于其架构和业务中,到2018年,当传统解决方案亦具有新特色和功能以更灵活地因应不同容量、种类和速度的需求,大数据解决方案的领先优势会逐渐减少。然而,大数据解决方案目前具备的技术、实行方法和工具仍会延续,因为领先企业已具体落实设计原则和取得必要的技术以将解决巨量复杂数据的问题视为惯常的弹性。因此,我们可以初步判断,大数据在之后相对长的一段时间内不容易被替代。
综合以上三个关键点,我们可以判断大数据不是一个时髦的概念,而是一个具有真正未来的趋势。
除此之外,或许我们还需要一些佐证,以下两个案例均可从另一个角度说明大数据是一个趋势(案例来源于网络)。
佐证1:美国政府认识到了一个国家拥有数据的规模,活性及解释运用的能力将成为综合国力的重要组成部分:今年3月奥巴马宣布以2亿美元投资大数据领域,美国政府将数据定义为“未来的新石油”,未来对数据的占有和控制甚至将成为继陆权、海权、空权之外另一个国家核心资产。
佐证2:IBM较早预见到了大数据的商业机遇并果断布局,进而成功地完成从PC厂商向商业智能服务商的转型。纵观IBM近5年来的大手笔收购多与大数据有关:07年IBM收购了商务智能软件供应商Congnos;09年IBM收购著名的统计分析软件SPSS;10年IBM收购数据库分析供应商Netezza……这一系列布局,为IBM业绩带来了稳定高速的增长。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14