大数据之路不乏荆棘,然则其中的机遇却高于一切
随着生活越来越丰富,大数据也变得越来越难以处理;同时因为数据体积增大、数据类型繁多,技术人员在分析过程中不得不克服大量的挑战和障碍。本文将讨论为什么数据会变得越来越复杂及难以管理,以及在我们分析、整合及存储这些数据时又会面临哪些挑战及障碍,当然还有大数据又会给未来带来什么样的机遇。
大数据确实很大并且很复杂
大数据究竟有多大
举个简单的例子,去参加一个小朋友的生日派对。在出发时,你会发送一个tweet说明一下,数据随之产生。车在半路上,停车加油,付款时果断产生了数据。在超市购买生日卡片,扫描购物卡、结账同样产生了数据。在生日派对中,拍个照片,录段视频,当你在Facebook、Flickr以及Youtube上发布时同样产生了数据。在派对过程中发送的消息,同样产生了数据。贯穿整个过程,你的手机因不停的发送GPS位置而产生数据,你的车因为不停的追踪燃耗而产生数据。由此可见,我们在日常行为活动中产生了大量的数据。
通过IBM了解到,我们每天大约建立2.5 quintillion(1 000 0003)字节的数据,而在过去两年建立了总数据量的90%,同时数据体积以指数的方式增加。随着公司数据捕获能力的增强、多媒体变得流行、社交媒体会话的增加以及使用互联网做更多的事情,数据的体积也不可思议的速度激增。
大数据究竟有多复杂
大数据是复杂的。之所以复杂因为数据的多样性,其中包括结构化数据和非结构化数据。大数据的复杂还在于交付和使用的速度,比如“实时”。并且,大数据的复杂还在于数据的体积。以前家用存储说的是MB和GB,现在讲的已经是TB了,而企业早已跨入PB单元。
大数据市场
大数据增加了信息管理业务的需求,比如Software AG、Oracle Corporation、IBM、Microsoft、SAP、EMC和HP已经支付150亿美元给专门从事数据管理和分析的软件公司。在2010年,这个产业自身的价值已经超过1000亿美元,并以每年10%的速度增长着——比整个软件业务快2倍。
发达经济体让大数据密集型技术得到更广泛的使用。世界范围内,有46亿的移动终端在产生数据,有10到20亿人在访问互联网。在1990到2005期间,超过10亿人进入了中产阶级,更多富起来的人同样导致了信息的增长。在1986年,世界电信网络有效的信息交互能力为281 PB,1993年为471 PB,2000年为2.2 EB,2007年为65EB,而在2013年,预计的通信总量为667 EB。
大数据分析
大数据需求在可容忍时间内对大体积数据进行处理特殊的技术,大数据分析实践者通常不喜欢共享储存,更倾向于直接连接存储(Direct Attached Storage,DAS),在并行的内部处理节点中混合使用了高速SSD与高容量SATA磁盘。而当下的共享储存架构SAN及NAS已被扣上缓慢、复杂及昂贵的头衔,该类型架构完全不符合现下大数据技术在性能、商用服务器及低成本上的标准。
实时及近实时的信息交付已成为大数据分析的界定特征,尽可能的避免延时同样成为大数据技术的首要挑战之一。数据更希望被存储在内存中,而不是其他终端FC SAN连接的机械硬盘上。同样在大数据情景下,SAN模式下对分析应用程序的要求上比其它类型存储要高得多。
当然,共享存储在大数据分析情景下也有着自己的优势,但是自2011年以后,已不为绝大多数大数据实践者所采纳。
大数据挑战及障碍
鉴于复杂性,大数据处理面临着一系列挑战:
1. 在类似文本或视频的非结构化数据上,我们要如何去理解及使用。
2. 我们该如何在数据产生时捕获最重要的部分,并实时的将它交付给正确的人。
3. 鉴于当下的数据体积和计算能力,该如何储存、分析及理解这些数据。
4. 缺乏人才
当下讨论最多的问题就是缺乏大数据人才,值得庆幸的是许多教育机构都针对此开设了相应的学术课程。而我们也看到一些更好的现象,企业和高校合作共同对抗这个人才稀缺问题,这也是最有效的人才培养途径。
5. 其它一些固有的挑战,隐私、访问安全以及部署
通过EIU(Economist Intelligence Unit)与Lyris(数字化营销软件提供商)最新的报告“Mind the Digital Marketing Gap”了解到,37%的营销主管发现大数据解析到决策制定的转换上存在着非常大的挑战,而45%认为他们不具备有效的大数据分析能力。
24%的营销人员表示他们一直在使用大数据技术来发现见解并制定市场策略,尽管其中大多数人只是偶尔使用数据做可行性分析及个性化客户通信。
其它一些障碍还包括缺乏资金(43%的受访者)、过于强调数字工具及社交媒体、渠道的增多以及人力资源的匮乏(33%左右的受访者)。
大数据机遇
尽管当下大数据技术的应用上还存在许多的挑战,但是其中存在的机遇却远超过这些挑战。大数据成为创新、竞争及生产力提升的绝对利器,我们可以使用大数据回答以前无法解决的问题。我们可以使用大数据获得真知和知识,确定趋势及提高生产力,取得竞争优势并为世界经济创造更多的价值。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14