那么,谁会真正用到大数据分析呢?
一年前,大数据技术的一些主要用户是大型Web企业,例如Facebook和雅虎,它们需要分析点击流数据。但是今天,“大数据技术已经超出了Web,是要是有大量数据需要处理的企业都有可能用到它。”例如银行、公用事业机构、情报部门等都在搭乘大数据这辆车。
实际上,一些大数据技术已经被一些拥有很前卫技术的企业在使用了,比如受社交媒体推动而需要创建相应Web服务的企业。它们对于大数据项目的贡献非常重要。
而在其他垂直行业中,有些企业正在意识到,它们基于信息服务的价值定位要比它们先前想象的要大得多,所以大数据技术很快就吸引了这些企业的注意。再加上硬件和软件成本的下降,这些企业发现它们已经处在了一场企业大转型机遇的完美风暴中。
纽约城的TRA公司是专门帮助电视广告主们评测其所投放的电视广告的效果的,它会把某个家庭通过电视与DVR(数字录像机)所接收到的广告与其在零售商店的账单相比对。该公司从有线电视公司的DVR以及一些日用品商店的会员卡计划中搜集数据,来进行这种比对。TRA的大数据系统所处理的数据量代表着170万个家庭以秒计的观看习惯——如此庞大的任务量如果没有大数据技术几乎无法完成。该公司部署了Kognitia的WX2数据库,该数据库允许它快速地装载、描述和分析数据,从DVR上收集细粒度的广告观看信息,fran后与销售点的详细数据进行比对,再生成定制报告。
“Kognitia有一个内存运行的解决方案,所以我们现有整个数据库的一半都可以放在内存里,这就是说当我们的客户需要运行一个查询时,响应时间是秒级而非小时级或日级的,”TRA的CEO Mark Lieberman说。
该数据库可以在普通硬件上运行,TRA自己的前端应用就是在.Net Visual Studio上构建的。“我们还会用到一点点MySQL,而用户界面则是用DevExpress开发的,”Lieberman说。
在他看来,大数据技术可能会给全美700亿美元的电视广告市场带来革命性的变化。传统的广告评测方法顶多只能在全国2万个样本家庭中安装特制的机顶盒来分析抽样数据。而今天,大数据技术则可以分析来自250万台DVR和机顶盒的实际数据。
Aberdeen集团的分析师Greg Belkin认为,TRA和其他一些公司所使用的大数据工具满足了大数据的速度、体量和多样性判据。“在零售业,大数据给人的印象十分深刻,因为这个行业有非常多的需要分析数据的地方,但是按照传统手段那是无法想象的,”比如社交媒体网站、DVR设备和日用品商店的会员卡数据等。“这个行业的数据室如此的庞大和复杂,利用传统的数据库手段根本不可能进行分析,所以零售商们正在转向大数据平台。”
同样的,大数据技术也给弗罗里达圣彼得斯堡的Catalina市场营销公司带来了革命性的变化。这家公司所拥有的会员客户数据库十分庞大,规模有2.5PB,其中包括了1.9亿家美国日用品商店多年来的历史销售数据。它的最大的一个数据库就有令人难以置信的4.25亿行数据,公司每天需要在这个数据库中管理大约6.25亿行数据。
通过分析这些数据,Catalina可帮助一些主要的消费品制造商和大型连锁超市预测消费者可能会购买什么商品,以及谁会对新的商品感兴趣等。
“我们是希望把技术带给数据,而不是把数据带给技术,”Catalina的执行副总裁兼CIO Eric Williams说。“一些现有的技术就可以让比如SAS公司把它们的分析技术用于数据库。这就极大地改变了它们的整个业务。我们先前也在做这些事情,但是由于技术上的严重限制,使我们无法实现我们想要实现的目标。我们只好用自己研发的一些工具,而这些工具能够实现的东西也是非常有限的。而大数据技术的出现则彻底改变了我们的整个企业。”
除了在其专有的系统中用到了一些开源软件以外,Catalina还在Netezza数据仓库设备平台上使用了SAS的分析工具。
大数据正在从根本上改变着美国银行业做业务的方式。美国银行负责大数据与分析的前执行董事Abhishek Mehta在2010年10月的Hadoop World大会上说,“我觉得今天的Hadoop很像20年前的Linux。我们所有人都看到了Linux在企业软件市场上的成功。Hadoop也将会取得同样的成功。它的成功只是个时间问题而已。”
在分析点击流数据和交易数据之外,Hadoop还可以让美国银行快速地解决各种业务问题。“作为银行来说,我能想到的就是如何消除客户的欺诈行为,”Mehta说。“现在,我可以建立一个模型,为每个客户回溯过去5年间的每一次欺诈事件。而在此之前,我们只能采取抽样的办法,建立一个模型,当发现有某个特例不适合这种模型时,还需要重新建模。这样的日子终于结束了。”
公用事业行业也在刚刚开始了解到大数据所带来的应用及其价值。美国中西部的一家电力公司利用Hadoop分析来自智能电表的数据,这些智能电表可以自动完成计费功能,但是该公司还收集输电线路上任意的电流波动信息。“如果收集到这些信息并且能够描绘出电流变化图,那么你就可以在某个地方的变压器可能出现故障之前找到它,”Olofson说。“或者当发生停电事故时,会引起电流的波动,公司就可以探测到波动之处,在用户打电话求助之前就采取行动。”
Olofson预测说,在将来的某个时候,电力公司就能利用大数据技术来改善为客户所提供的服务,并通过电网监控、问题检测和对电网进行微调等降低运营成本——但是这可能需要对某些正在老化的基础设施进行重大升级才行。
一些品牌营销公司也在利用Hadoop在社交媒体上实验所谓的“情绪分析”。这些服务提供商利用Hadoop,仔细审查客户在Twitter上的行为,看看他们对于某个特定产品究竟在说些什么和想些什么。
数据分析咨询请扫描二维码
CDA数据分析师在中国航信高科技产业园进行了面向测试度量的数据分析培训课程,培训人数近2 ...
2024-05-01CDA数据分析师走进深圳迈瑞生物医疗电子股份有限公司,在迈瑞总部展开了为期两天的培训,本次课程参训人员线上及线下近百人, ...
2024-05-01CDA数据分析师在合肥市对合肥阳光新能源科技有限公司开展了为期8天的企业内训。 合肥阳光新能源科技 ...
2024-05-01CDA数据分析师走进海尔大学,进行了《数据治理与数据中台建设的道与术》专题培训,培训现场爆满,近百人参加了此次培训。 ...
2024-05-01在中国银行苏州分行培训中心开始数据分析师培训,此次培训课程共10天内容,包括Excel、MySQL、概率论与数理统计、SPSS等内容, ...
2024-05-01从实际的业务需求出发,结合行业的典型应用特点,围绕实际的商业问题,探讨数据挖掘、机器学习模型在金融领域的应用,包括获客、信用评分、细分画像、交叉销售、反欺诈、违规识别、时序预测、运筹优化、流程挖掘九个方面,形成 ...
2024-05-01本次培训课程为线上+线下的模式,由于学员编程能力不一、部分学员没有编程基础,故提供统计学、python基 ...
2024-05-01华夏银行信用卡中心-机器学习培训 1、课程亮点 取材于业界一流企业和顶级咨询公司的行业实践;已经被证明是人人 ...
2024-05-01主 题:数据中台建设及数据分析应用主题分享 1. 数据中台市场洞察 2. 主流数据中台产品比较 3. 某企业数据中 ...
2024-05-01围绕“数据驱动”战略,全力打造我行 300 人数字化人才梯队,着力培养数字化管理人才、大数据专业团队 ...
2024-05-01在当今数据驱动的商业环境中,数据分析成为了企业决策的重要依据。通过对大量数据的收集、处理和分析,企业能够更好地理解市场 ...
2024-04-29在人工智能(AI)的世界里,提示词(Prompt)是一种强大的工具,它能够引导AI按照用户的需求产生特定的输出。本文将深入探讨AI ...
2024-04-29CDA立足未来职场,拓展前沿视野——对外经贸大学保险学院举办“三全育人大讲堂”分享行业最新动态。 ...
2024-04-294月2日,CDA数据分析师创始发起人兼协会理事长赵坚毅博士受邀在浙江万里学院举办了一场以“数字化能力在职场中的作用” ...
2024-04-29随机森林(Random Forests)现在机器学习中比较火的一个算法,是一种基于Bagging的集成学习方法,能够很好地处理分类和回归的问 ...
2022-12-23方差分析是数据分析中常用的一种统计分析方法,接下来让我们简单了解一下方差分析的基本思想和原理吧。 方差分析(Analysis ...
2022-12-23来源:关于数据分析与可视化 关于streamlit-aggrid 数据排序 表格样式的调整 数据 ...
2022-08-03作者:麦叔 定义 「把上面晦涩的概念汇成一句话就是:」 ❝ 回调函数就是一个被作为参 ...
2022-08-03现今,高学历人群日益增多,物以稀为贵的高学历光环淡去。无论本科生还是研究生,甚至博士生,求职竞争力都大不如前,就业压力越来越大。
2022-06-01某家企业10个人面试,有9个本科生……如何脱颖而出,除得体的举止和良好的沟通力外,证书成重要筹码,这也是很多人考证的关键所在。
2022-04-14