登录
首页精彩阅读分布式计算能让大数据分析更好地应对挑战
分布式计算能让大数据分析更好地应对挑战
2015-06-15
收藏

分布式计算能让大数据分析更好地应对挑战



大数据分析在理论上听起来不错,但实践操作却非易事。Cloudera公司是电子垃圾回收领域的先驱,公司的产品经理Eva Andreasson表示,大数据分析面临技术的局限和存储成本,以及应对不同系统的挑战。

  Andreasson在悉尼举办的“YOW! 开发者大会”上说,Hadoop下的不同工具能更好地应对各种挑战,并列举了卫生和零售业的实际案例。

  Andreasson曾与美国一家儿童医院开展过合作,该家医院需要对其数据进行实质分析。

  该医院的监测系统不断地获得患者的呼吸系统、心脏速率、血压等数据。可惜的是,该家医院仅能将患者的关键数据储存到手术或治理后三天。

  Andreasson说,“在医院的重症监护病房里,有很多婴儿及患者不知道该如何沟通,医生只能通过监测系统获得所有信息。试想,如果你是医院里一名无法沟通的患者,在手术后治疗出现了不适反应,该怎么办?”

  医院的另一个问题是,研究数据存储在不同的系统当中,难以在短时间内有效整合,这往往导致临床医师要获得特定信息需等待很长时间。

  Andreasson还强调:“医生们明白儿童急诊的最常见原因是哮喘。他们也做过大量不同渠道的研究,也拥有20年的其他外部研究数据。但是他们没有一套系统能够为研究小组有效汇集数据,数据总是存储在不同的系统内。”

  医院应用Hadoop平台可应对这些挑战,而且能节省部分开支。Andreasson说,从硬件建设到软件安装,Hadoop平台只需医院用不到三个处理器来运行原来的传统数据管理系统。

  医院每周大约可处理50GB的监测数据,并有2TB的容量接受所有研究数据的同时访问。而Apache Sqoop系统可用于在相关数据库和Hadoop之间进行数据转换。

  Solr是一款全文搜索的开源系统。工作人员正在使用Solr进一步探索它的各种数据集和文件。而Impala作为一款查询工具,用来做实时监测数据分析和研究病人的健康状况发展趋势。

  Andreasson说,“几星期内,研究人员就能改变流程,让患者的看护时间更长。他们发现,护士与患者接触的时间多几个小时,患者就能恢复得更好。安装完这一系统几个月内,医院就能减少与哮喘相关疾病的数量。”

  Andreasson还提到另外一个在线零售商的案例,和儿童医院类似,该零售商以前只能存储客户交易六个月以来的有限数据量。

  “如果存储时间能够达到一年、两年乃至五年,就能显示哪类客户在一段时间内减少购买或停止购买其产品。”Andreasson补充说,“Hadoop就能做到这一点,它能提供半年、一年乃至五年的数据,因为它是一个线性的可扩展平台。”

  该零售商还记录着点击该网站的每个访问者记录,访问者点击网站上特定板块的时间,并加强了多类型数据集之间的相关性。

  通过使用Flume,每个日志事件在生成之时就会被消耗掉,并发布到Hadoop分布式计算文件系统。然后系统会创建表格比较点击率最高的产品和最畅销的产品。

  “在上述案例中,有一项产品不在"最畅销产品"之列,但数据显示用户经常点击这个产品。这意味着什么?你可以通过添加有助商业开发的数据集,获得新的见解。”

  “我们看到,小孩踢的足球大受欢迎,但它并没有在我们的购物清单上。那我们要做些什么来获得更多的收入呢?也许这个产品定价出了问题,在购物者看到价格信息后没有购买就离开网页了,当然也可能有其他原因。”


数据分析咨询请扫描二维码

客服在线
立即咨询