大数据有精神分裂症_数据分析师-CDA数据分析师官网

大数据有精神分裂症_数据分析师

在物联网的产业方面，有一些商业模式使物联网货币化。近日，Kaggle已经与一家主要工业集团进行合作。其目标是开发者和数据科学家们运行公共需求以创造最好的新算法，来减少航空旅行延误。

作为一名飞行常客，我总是惊讶于航班有多少次不得不处于静止模式并且只是环绕着机场。很多因素会导致这些延迟包括天气状况、交通拥堵和门的可用性。其中一个有趣的统计是，即使是削减掉10英里的平均飞行便可以为航空公司节省数百万美元的燃油成本。

其中物联网和大数据的衔接是一个很好的例子。该算法涉及到对飞行的历史事件、飞行计划、飞行轨道（实际GPS信息），天气和FAA计划的整体历史分析。物联网的真正好处是，飞行修正可以实时通过传感数据完成，并且通过大数据分析还未出现的模式的可行性。

这带来了一个有趣的悖论 – 大数据的精神分裂症性质。为了提供一个可操作的见解，实时数据流分析是必须的。但是，这个时间点流传感器数据没有多大用处，除非我们知道相互依赖的历史数据和相互作用的模式。

传统的大数据解决方案，如Hadoop，依赖于使用各种基于MapReduce的HDFS架构进行批处理。最近，已经有许多个流处理系统，如正在得到了很多的关注的ApacheSpark。我们需要一个统一的基于依赖批处理和流处理的解决方案。作为IT领导者，最后我想要的是一个架构，在那里我可以维护多个代码库以解决单个业务问题。一种办法是在MapReduce和风暴或类似的系统之上构建流处理应用程序。

在物联网的世界里，最关键的成功因素之一是，我们如何能够产生上下文敏感的，真正可操作的警报。这是一个老问题，对于这个问题人们已经不再关注汽车报警器在停车场熄声了。在物联网解决方案需要紧缩亿万传感器数据元素，并找到可行的模式。例如，什么真正构成信用卡购买欺诈交易？什么天气模式以及飞行员的技能和机场设备实际上会导致延迟？以下提议的架构解决了这个难题。