Hadoop与大数据2015的趋势与挑战

大数据通常会引发商业智能的快速可用性，这主要归因于可靠的大容量数据存储和通过使用类似Hadoop的开源工具进行并行处理。通过大数据进行可预测分析和建模所带来的好处是非常多的。

根据IDC对2015年的估计，全球大数据市场（包括利用Hadoop进行高级分析）将会增至1250亿的规模。可以预见到企业在Hadoop顶端构建智能应用将是未来的趋势。让我们来对2015年大数据和Hadoop的趋势进行一番预测。

富媒体分析

企业希望能更多的基于视频，图片以及音频来进行分析。大公司已经开始利用这些富媒体分析来保持在竞争中的领先地位。

据来自IDC的消息，富媒体分析将会变成一项关键的投资考量并且可能会在2015年底增加三倍。

填补Hadoop解决方案的空白

Hadoop是一个开源平台，用来存储和处理结构化和非结构化数据。根据ForresterResearch的说法，对于Hadoop来说，在数据管理和治理解决方案上还有很多空白。

在这里，诸如Oracle，IBM和Microsoft之类的企业级软件公司将会继续使用他们自己的数据管理和治理工具在Hadoop环境下与企业应用进行同步并在本地运行，以此来填补空白。

内部Hadoop人才的发展

目前Hadoop技术在全球市场上存在不足是一个已知的事实。然而，作为一个开源平台，企业级Java应用开发人员很容易进行深入挖掘并学习相关API。

Forrester Research认为在2015年会看到更多的公司让其内部应用开发团队使用Java来执行大数据和Hadoop项目。这就意味着随着企业内部对必需的Hadoop专业知识的发展，当前Hadoop技能的短缺局面会有效缓解。

对单独SQL的需求量增加

对于在数据库上进行读写来说，SQL应用（用于Hadoop内部或之上）是至关重要的。IT团队已经开始使用不同的SQL语言来解决不同的与大数据相关的业务查询。

但是，一些问题也随之而来，例如管理层可能无法及时获取他们所需的情报。信息只有在需要时可用才是有意义的，否则就只不过是对企业资源的一种浪费。这就是为什么对于用单独SQL语句来访问企业存储于不同地点所有数据的需求将会增加的原因。这最终可能会让数据存储相关的决策由诸如成本以及更快的访问这些因素来决定，而不是取决于去覆盖SQL的局限性。

安全和治理解决方案得以完善

大数据安全解决方案将会在基于对网络模式的定期监控（甚至可能是实时的）来定位异常活动上扮演重要角色。

据InternationalInstitute of Analytics（IIA 国际分析研究所）的消息，这最终会在2015年成为企业用来防范网络犯罪的必备之选。而对于治理Hadoop系统安全和应用访问控制以保证与企业安全策略相符合的需求将会持续增长。