2014年大数据没迈过去的槛儿_数据分析师

刚刚过去的2014年，见证了大数据架构发展和部署上的进步。NoSQL数据库得到越来越多的用户认可，Hadoop 2 也突破了分布式处理框架一开始批处理的角色，走向了运营分析。

Hadoop 2 平台最早发布于2013年末，今年主要发布对Hadoop 2的各种修补，主要围绕HDFS和YARN(详见《2014年Hadoop大事件盘点报告》)新版本将HDFS从早期批处理的MapReduce编程模型和处理引擎中解放出来，为Hadoop打开了新的天地，比如交互查询和流处理应用程序。但从概念证明(proof of concept，POC)到投入生产是一个质的变化，2015年将见证Hadoop更多的发展。

数据架构师和管理者今年花了很多精力研究主流关系型数据库的内存处理技术。同时，非关系型数据库的讨论也很多，纽约咨询公司Caserta Concepts的创始人兼总裁Joe Caserta认为：“如果你觉得你可以不需要庞大的SQL数据库就可以完成一些任务，那么新兴技术就算是取得了胜利。”

除了格外吸睛的hadoop之外，另一个引人关注的开源产品是分析处理引擎Spark，Spark经常和Hadoop 2搭载使用，在处理批任务时比MapReduce更快。Spark另一个关注点在于机器学习，这也是过去一年里大家常说的话题。

NoSQL & NewSQL

MongoDB, Couchbase, Aerospike等一长串的NoSQL数据库在过去的一年里持续发声，恐怕没有哪一天是不说NoSQL的。在2014 MongoDB世界大会上，CitiData的全球总裁Michael Simone就讽刺了NOSQL数据库的过度宣传。不过这并不能阻挡NoSQL的发展势头，因为它确实擅长处理大规模数据集，尤其是网络上多种格式的非结构化数据。

举例来说，NoSQL数据库经常被贴上内存标签，支持实时决策，还可以帮助呼叫中心人员跟踪用户网络行为，解决技术难题，以及存储并分析社交媒体信息。

在回顾NoSQL数据库的时候，我们不要忘了NewSQL技术，它致力于兼取SQL和NoSQL平台之长。

数据架构是大数据的核心命题

这些技术的发展都离不开一个核心命题，即融入到企业数据架构。Accenture分析咨询集团负责数据供应链的信息管理总监Vince Dell’Anno表示：“大数据今天面临的主要问题是架构问题，即企业如何把这些新的技术集成到一个环境中。”

Dell’Anno表示，很多IT部门面临的挑战是他们要允许成百上千的终端用户访问新产生的数据，如何管理成了问题。事实上，构建可扩展的大数据系统、将其余现有数据仓库、分析和运营环境集成是2014年技术发展的主题。很多时候，为了应用新工具，大数据架构师不得不放弃熟悉的数据模式，遵循新的数据管理方法。

就在2014年行将结束的时候，hadoop发行版供应商Hortonworks申请IPO上市，这个过程中，它筹资一亿美元，Ovum分析师Tony Baer在博客中写道，此举对于商业前景的意义更大，这是一个新兴的市场，几乎所有的销售的新产生的，竞争对手也相对较少。并且，这一领域还是有很多有待开垦的市场的。

其他Hadoop厂商和一些NoSQL厂商，也希望在2015年加入IPO大军，这将有利于新的数据处理技术走向成熟和完整。