浅析大数据及企业策略_数据分析师考试

现在很多人都在谈论大数据，初创公司也在探索大数据，深度学习也是科学研究的一个热点。显而易见我们正面临着一场信息革命。数据正以惊人的速度增长，过去两年全世界共产生了2 ZB的数据（1 ZB=十亿 TB）。这些数据主要的来源是服务器日志的大量使用、物联网、各种传感器、社交媒体以及电子邮件。

大数据要多大？

如果你觉得你的10GB硬盘就叫大数据了，我只能说呵呵。100GB的服务器数据库也只能叫“小数据”。就算是11TB的分布式数据库也算不上是大数据。100TB的大规模并行处理系统勉强称得上是大数据。现在数据规模在1000TB也就是1PB（Petabyte）左右的系统可以称得上是大数据系统，但这还不够，我们预计未来的大数据平台规模将以EB计（1 Exabyte=100万TB）。

大数据所带来的新技术和观念的转变对商业活动产生了很大的影响。

那么大数据究竟为我们带来了哪些新技术呢？

1. 数据量

大数据依赖横向扩展的架构来提高负载而非强化服务器硬件的纵向扩展。横向扩展的意思是我们向网络中加入更多的服务器节点达到均衡计算量的目的。相比于纵向扩展，横向扩展更经济，也可以获得更好的性能。

2. 数据多样性

企业环境中80%的数据是都是非结构化的。我们的日常生活其实也是在处理抽象的非结构化数据，保守的处理方式是处理部分数据或是改变数据的结构，有了大数据的帮助，你可以处理原始数据而不必担心数据在处理的过程中丢失。

3. 数据处理速度

采用大数据的处理方式不需要进行抽样因此速度上可以得到提升，无需抽样也意味着简化的数据处理模型，因此精确度和可靠性也得到了保证。当我们使用有限资源处理过量数据时，我们需要对数据进行抽样因此精确度会降低。反之，如果我们要提高精确性但能够处理的数据又有限时我们则会得出更复杂的模型，这将会导致可靠性的降低。

更多的数据胜过聪明的算法——谷歌

大数据也带来了观念的转变：数据驱动的科技需要数据科学。应用大数据的企业需要能够有效利用大数据的人员，也就是数据科学家来帮助企业从数据中获得有价值的信息，通常他们所使用的方式是机器学习和预测分析。

这里需要注意数据科学家与数据分析师的不同，数据分析师通常有着计算机或商业背景，所使用的工具如SAS、SPSS、Excel、R、SQL和数据库。数据科学家则通常来自数学物理或自然科学等学科，掌握着更高级的统计和机器学习等技能。大数据初创公司应懂得根据产品的技术特性和用户需求来寻找合适的数据科学家。

越来越多的初创公司在大数据领域寻找发展的机会或是提升运营的效率，这说明企业有着向数据驱动的商业模式转型的需要。

所以，大数据时代的企业应该采取以下的公式：

新技术+新观念+商业转型=大数据策略。

大数据时代所采用的策略是初创公司进行商业转型时所应考虑的一个问题。

如果你也在考虑着商业转型，你需要考虑招聘一些数据方面的专才，比如大数据架构师、大数据工程师、数据科学家甚至首席数据官来有效利用大数据，很多大公司可能明年就会设立首席数据官这个职位。

看来大数据和数据科学家即将走向台前引领商业的走向。