关于大数据:CIO需要知道的五件事

企业大数据分析始于谷歌、雅虎和Twitter等互联网公司，与这些互联网公司类似，传统企业也迫切需要挖掘用户数据的价值，提高企业的竞争力和决策质量。以下是关于大数据CIO需要了解的五件事：

一、大数据的商业价值。

今天，大数据分析所需的数据源和数据已经极大丰富并且在高速增长中，即使你是一家小企业，也可能会拥有大数据，一家小的对冲基金公司可能拥有数以TB计的数据，根据麦肯锡公司的一份报告，未来几年，包括医疗、公共服务、零售和制造业的企业都将从大数据分析中受益。

Hortonworks的首席技术官Eric Baldeschwieler认为，大家一提到大数据部署就想到Hadoop，Hadoop方案确实适用于各种客户：通过收集、分析交易数据，企业能更好地了解客户的需求和倾向，同时也能优化产品和服务创新，更快响应和处置紧急问题。

二、大数据的来源。

有些CIO会认为企业里的数据还不够多，不足以构成大数据分析，其实数据就像海绵里的水，只要你愿意挤。Baldeschwieler认为很多时候大数据通常就是那些被丢弃到垃圾堆和回收站里的“垃圾”数据。

比方说，你的服务器日志就是很好的大数据分析素材。服务器记录所有访问你网站的访客和他们的访问行为。跟踪分析这些数据你将知道客户正在找什么，虽然日志数据分析不是什么新鲜事了，但其实分析的“粒度”还可以进一步精细到你之前无法想象的程度。

大数据的另一个重要来源是传感器，业界分析师已经鼓吹了多年的物联网，其实物联网说白了就是通过传感器把物理世界给数字化了，接入互联网的大量传感器将产生持续的大数据流，智能交通、智能电网甚至智能家电都将是大数据源，分析这些数据能大大提升相关企业的运营效率和决策质量。

三、大数据需要新型人才。

根据Forrester Research的分析师James Kobielus认为：当部署完大数据分析系统后，企业接下来面对的最大挑战就是找到合适的人才使用这个系统分析数据。大数据非常依赖数据建模，企业需要补充各种类型的“数据科学家”，例如统计模型师、文本挖掘专家以及语义分析领域的专家。这些数据科学家需要具备的新技能与过去的商业智能专家的技能还有所不同。

大数据人才目前严重短缺，根据麦肯锡的报告，到2018年，美国市场还将短缺14-19万名高级数据分析人才，以及150万懂得使用大数据分析进行决策的经理人和分析师。

CIO需要具备的另外一个大数据技能是整合大量硬件来存储和分析数据，你可能还需要从当地大学或者研究机构招聘一些超级计算机管理员。

四、大数据无需事先规划。

那些习惯缜密规划企业数据仓库数据（EDW）的CIO看到这里应该松口气，大数据的优势就是可以先收集，再考虑如何分析。

在数据仓库中，你必须在导入数据前先制定好数据架构。这意味着在导入数据前你必须知道你要什么，因为你在压缩数据的时候也会损失粒度，而且如果你改变主意了，或者想进行历史分析，这些数据架构就成了你给自己设置的障碍。

而大数据的存储库可以看做是一个大的垃圾场，你可以先把各种数据一窝蜂堆进去，然后再进行分析，很多企业在大数据分析之前都不是很清楚他们能发现什么，因此大数据在数据导入上的自由对于企业应用而言有着非同一般的意义。

五、大数据不仅仅是Hadoop。

人们一说到大数据，就会提到Hadoop数据分析平台，Hadoop确实炙手可热，很多企业都在Hadoop方案上投入资金和人力，但实际上你还有其他软件选择。

法务研究机构巨头LexusNexus最近就无私地开源了其分析平台——HPCC系统。MarkLogic也公开了其非结构化数据库MarkLogic Server，可用于大数据分析。此外，Splunk的搜索引擎也在获得关注，可以用于搜索和分析机器数据，例如服务器日志。无论你希望从日志中提取何种数据，Splunk都很有可能帮上忙。