大数据时代:数据的价值在于加工

在大数据时代，随着数据的爆炸式增长，数据变得越来越多，虽然数据很多，但无用的也很多。要么是没有价值的，要么就直接是错误的。使用大数据的技术需要解决数据清理问题。

取用数据的第一件事情就是要清理数据。甚至在将数据从数据源中取出放入存储地之前，要先确认你输入的数据是有效的。有时候，你要滤去5%的数据，有时候你甚至要忽略掉95%的数据，因为数据实在是太庞杂了。人们不应该存储你不需要的数据，那样做很浪费。现在的技术可以帮助你将一件事情分成多步，使人们可以在存储和加工前，去除许多你不需要的数据。

许多企业都希望能跻身于大数据的变革中来。许多人认为他们需要做的，就是取用他们能获取的所有数据。这其实是不经济的，因为数据量实在太大了。所以，需要更明确自身的需求。就像你在烘焙蛋糕一样，你可能想把各种佐料都加进去，但是你不会在里面放红辣椒，因为这和烘焙蛋糕不相关。所以，要以大数据为基础解决问题，你就会希望去除不相关的数据，而把精力集中在那些有价值的数据上。

关于大数据有一个很有趣的地方。“大数据”这个名字来源于两个方面。一方面是源于数据繁多，也就是我们为什么称之为大数据。另一方面是源于数据的无序性。过去，计算机只能处理以一种形式输入的数据。当你输入的数据形式不对时，你要去重新调整它。大数据的本质就是能处理那些并非必要的数据。自从人们和企业开始处理非结构化的数据，他们就发明出了新的技术工具，比如说分布式计算。这些新的技术工具使得人们可以将数据以非结构化的形式储存。

因为数据繁多，你不能总是带着一台主机，或者通过一台超级计算机来浏览这些数据。你要做的是，将大问题化解成一系列的小问题，然后采用更加高效的运算体系来一一破解这些小问题。这就是“并行运算”。