大数据分析中某些重大要件或技术还不成熟

关于大数据分析，现实的情况是，说得人很多，鼓吹其神奇价值的喧嚣声浪很高，却鲜见其实际运用得法的模式和方法。造成这种窘境的原因无外乎有二：一是对于大数据分析的价值逻辑尚缺乏足够深刻的洞察；其次便是大数据分析中的某些重大要件或技术还不成熟。 　

比如，提到大数据的大，一般人认为指的是它数据规模的海量——随着人类在数据记录、获取及传输方面的技术革命，造成了数据获得的便捷与低成本，这便使原有的以高成本方式获得的描述人类态度或行为的、数据有限的小数据已然变成了一个巨大的、海量规模的数据包。这其实是一种不得要领、似是而非的认识。其实，前大数据时代也有海量的数据集，但由于其维度的单一，以及和人或社会有机活动状态的剥离，而使其分析和认识真相的价值极为有限。大数据的真正价值不在于它的大，而在于它的全——空间维度上的多角度、多层次信息的交叉复现；时间维度上的与人或社会有机体的活动相关联的信息的持续呈现。 　　

《大数据时代》一书中所引述的，一个孕妇的口味及消费模式等是有一定规律的，单一一条信息并不足以判定你的状态，但关于你的不同来源的数据集合一旦与孕妇特型(如果我们掌握了这个分析模型的话)高度相关，人们便很容易对你的真实状态进行一种准确的判断而不管你自己承认或者不承认。 　　

再举个例子，面对今天社会舆情态势，常常有人感慨：“造谣的成本很低，辟谣的成本却很高”，抱怨现在的网络给造谣者造谣传谣带来的极大便利以及人民群众过于轻信谣言。如果我们用某个事件的数据、单一的和静态截面上的数据去观察和分析这个问题的时候，真的可能得出上述这样一种结论。但是，如果我们从社会传播的总体信息构造上去分析的时候，我们会发现，流言或谣言的猖獗不正在于一些掌握了社会信息传播主渠道的部门的不作为、甚至蒙蔽真相所造成的吗？因此，大数据分析的价值和意义就在于，透过多维度多层次的数据，以及历时态的关联数据，找到问题的症结，直抵事实的真相。 　　

因此，大数据分析在方法论上需要解决的课题首先就在于：如何透过多层次、多维度的数据集实现对于某一个人、某一件事或某一种社会状态的现实态势的聚焦，即真相再现；其中的难点就在于，我们需要洞察哪些维度是描述一个人、一件事以及一种社会状态存在状态的最为关键性的维度，并且这些维度之间的关联方式是怎样的，等等。其次，如何在时间序列上离散的、貌似各不相关的数据集合中，找到一种或多种与人的活动、事件的发展以及社会的运作有机联系的连续性数据的分析逻辑。其中的难点就在于，我们对于离散的、貌似各不相关数据如何进行属性标签化的分类。概言之，不同类属的数据集的功能聚合模型(用于特定的分析对象)以及数据的标签化技术，是大数据分析的技术关键。 　　

除此之外，就现实而言，有质量的大数据源常常掌握在少数权威机构、信息服务商手中，如何开放这种大数据源的使用，事关社会的发展和人民生活的福祉，笔者认为，应该从制度和机制上给予保障。