大数据:从因果分析到相关性分析

大数据已经不再是计算、统计学科的专宠，商学院开始的广泛应用，表明大数据正式进入各行业的广泛应用。统计学家纳特·西尔弗在著名的《信号和噪声》一书中说：“大数据中大多数都是不相干的噪音。除非有很好的技术信息进行过滤和处理，否则将惹上麻烦。”

杜克大学富卡商学院今年秋季开始招收大数据商业分析方向的硕士生，西安交通大学管理学院也将录取海外大数据分析的博士生作为新录取教职人员的重点之一。大数据已经不再是计算、统计学科的专宠，商学院开始的广泛应用，表明大数据正式进入各行业的广泛应用。

统计学家纳特·西尔弗在著名的《信号和噪声》(Nate Silver, The Signal and the Noise)一书中说：“大数据中大多数都是不相干的噪音。除非有很好的技术信息进行过滤和处理，否则将惹上麻烦。”也就是说，大数据为我们提供了观察世界的新方式，但它往往还是类似原油粗糙的形式，没有商学院的提炼与应用，它就无法变成汽油、胶粘剂、阿司匹林，唇膏等各种现代工业产品。对于大数据来说，我们今天的时代，就像是德州刚发现油田的时代，它在信息时代的广泛应用与消费，需要各个学科的通力协作、更换思维，正如石油的发现催生工业时代的能源革命一样。

从因果分析到相关性分析

在“前信息时代”，商学院分析消费者行为、市场结构、竞争动态、组织行为、供应链管理时，都局限于有限的样本。因为收集消费者、员工、股票、工厂等的数据都非常耗时，需要承担各种成本。即使像IBM这样的巨型公司，有能力将《人民日报》历年的文本输入电脑，试图破译中文的语言结构，例如实现中文的语音输入或者中英互译，这项技术在上世纪90年代就取得突破，但进展缓慢，在应用中还是有很多问题。

谷歌采取了不同的方法进入这个市场，它不是依赖高品质的翻译，而是利用更多的数据。这家搜索巨头收集各种企业网站的翻译、欧盟的每一种语言的文本、巨大的图书扫描项目中的翻译文件。超越IBM以百万级的文本分析，谷歌的大数据是以十亿万级计的。其结果是，它的翻译质量优于IBM，能涵盖65种语言，而且翻译质量在云端不断优化。谷歌凌乱的大数据战胜了IBM少量的干净数据。

那怎样将凌乱的大数据进行对石油一样的提炼与应用呢?一项重要的思维转换就是从传统的因果分析向相关性分析转换。在传统的统计分析中，一个重要的因素是因果关系的可靠性，在有限的样本下，科学家在假设检验中往往用各种专业统计软件进行假设检验，根据概率P值(P-Value, Probability)进行检验决策。P值反映某一事件发生的可能性大小，一般以P < 0.05 为显著，从而确认两个变量间可能存在因果关系。

但大数据的出现改变了这种在科学界普遍追求的因果关系的检验。大数据主要从相关性着手，而不是因果关系，这从本质上改变了传统数据的开采模式。例如2009年2月，谷歌的研究人员在《自然》发表了一篇论文，预测季节性流感的暴发，在医疗保健界引起了轰动。谷歌对2003年和2008年间的5000万最常搜索的词条进行大数据“训练”， 试图发现某些搜索词条的地理位置是否与美国流感疾病预防和控制中心的数据相关。疾病预防控制中心往往跟踪全国各地的医院和诊所病人，但它发布的信息往往会滞后1～2个星期，但谷歌的大数据却是发现实时的趋势。

谷歌并没有直接推断哪些查询词条是最好的指标。相反，为了测试这些检索词条，谷歌总共处理了4.5亿个不同的数字模型，将得出的预测与2007年和2008年疾病预防控制中心记录的实际流感病例进行对比后，谷歌公司发现，它们的大数据处理结果发现了45条检索词条的组合，一旦将它们用于一个数学模型，它们的预测与官方数据的相关性高达97%。

数据往往都是不完美的，拼写错误和不完整短语很普遍。为什么谷歌可以实现这么精准的预测?如果从因果关系看，是因为人感到不舒服，或听到别人打喷嚏，或者阅读了相关的新闻后感到焦虑吗?谷歌不是从这种因果关系去考虑，而是从相关性的角度，去预测一个持续发展的大方向，因为大众的搜索词条处于不断变化之中，外界的一个蝴蝶翅膀的扇动，就会使搜索发生系统的、混沌的变化。

英国华威商学院的研究人员与波士顿大学物理系的研究人员合作，同样通过谷歌趋势(Google Trends)服务，预测股市的涨跌。研究人员使用谷歌趋势共计追踪了98个搜索关键词，其中包括“债务”、“股票”、“投资组合”、“失业”、“市场”等与投资行为相关的词，也包括“生活方式”、“艺术”、“快乐”、“战争”、“冲突”、“政治”等与投资无关的关键词，发现有些词条，例如“债务”成为预测股市的主要关键词，这篇题为《使用谷歌趋势量化金融市场的交易行为》(Quantifying Trading Behavior in Financial Markets Using Google Trends)的论文也发表在《自然》杂志上。同样，2010年，美国印第安纳大学的研究人员也发现：Twitter用户的情绪有助于预测股市。今年诺贝尔经济学奖获得者罗伯特·席勒所倡导的“动物精神”，在大数据的相关性检验下，可以对资产定价实现预测。

当然，谷歌的算法并不是百试百灵，例如，今年早些时候的“谷歌流感趋势”曾经显示，有10%的美国人可能患上了流感。但美国疾病控制和预防中心的数据却显示，峰值只有6%左右(参见图示)。经过研究发现，原来这是因为谷歌的算法未能充分考虑一些新的外部影响因素所致。例如，媒体对流感的报道增多和社交媒体对流感的讨论增加，都会对该服务的数据和统计信息产生影响。流感新闻大爆炸很大程度上改变了人们的搜索词条。这使人联想到物理学中经典的“测不准原理”。物理学家玻尔认为在量子理论中，任何对原子体系的观测，都会涉及所观测对象在观测过程中的改变，和谷歌的算法一样，我们自身的行为可能也在谷歌的观测中改变，因此不可能对量子有单一的定义，也不可能对谷歌预测的趋势用平常所谓的因果性去理解。

大数据与中国哲学

当大数据占据我们这个信息社会的中心舞台，我们需要一种新的思维方式理解这个世界。传统知识观中的因果律遭到极大的挑战，而相关性则让我们从对过去的理解，解放出对未来的预测。

从知识论的角度看，大数据像量子力学一样，帮助我们进入宇宙的大尺度结构。或许中国古典哲学中的“气运”观能够让我们更容易地理解大数据所揭示的新世界。钱穆在《中国思想通俗讲座》中阐述道：气是如何演变出宇宙万物的呢?气是能动的、不安静的，在聚散，在分合……“聚而和者为气之阳，称为‘阳气’。分而散者为气之阴，称之为‘阴气’。”这一阴一阳，就是中国人所谓的道。一切的气数与运道都可以在阴阳循环、消长中体现出来。在没有大数据的工业时代，阴阳观无法像西方哲学那样解释直线的因果关系，可能与迷信、神秘主义联系在一起。而大数据的兴起，使人类第一次有了直接的工具来衡量阴阳的变化、预测气运的消涨。阴阳五行之说，可以直接在谷歌算法的各种迭代相生相克出来。如果席勒所说的“动物精神”理论真的可以预测奥地利学派的经济循环周期，大数据所揭示的阴阳循环，或许可以帮助人类提早对下一次全球经济危机做好准备。

从更广的层面说，如果每一个平民都能自由接触到大数据的分析(而不是政府垄断)，一个全新的思考方式就是，数据不再是《1984》世界中冰冷的老大哥控制的机器，每个人都可以将自己个体的因素沉浸在系统中，影响系统的方向与决策，人的各种因素：风险、意外、热爱、冷酷，甚至错误，都可以在大数据中的阴阳变化中体现出来。人类的各种自觉、创造也可以通过大数据进行更快地实验、更多的探索。人类灵感产生的各种火花第一次可以通过大数据多方面多层次爆发出来，这将是个美丽的新世界——人类的创造力可以在大数据中充分得到精彩的发现!

对市场营销者来说，大数据是个无尽的宝藏。人类的各个层面、各种环境的影响，例如如天气变化和市场情绪的变化，都可以在对广告的分析中展现出来，用户的画像将会实时展现得无比真实、如何分配和优化媒体投资，如何设计产品属性、如何精准地定位……一个无比强大的工具将改变商业的许多决策。

但大数据能否取代创业家呢?360、小米、微信、QQ等产品虽然可能得益于大数据驱动的用户画像与产品循环迭代，但创业家的灵感、承担风险的勇气、对市场的敏感与触觉，还有那么一点点的天时地利中的运气，则变得更加重要，因为对数据的提炼、应用、解读、判断的各个环节，都对人类的想象力，提供了永恒的挑战。

尽人力，知天命，天下之大，其兴其亡，尽在大数据的宇宙中。或许杜克大学的数据分析硕士也应该选修点中国哲学。