实现大数据，从小样本中筛选海量样本

从小样本到大数据：概念与误区

最近两年产生并记录的数据，总量占到人类文明以来所有数据总和的90%。我们源源不断记录着一切有价值的信息，世界和万物的变化数据变成一座“自动生长"的金矿，数据分析师和数据挖掘技术则负责从矿山中挖出金子。

“大数据”这个词早期是IBM和EMC鼓吹的一种商业概念，自诞生之日就有概念包装的商业基因。明白这一道理就不会过分纠结“到底什么是大数据”，“多大数据算大数据”之类的问题。这一概念包含了我们在面对海量数据环境下的哲学迷思、技术困境、解决方案和由此引发的商业机会。

探讨大数据问题前我们先回顾另一个数据界的经典问题——小样本问题。小样本的“小"表面指的是数据样本少，本质则是说现存样本对特征空间的刻画能力不足。

“过拟合”问题是小数据时代的核心问题之一，也成就了vapnik这样的理论巨匠及svm算法。大数据，其显性特征是超出一般算法或一般硬件计算处理能力的“大”规模数据;其伴随的另一个特征，就是拥有足以刻画样本特征空间以外的"超额"样本。前者显性特征推动了并行/云计算的软硬件发展，后者则从商业模式和数据分析的方法论层面推动了行业变化。

怎么理解这些"超额的样本"带给我们的价值呢?显然，通过数据刻画对象的全局特征，获得全体统计规律及关联规则并不需要这些“超额的样本”，因此才有“大数据是不是越多越好”，“大数据是否需要抽样”这样的辩论，这是在大数据时代之前关心的问题。可以说，纠结于这些问题的人还未触及大数据的核心价值。归纳一下就是：大数据时代之前，我们处理的是小样本或适度抽样后的小数据进行群体规律的知识发现(KDD);在大数据时代，我们依赖从小样本挖掘出的或原本就已知的经验规则，通过搜索海量样本数据发现目标个体来兑现商业价值。

从理论到价值：政府应用实例

大数据在何处?这些拥有富矿的金主包括：工业、金融、通信、科研机构、互联网企业等。除此之外，还有一个超级矿山拥有者——政府。以美国为例，在公开的美国政府网站Data.gov上，大约有超过40万各种原始数据文件，涵盖农业、金融、就业等近50个分类。美国官方称这么做的目的是“方便公众更便捷地获得联邦政府数据，并通过鼓励创新突破政府的围墙而创造性地使用这些数据”。同时，各行业大数据又通过数据分析师的分析结果能极大改进政府的决策行为。

近些年大数据对国家及政府领域的应用案例开始涌现：

1.情感测量及幸福指数

2008年，法国总统萨科齐组建了一个专家组，成员包括以诺贝尔经济学奖获得者约瑟夫·斯蒂格里茨和阿马蒂亚·森在内的20多名世界知名专家，进行了一项名为“幸福与测度经济进步”(Happiness and Measuring Economic Progress)的研究。该项研究将国民主观幸福感纳入衡量经济表现的指标，以主观幸福程度、生活质量及收入分配等指标来衡量经济发展。

佛蒙特大学计算实验室的项目Hedonometer

(1)2011年：幸福度来自旅行的远度

佛蒙特大学的克里斯多夫·丹佛斯主持研究了幸福度与地理位置的关系，他们在2011年从从Twitter上筛选带有博主地理位置的Tweet。全世界逾18万用户发布的3700万条tweet中，约1%的微博含有这类经纬度信息。

研究发现，人们通常会有两个最常去的地方，且这两个地方相距不远，应该就是家和工作地。为了评估博主的幸福额度，佛蒙特大学的研究小组研制了一种“幸福测试仪”(hedonometer)：这种测试仪能检测出文本中表示积极、快乐情绪的词汇(比如，“新鲜的”、“极好的”、“咖啡”和“午餐”)以及表示消极情绪的词汇(比如，“没有”、“不”、“讨厌”、“该死的”、“无聊的”)。幸福测试仪会以此为根据评出每一条微博的幸福指数。研究团队发现，离家越远，人们所发微博中含有的开心词汇就越多。

(2)2011年：人们没有以前快乐

2011 12月21日消息，美国佛蒙特大学学者对Twitter上的用词进行分析后，最终得出“人们没有以前快乐”的结论。研究称，自2009年4月以来，人们的幸福感总体呈下行趋势。该研究报告的主要作者、佛蒙特大学的应用数学家Peter Dodds表示，“人们的幸福感正在下降。”这是多兹团队对6300万Twitter用户所发tweet时用的460亿个单词分析得出的结论。

(3)2013年：周六幸福度最高

佛蒙特大学计算实验室的Hedonometer项目组发布了一份推特情感分析报告。这个项目通过自然语言处理，对过去五年中每天发布的千万条微博进行情感分析，寻找一些反映正面情绪或者负面情绪的关键词，并将其结果记录了下来。每一年的幸福度最高点都是在12月25号圣诞节，其它幸福度高的日子包括元旦、感恩节、情人节等;从每周来看，人们平均幸福度最高的一天是星期六，而最低的一天是星期二。

2.联合国全球脉动(global pulse)项目

《大数据促发展：挑战与机遇》白皮书项目

随着大数据发展战得到全球各国高度重视，联合国秘书长执行办公室于2009 年正式启动了“全球脉动”(Global Pulse)倡议项目，旨在推动数字数据和快速数据收集和分析方式的创新。作为该项目的研究成果，由“全球脉动”资深发展经济学家艾玛纽尔·勒图(Emmanuel Letouzé)牵头撰写的《大数据促发展：挑战与机遇》报告于2012 年5 月发布。该报告全面分析了各国特别是发展中国家在运用大数据促进社会发展方面所面临的历史机遇和挑战，并系统给出了在应用过程中正确运用大数据的策略建议。

与联合国对大数据价值的判断相呼应，伦敦智库政策交易所也宣布大数据每年能为英国政府节省330亿英镑。联合国的报告解释了大数据如何帮助政府更好地响应社会和经济指标变化，例如收入、失业、食品价格等。联合国指出大数据时代已经到来，人们如今可以使用的极大丰富的数据资源，包括旧数据和新数据，来对社会人口进行前所未有的实时分析。数据分析师培训