大数据时代抽样的是是非非

现在到处都在谈大数据，相关的图书里面舍恩伯格的《大数据时代》写得最精彩也最具影响力，书中明确提出：在大数据分析和应用中，不应着眼于如何使用(随机)抽样技术，而应该使用大样本来作为总体数据来使用。

　　在这个背景下，大数据时代还是否需要抽样技术以及如何使用抽样技术引起了大家的广泛讨论，下面说说个人观点。

　　1. 在条件允许的情况下，收集数据阶段尽可能获得更多样本，使样本接近于总体的思路是对的。大数据时代的到来是由于数据收集、存储和计算这几方面条件的成熟导致数据运行成本的降低，将来数据是一种财富、一种资源，因此尽量收集数据资源是有意义的。而且抽样得到的数据往往只能回答实现设定好的问题，而大数据不但能回答设定好的问题，也能回答某些突然出现的问题，数据越多越好。

　　2. 在已经有大数据的前提下，使用大样本数据来代替总体还是使用抽样数据来推测总体特征取决于我们要解决的问题。如果以概括总体为目标，那么抽样往往是比较好的方式，但这个时候面临的理论问题和传统抽样问题是不同的：以前是如何从总体中随机抽样来推断总体特性，现在面临的问题是“大样本数据是否是总体的有偏抽样吗”?如果是的话，如何使用大样本数据二次生成随机样本来推断总体特性。如果大数据分析不像传统统计分析那样以洞察总体或群体特征为目标，而是以每个个体特征分析和应用为目的，这个时候直接使用大样本数据数据要好些，比如说通过个人搜索、购买等行为预测行业趋势，数据的覆盖面不可能达到百分百，这类应用中大数据本身就是样本，但是只要数量够大，即使不像传统抽样那么经过精心挑选，那么就基本上也解决了问题，但此时能明确大样本数据和总体数据的偏差往往也是有意义的。

　　3. 大数据主要表现在数据量大和数据维度多两个层面，尽管目前分布式(map-reduce等)和实时处理(流计算，内存计算)发展迅速，但是大数据在应用过程中如果能采用小抽样还是会节省一大笔成本，从效率和成本的角度考虑，适当和合理的抽样是有必要的，因此算法部署环节中抽样算法、增量计算、数据维数缩减等会是大数据应用中的重要课题，因为这些都会节省企业的计算资源。计算资源好比自来水管的水、餐桌上的饭，能省一点是一点。而且考虑到数据资源的价值可能会逐渐走高，抽样算法的低碳环保会在大数据时代大有可为。

　　4. 如果要问“在海量数据的背景下，原先以在总体随机抽样来判断总体为核心思想的统计学会不会面临危机甚至消亡。”，我的答案是不会，只不过现在问题进行了转化，统计学会主要研究“如何使用过采样的有偏样本来估计总体”，就像目前大规模社交网络抽样中研究的问题那样。社交网络的小数据量随机抽样往往也比较困难，但是使用随机行走等方式获取有偏的大数据却非常容易，因此“大样本=总体”的思想是错误的，理论上再大的局部抽样可能不如随机抽样有代表性。