“小数据”的统计学

一、小数据来自哪里？

科技公司的数据科学、关联性分析以及机器学习等方面的活动大多围绕着”大数据”，这些大型数据集包含文档、 用户、 文件、 查询、 歌曲、 图片等信息，规模数以千计，数十万、 数百万、 甚至数十亿。过去十年里，处理这类型数据集的基础设施、 工具和算法发展得非常迅速，并且得到了不断改善。大多数数据科学家和机器学习从业人员就是在这样的情况下积累了经验，逐渐习惯于那些用着顺手的算法，而且在那些常见的需要权衡的问题上面拥有良好的直觉（经常需要权衡的问题包括：偏差和方差，灵活性和稳定性，手工特性提取和特征学习等等)。但小的数据集仍然时不时的出现，而且伴随的问题往往难以处理，需要一组不同的算法和不同的技能。小数据集出现在以下几种情况:

企业解决方案: 当您尝试为一个人员数量相对有限的企业提供解决方案，而不是为成千上万的用户提供单一的解决方案。

时间序列: 时间供不应求!尤其是和用户、查询指令、会话、文件等相比较。这显然取决于时间单位或采样率，但是想每次都能有效地增加采样率没那么容易，比如你得到的标定数据是日期的话，那么你每天只有一个数据点。

关于以下样本的聚类模型：州市、国家、运动队或任何总体本身是有限的情况(或者采样真的很贵)。【备注：比如对美国50个州做聚类】

多变量 A/B 测试: 实验方法或者它们的组合会成为数据点。如果你正在考虑3个维度，每个维度设置4个配置项，那么将拥有12个点。【备注：比如在网页测试中，选择字体颜色、字体大小、字体类型三个维度，然后有四种颜色、四个字号、四个字型】

任何罕见现象的模型，例如地震、洪水。

二、小数据问题

小数据问题很多，但主要围绕高方差:

很难避免过度拟合

你不只过度拟合训练数据，有时还过度拟合验证数据。

离群值（异常点）变得更危险。

通常，噪声是个现实问题，存在于目标变量中或在一些特征中。

三、如何处理以下情况1-雇一个统计学家

我不是在开玩笑！统计学家是原始的数据科学家。当数据更难获取时统计学诞生了，因而统计学家非常清楚如何处理小样本问题。统计检验、参数模型、自举法（Bootstrapping，一种重复抽样技术），和其他有用的数学工具属于经典统计的范畴，而不是现代机器学习。如果没有好的专业统计员，您可以雇一个海洋生物学家、动物学家、心理学家或任何一个接受过小样本处理训练的人。当然，他们的专业履历越接近您的领域越好。如果您不想雇一个全职统计员，那么可以请临时顾问。但雇一个科班出身的统计学家可能是非常好的投资。

2-坚持简单模型

更确切地说: 坚持一组有限的假设。预测建模可以看成一个搜索问题。从初始的一批可能模型中，选出那个最适合我们数据的模型。在某种程度上，每一个我们用来拟合的点会投票，给不倾向于产生这个点的模型投反对票，给倾向于产生这个点的模型投赞成票。当你有一大堆数据时，你能有效地在一大堆模型/假设中搜寻，最终找到适合的那个。当你一开始没有那么多的数据点时，你需要从一套相当小的可能的假设开始 (例如，含有 3个非零权重的线性模型，深度小于4的决策树模型，含有十个等间隔容器的直方图)。这意味着你排除复杂的设想，比如说那些非线性或特征之间相互作用的问题。这也意味着，你不能用太多自由度 (太多的权重或参数)拟合模型。适当时，请使用强假设 (例如，非负权重，没有交互作用的特征，特定分布等等) 来缩小可能的假设的范围。