扫码加入数据分析学习群

在实际项目中，我们遇到的数据集可能比较大，这个时候除非应用大数据挖掘技术，在做一般的分析和建模时，我们都需要对数据进行归约，也就是简化。当然，简化的前提是尽可能少地减少信息损失和保证最终效果。

另一种需要用到数据归约的情况是，数据集的变量数较多，而对应的样本数相对比较少。这个时候，样本的数量不足以支持这么多变量的研究，过多的变量数也会使得一些模型不再适用。那么这个时候，我们也需要对变量进行归约。

通常，我们可以采用维度归约和数值归约两种方法。

维度归约，主要是减少变量，或者说维度属性的个数。常用的方法有主成分分析、变量聚类等。

数值归约，是通过选择可以替代的、较小的数据的形式，来达到减少数据量的目的。一般可以分为有参数法和无参数法。有参数法的数值归约，最后只要存储参数即可，不需要额外存储数据。常用的有参数法是线性回归和多元回归。而无参数法一般不使用参数，或者模型的方式来存储数据，常用的方法有直方图、抽样和聚类。数据分箱也可以有效减少数据的数量。