数据探索和数据准备的步骤

如我们所知，数据分析工作的70%的时间都用作于数据清洗，数据探索和数据准备当中，这可以说是数据分析的核心所在。数据清洗主要是工具层面上的，这里先不讨论。我们这里讨论数据探索和数据准备的六大步骤。

变量的识别

单变量的分析

双变量的分析

处理缺失值

处理异常值

特征提取(Feature Engineering)

变量的识别

在对数据分析之前，我们需要去识别变量，去了解变量的类型和数据的类型。比如判别变量是分类型变量的还是连续型变量，是二分类还是有序变量。这些知识在任何一本统计学书上第一章都会详细介绍。图片来自于哈佛大学数据分析课程

单变量的分析

识别完变量之后，我们算是初步的了解了数据的全貌，知道其大概表示什么。接下来我们应该对每一个变量进行分析，以期更深入的了解数据，并希望从中得到一个假设，以便接下来的检验。对于单变量的分析，我们根据单变量的类型进行特定的分析。
连续型变量：

概括性度量：均数，中位数，众数，最大值，最小值，极差，百分位数，四分位数，方差，标准差，偏度和峰度。

图形：直方图和箱型图

检验：检验其分布：P－P图和K－S单样本检验

分类型变量：主要是要频数表(频率表)去了解其分布，图形主要是用条形图，也可以用游程检验去检验其是否随机，以判定抽样是否随机。

双变量的分析

进行完单变量的分析后，我们对数据有了更深的理解，下面我们该进行双变量的分析。我们进行双变量的分析主要有两个目的，第一，我们想知道我们的目标变量与已知变量之间有什么关系；第二，我们想验证在单变量分析中得出的假设。双变量的分析可以分为三类：
连续型与连续型：对于两个连续型数据的分析，我们主要是用散点图和相关系数去判定。通过散点图看出两者是否有线性关系，在通过计算相关系数去判定关系的强弱。
分类型与分类型：而对于两个分类型数据的分析，我们可以用交叉分组表，堆积条形图和卡方检验去验证两者之间的关系。
分类型与连续型：分类型和连续型数据的分析，我们主要用到t检验和方差分析

处理缺失值

在数据分析中，缺失值是一个很让人头疼的问题，有时候缺失值过多，以至于根本无法进行数据分析。我们这里讨论一下如何处理数据中的缺失值。
缺失值产生的原因无外乎两个：一、数据提取时出错，也就是自己操作出错，这个很好说，重新提取或检查一遍即可；二、数据收集时出错，这个很就不好解决。
缺失值处理：

删除：1.整行删除：对有缺失值的数据，整行删除。这样虽然简单，但是也削弱了模型的功能；2.只删除缺失值：这样虽然保存了较多的数据，但是使得数据中不同的变量有不同的样本量，不利于比较。

替代：计算其均值／中位数／众数去代替缺失值，这也是最常用的方法。

预测模型：以没有缺失值的数据为训练数据，以有缺失值的数据为测试数据，建立预测模型，预测其缺失值。缺点是，若变量之间没有关系，则预测的值根本不准。

KNN代替：用最邻近算法计算出其最邻近的属性，以那个属性的值代替缺失值。优点是，不管是分类型还是数值型的都可以操作，缺点是，太费时间。

处理异常值

对于异常值，我们可以说是对它喜忧参半，如果异常值是自然存在的，我们就可以对异常值进行一系列分析，比如用于欺诈检测，入侵检测等。但是大部分异常值的是人为产生的，其产生原因可能是录入错误、测量误差、实验误差、抽样误差等产生。这些异常值通常会混淆我们的视听，影响我们对数据的理解，破坏数据之间的联系，因此我们该学会如何去处理异常值。
检测异常值：

图形：箱图、直方图、散点图

在1.5倍的四分位差之外的数据可定为异常值

在数据的5%－95%之外的数据可定为异常值

在均值的三个标准差之外的数据

用聚类分析的方法检测异常值（马氏距离和Cook’s D距离）

处理异常值：

删除：如果是录入错误，或数据为很小的一部分即可删除。

转换变量和聚类：有时候通过一些简单的变量转换和聚类即可减少异常值对整体数据的影响

替换：用均值／中位数／众数去代替异常值

分开处理：若其为自然的异常值，且数据较多，我们就可以将其另分一组，进行分析

特征提取(Feature Engineering)

在建模之前，特征提取是极其重要的步骤，它的好坏直接影响你模型的好坏，所以我们必须去学习如何实现特征提取。
特征提取就是从已知的数据中提取更多的信息，你不加入任何数据，但是你却让你的数据更加有用。
特征提取的方法有：变量转换和变量创建。
变量转换：当我们需要改变数据的度量（标准化）或需要把非相关改为相关或改变变量分布时，我们需要用到变量转换，比如进行对数，平方／立方根，分组等方式。
变量创建：我们都是基于现有的变量来创建新变量。比如说我们可以以上变量转换的方法形成新的变量，也可以把分类变量进行数值化，以便于分析等。
总结一下：进行数据探索我们需要6个步骤

识别变量：分类型？数值型？

单变量分析：数值描述，图表描述，检验分布

双变量分析：线性关系？相关？

处理缺失值：删除？代替？预测？

处理异常值：如何检测？如何移除？

特征提取：一般有哪些提取方法？

以上就是数据探索和数据准备的一些步骤，这些步骤不去实践永远都不会用作用，所以我们应该去多做分析，多去探索，如果你的英语不错，kaggle是一个好的去处。