如何评估你的数据科学模型

在大数据时代背景下，从数据科学当中得到的洞察结果是提高用户体验的最佳途径。

数据科学家现在经常使用的各种技术有回归算法、支持向量机（SVM）、神经网络、近邻取样、Naive Bayes、决策树以及集成模型。

这些算法可以有助于决策者确定之前未被识别的模式以及暗含在大量结构化和非结构化数据信息当中的趋势。这些模式可以被用来建立预测模型，这些模型可以预测日后可能发生的各种行为。

这些模型现在已经应用到了很多商业场景当中，比如说预测患者病症发作的风险，帮助银行决定为哪个客户批准贷款，还可以帮助市场营销人员决定对哪些客户群体采取有针对性的营销活动。

但是如何判断你所建立的预测模型的准确性呢？如何让你的预测模型为你的企业或者机构带来价值呢？

现在数据科学家们所使用的评估模型准确性的方法有很多，今天小编就带大家进行一次梳理。

提升图和增益图

这种方法被广泛的应用于解决有针对性的营销活动，还可以根据分位值找到目标客户群制定具体的营销活动。当然，这种方法还可以告诉你从目标客户群当中你可以得到多少响应。

ROC曲线

ROC曲线（受试者工作曲线）是根据一系列不同的二分类方式（分界值或决定阈），以真阳性率（灵敏度）为纵坐标，假阳性率（1-特异度）为横坐标绘制的曲线。

基尼系数

这是ROC曲线和对角线的面积和上面的三角形的面积的比率。

交叉验证

这种方式将数据分成两部分，其中一部分用来进行模型的“培训”，另外一部分可以用来对数据进行预测。通过这种方式你可以测试模型对数据以前没有预见到的结果的能力，并核实这种模型如何与外部数据之间相互作用。

混淆矩阵

混淆矩阵是通过将每个实测像元的位置和分类与分类图像中的相应位置和分类像比较计算的。混淆矩阵的每一列代表了预测类别，每一列的总数表示预测为该类别的数据的数目；每一行代表了数据的真实归属类别 ，每一行的数据总数表示该类别的数据实例的数目。

均方根误差

他是输出变量的单位的测试集的平均误差量。这项措施可以帮助你得到一个关于一个给定的预测的数量的想法可能是错误的平均。

总体来说，你所采用的评估方式应该与你的商业目标相契合。使用正确的指标比使用争取算法本身可以为你的模型性能带来更多的积极影响。物联网、移动通信、社交媒体还有全渠道零售所生成的数据点很多，仅仅是停留在数据收集的环节还不足以全面实现大数据的利用，除非你通过各种技术从数据当中找到对于未来的发展洞察。