登录
首页精彩阅读数据分析领域中最为人称道的七种降维方法(2)
数据分析领域中最为人称道的七种降维方法(2)
2015-10-08
收藏

数据分析领域中最为人称道的七种降维方法(2)



同样也需要注意的是，新的主成分并不是由实际系统产生的，因此在进行 PCA 变换后会丧失数据的解释性。如果说，数据的解释能力对你的分析来说很重要，那么 PCA 对你来说可能就不适用了。算法示意图如下：

反向特征消除 (Backward Feature Elimination)
在该方法中，所有分类算法先用 n 个特征进行训练。每次降维操作，采用 n-1 个特征对分类器训练 n 次，得到新的 n 个分类器。将新分类器中错分率变化最小的分类器所用的 n-1 维特征作为降维后的特征集。不断的对该过程进行迭代，即可得到降维后的结果。第k 次迭代过程中得到的是 n-k 维特征分类器。通过选择最大的错误容忍率，我们可以得到在选择分类器上达到指定分类性能最小需要多少个特征。算法示意图如下：
前向特征构造 (Forward Feature Construction)
前向特征构建是反向特征消除的反过程。在前向特征过程中，我们从 1 个特征开始，每次训练添加一个让分类器性能提升最大的特征。前向特征构造和反向特征消除都十分耗时。它们通常用于输入维数已经相对较低的数据集。算法示意图如下：
我们选择 2009 KDD chanllenge 的削数据集来对这些降维技术在降维率、准确度损失率以及计算速度方面进行比较。当然，最后的准确度与损失率也与选择的数据分析模型有关。因此，最后的降维率与准确度的比较是在三种模型中进行，这三种模型分别是：决策树，神经网络与朴素贝叶斯。


通过运行优化循环，最佳循环终止意味着低纬度与高准确率取决于七大降维方法与最佳分类模型。最后的最佳模型的性能通过采用所有特征进行训练模型的基准准确度与 ROC 曲线下的面积来进行比较。下面是对所有比较结果的对比。
从上表中的对比可知，数据降维算法不仅仅是能够提高算法执行的速度，同时也能过提高分析模型的性能。 在对数据集采用：缺失值降维、低方差滤波，高相关滤波或者随机森林降维时，表中的 AoC 在测试数据集上有小幅度的增长。

确实在大数据时代，数据越多越好似乎已经成为公理。我们再次解释了当数据数据集宝航过多的数据噪声时，算法的性能会导致算法的性能达不到预期。移除信息量较少甚至无效信息唯独可能会帮助我们构建更具扩展性、通用性的数据模型。该数据模型在新数据集上的表现可能会更好。


最近，我们咨询了 LinkedIn 的一个数据分析小组在数据分析中最为常用的数据降维方法，除了本博客中提到的其中，还包括：随机投影(Random Projections)、非负矩阵分解(N0n-negative Matrix Factorization),自动编码(Auto-encoders),卡方检测与信息增益(Chi-square and information gain)， 多维标定(Multidimensional Scaling), 相关性分析(Coorespondence Analysis), 因子分析(Factor Analysis)、聚类(Clustering)以及贝叶斯模型(Bayesian Models)。


特征 降维 数据分析 PCA 神经网络 朴素贝叶斯 决策树 随机森林

数据分析咨询请扫描二维码

上一篇图论在大数据分析中的作用！
下一篇CDA认证再升一档！与国家共同推进大数据人才培养标准教育事业！
考试指南
报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present, www.cda.cn All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询