RBF内核的显式特征映射近似

啊啊啊啊啊吖

2018-12-09 阅读量: 914

RBF内核的显式特征映射近似

示例说明RBF内核的特征映射的近似。

它显示了如何使用RBFSampler和Nystroem近似RBF内核的特征映射，以便在数字数据集上使用SVM进行分类。使用原始空间中的线性SVM，使用近似映射的线性SVM和使用核化SVM的结果进行比较。显示了用于近似映射的不同量的蒙特卡罗采样（在RBFSampler使用随机傅里叶特征的情况下）和训练集（用于Nystroem）的不同大小子集的时间和准确度。

请注意，此处的数据集不足以显示内核逼近的好处，因为确切的SVM仍然相当快。

采样更多尺寸显然可以获得更好的分类结果，但成本更高。这意味着在运行时和准确度之间存在权衡，由参数n_components给出。注意，通过使用随机梯度下降，可以大大加速求解线性SVM以及近似核SVM sklearn.linear_model.SGDClassifier。对于内核化SVM的情况，这是不可能的。

第二个图使用近似核映射可视化RBF核SVM和线性SVM的决策表面。该图显示了投影到数据的前两个主要组成部分的分类器的决策表面。这种可视化应该用一粒盐来拍摄，因为它只是64维度中决策表面的一个有趣切片。特别注意，数据点（表示为点）不一定被分类到它所处的区域，因为它不会位于前两个主要分量跨越的平面上。

核的近似使用RBFSampler和Nystroem详细描述。