特征选择的方法？

答：主要有三种方法：1)Filter;2)Wrapper;3)Embedded

1、Filter方法（过滤式）

其主要思想是：对每一维的特征“打分”，即给每一维的特征赋予权重，这样的权重就代表着该维特征的重要性，然后依据权重排序。

主要的方法有：

Chi-squared test(卡方检验)

information gain(信息增益)

correlation coefficient scores(相关系数)

2、Wrapper方法（包裹式）

其主要思想是：将子集的选择看作是一个搜索寻优问题，生成不同的组合，对组合进行评价，再与其他的组合进行比较。这样就将子集的选择看作是一个是一个优化问题，这里有很多的优化算法可以解决，尤其是一些启发式的优化算法，如GA，PSO，DE，ABC等。

主要方法有：recursive feature elimination algorithm(递归特征消除算法)

3、Embedded方法（嵌入式）

其主要思想是：在模型既定的情况下学习出对提高模型准确性最好的属性。这句话并不是很好理解，其实是讲在确定模型的过程中，挑选出那些对模型的训练有重要意义的属性。

主要方法：正则化，如岭回归就是在基本线性回归的过程中加入了正则项。