问:
逻辑回归过拟合是在包里怎么处理的
答:
sklearn中在逻辑回归模型处理过拟合现象主要是通过设置penalty参数,penalty的说明如下:
penalty='l2'
: 字符串‘l1’或‘l2’,默认‘l2’。
用来指定惩罚的基准(正则化参数)。只有‘l2’支持‘newton-cg’、‘sag’和‘lbfgs’这三种算法。
如果选择‘l2’,solver参数可以选择‘liblinear’、‘newton-cg’、‘sag’和‘lbfgs’这四种算法;如果选择‘l1’的话就只能用‘liblinear’算法。
如果选择L2正则化发现还是过拟合,即预测效果差的时候,就可以考虑L1正则化;如果模型的特征非常多,希望一些不重要的特征系数归零,从而让模型系数稀疏化的话,也可以使用L1正则化,也就是对特征做了筛选。
问:集成算法里的每个基需要做参数调优吗?每个基调优后出来的效果更好,最后整个模型的效果不是更好吗?答:这个想法很不错,方法可行。但是sklearn的模型,只能整体做调优,而不能单独的对每个做调优的。