问、sklearn中的Pipline的funcution属性 答： Pipline的方法都是执行各个学习器中对应的方法,如果该学习器没有该方法,会报错 假设该Pipline共有n个学习器 transform,依次执行各个学习器的transform方法 inverse_transform,依次执行各个学习器的inverse_transform方法 fit,依次对前n-1个学习器执行fit和trans
dreamhappy2012
2019-06-29
问、sklearn中的Pipline的Parameters属性 答： steps : 步骤：列表(list) 被连接的（名称，变换）元组（实现拟合/变换）的列表，按照它们被连接的顺序，最后一个对象是估计器(estimator)。 memory:内存参数,Instance of sklearn.external.joblib.Memory or string, optional (default=
dreamhappy2012
2019-06-29
问、通常流水线学习器的通常步骤 答： 数据标准化学习器=>特征选取学习器=>执行预测的学习器 除了最后一个学习器之外,所有学习器必须提供transform算法,该方法用于数据转换
dreamhappy2012
2019-06-29
问、 sklearn中的Pipline（流水线学习器）简介 答： 管道机制实现了对全部步骤的流式化封装和管理（streaming workflows with pipelines）。 管道机制(也有人翻译为流水线学习器?这样翻译可能更有利于后面内容的理解)在机器学习算法中得以应用的根源在于，参数集在新数据集（比如测试集）上的重复使用。使用管道机制可以大幅度减少代码量.总的来说这是一个非常实用而有趣
dreamhappy2012
2019-06-29
问、线性回归的学习过程： 答： 1、推导：最大似然函数，代价函数最小值 2、求解方法： 最小二乘法：得到解析式 梯度下降法：一阶导 批量梯度下降 随机梯度下降 小批量梯度下降 牛顿法：一阶导和二阶导 基本牛顿法 全局牛顿法 拟牛顿法 3、解决问题： 欠拟合：多项式回归 过拟合： 岭回归：最小二乘法 lasso回归：坐标轴下降法 弹性网：
dreamhappy2012
2019-06-29
问、sklearn的multi_class: 答： ‘ovr’:uses the one-vs-rest (OvR) scheme，无论多少元逻辑回归都看作二元的 ‘multinomial’:uses the cross- entropy loss
dreamhappy2012
2019-06-29
问、solver优化方法 答： （1）liblinear：使用了开源的liblinear库实现，内部使用了坐标轴下降法来迭代优化损失函数。 （2）lbfgs：拟牛顿法的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。 （3）newton-cg：也是牛顿法家族的一种，利用损失函数二阶导数矩阵即海森矩阵来迭代优化损失函数。 （4）sag：即随机平均梯度下降，是梯度下降法的变种，和普
dreamhappy2012
2019-06-29
问、sklearn中penalty惩罚项 答： str, ‘l1’ or ‘l2’, 默认: ‘l2’ 注：在调参时如果我们主要的目的只是为了解决过拟合，一般penalty选择L2正则化就够了。但是如果选择L2正则化发现还是过拟合，即预测效果差的时候，就可以考虑L1正则化。另外，如果模型的特征非常多，我们希望一些不重要的特征系数归零，从而让模型系数稀疏化的话，也可以使用L1正则化。
dreamhappy2012
2019-06-29
问、Softmax Regression模型： 答： ✓ 在softmax回归中，我们解决的是多分类问题，类标y可以取k个不同的值 ✓ 训练集： ✓ 类标： ✓ 假设函数 hθ (x) 形式： 对于每个样本估计其所属的类别的概率为：
dreamhappy2012
2019-06-29
问、改进的随机梯度上升算法python实现 答： ✓ alpha在每次迭代的时候都会调整，alpha会随着迭代次数不断减小，降低alpha的函数中，alpha每次减少1/(j i)，但永远不会减小到0 （j样本数量 i迭代次数） ✓ 更新回归系数(最优参数)时，使用多个样本点，并且选择的样本点是随机的，每次迭代不使用已经用过的样本点
dreamhappy2012
2019-06-29
问、随机梯度上升算法的引入 答： ✓ 梯度上升算法在每次更新回归系数(最优参数)时，都需要遍历整个数据集，计算复杂度较高 ✓ 对算法进行改进，更新回归系数(最优参数)时，一次只用一个样本点去更新回归系数,这样就可以有效减少计算量了，这种方法就叫做随机梯度上升算法
dreamhappy2012
2019-06-29
问、梯度上升法实现二分类过程 答 ✓ 1、数据准备 ✓ 2、训练算法 迭代公式： 矢量化： ✓ 3、预测数据 ✓ 4、绘制决策边界
dreamhappy2012
2019-06-29
问、最大似然估计定义： 答： 假定样本与样本之间相互独立，那么整个样本集生成的概率即为所有样本生成概率的乘积，并对结果取对数： 其中，m为样本的总数，y(i)表示第i个样本的类别，x(i)表示第i个样本，θ是多维向量，x(i)也是多维向量 满足L(θ)的最大的θ值即是我们需要求解的模型。---使用梯度上升法
dreamhappy2012
2019-06-29
问如何得到合适的参数向量θ？ ✓ 在已知样本x和参数θ的情况下，样本x属性为正样本(y=1)和负样本(y=0)的条件概率 将两个公式合并，得单个样本属于y的概率为： y只能取0和1 θ取什么值才能使p乘积的取值最大？---最大似然估计
dreamhappy2012
2019-06-29
问、Logistic回归分类器求解过程 答： z是一个矩阵，θ是参数列向量(要求解的)，x是样本向量(给定的数据集)，hθ(x)给出了输出为1的概率
dreamhappy2012
2019-06-29
问、Sigmoid函数特性： 答： ✓ sigmoid函数连续，严格单调，以(0,0.5)中心对称，是一个非常良好的阈值函数 ✓ 当x为0时，Sigmoid函数值为0.5，随着x的增大对应的Sigmoid值将逼近于1; 而随着x的减小, Sigmoid函数会趋近于0 ✓ Sigmoid函数的值域范围限制在(0,1)之间，与概率值的范围是相对应的 ✓ Sigmoid函数的导数是其本身的函数，即f'(
dreamhappy2012
2019-06-29
问、什么是Sigmoid函数？ 答： 对于二分类问题，我们想要一个函数能够接受所有输入然后预测出两种类别，可以通过输出0或者1。这个函数就是sigmoid函数，它是一种阶跃函数具体的计算公式如下:
dreamhappy2012
2019-06-29
问、什么是逻辑回归？ 答： Logistic回归是概率型非线性回归模型, 是研究二值型输出分类的一种多变量分析方法。通过logistic回归我们可以将二分类的观察结果y与一些影响因素[x1,x2,x3,…]建立起关系从而对某些因素条件下某个结果发生的概率进行估计并分类
dreamhappy2012
2019-06-29
问、LogisticRegression优缺点： 答： 优点：实现简单，易于理解和实现；计算代价不高，速度很快，存储资源低。 缺点：容易欠拟合，分类精度可能不高。 其他： Logistic回归的目的是寻找一个非线性函数Sigmoid的最佳拟合参数，求解过程可以由最优化算法完成。 改进的一些最优化算法，比如sag。它可以在新数据到来时就完成参数更新，而不需要重新读取整个数据集来进行批量处理。 机器
dreamhappy2012
2019-06-29
问、LogisticRegression - 参数说明 答： penalty：惩罚项，str类型，可选参数为l1和l2，默认为l2。用于指定惩罚项中使用的规范。newton-cg、sag和lbfgs求解算法只支持L2规范。L1G规范假设的是模型的参数满足拉普拉斯分布，L2假设的模型参数满足高斯分布，所谓的范式就是加上对参数的约束，使得模型更不会过拟合(overfit)，但是如果要说是不是加了约束就
dreamhappy2012
2019-06-29
