机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

hopeiagt

模型中参数与超参数的区别

参数：是模型内部的配置变量，在机器学习中生成的。超参数：超参数是在机器学习前由用户基于以往的经验填入的实体，它不能通过机器学习自动生成，而必须由外部进行指定。例如逻辑回归，假设y=ax b，其中x是输入数据，通过sigmoid函数变换，模型的输出值为0或1。对于任意给定的数据X，模型都会返回一个a和b与之匹配，其中的a和b就是模型的参数。由于模型的输出值是0或1，因此，决定模型何时输

0.1881

2

0

0

关注作者

收藏

赵娜0418

Python机器学习损失函数

经典机器学习算法，他们最本质的区别是分类思想（预测y的表达式）不同，有的是基于概率模型，有的是动态规划，表象的区别就是最后的损失函数不同。损失函数分为经验风险损失函数和结构风险损失函数，经验风险损失函数反映的是预测结果和实际结果之间的差别，结构风险损失函数则是经验风险损失函数加上正则项(L0、L1（Lasso）、L2（Ridge）)。不同的算法常用的损失函数（Loss Function）有：

1.8598

5

3

0

关注作者

收藏

赵娜0418

Python机器学习之独热编码（三）

什么情况下不需要独热编码 1、如果特征是离散的，并且不用独热编码就可以很合理的计算出距离，就没必要进行独热编码。（比如，离散特征共有1000个取值，分成两组是400和600,两个小组之间的距离有合适的定义，组内距离也有合适的定义，就没必要独热编码） 2、有些并不是基于向量空间度量的算法，数值只是个类别符号，没有偏序关系，就不用进行独热编码。 3、如果原本的标签编码是有序的，就不必独热编码了，

16.9449

5

5

0

关注作者

收藏

赵娜0418

Python机器学习之独热编码（二）

为什么要进行独热编码在回归，分类，聚类等机器学习算法中，特征之间距离的计算或相似度的计算是非常重要的。而常用的距离或相似度的计算都是在欧式空间的相似度计算，计算余弦相似性，基于的就是欧式空间。使用独热编码（One-Hot Encoding），将离散特征的取值扩展到了欧式空间，离散特征的某个取值就对应欧式空间的某个点。将离散型特征使用独热编码（One-Hot Encoding），会让特征之间的距

16.5673

5

2

0

关注作者

收藏

赵娜0418

Python机器学习之独热编码（一）

在机器学习算法中，常会遇到分类特征是离散的，无序的。例如：性别有男、女，城市有北京，上海，深圳等。性别特征：["男"，"女"] => 0，1地区特征：["北京"，"上海，"深圳"] => 0，1，2工作特征：["演员"，"厨师"，"公务员"，"工程师"，"律师"] => 0，1，2，3，4 比如，样本(女，北京，工程师)=>(1，0，3)，但是，这样的特征处理并不能直接放入机器学

16.5673

5

2

0

关注作者

收藏

shauna570392

哑变量和one-hot编码是一样的吗?

有些不一样 aa

15.2822

1

4

0

关注作者

收藏

shauna570392

什么是哑变量？

哑变量也叫虚拟变量将哑变量引入回归模型，虽然使模型变得较为复杂，但可以更直观地反映出该自变量的不同属性对于因变量的影响，提高了模型的精度和准确度。用一个例子说明：研究性别和工龄对基本工资的影响情况。工龄是定量数据；性别为二分类数据，因而分析时性别不能直接放入回归模型，正确做法是将变量转化成取值为1和0的哑变量。性别分为两类，因而需要设置2个虚拟变量（2列），分别表示男性和女性两个类

15.4153

2

0

0

关注作者

收藏

liting李

什么是概率树，和决策树有什么区别？

首先，要先了解决策树，决策树，就是一种把决策节点画成树的辅助决策工具，一种寻找最优方案的画图法。再来看概率树，率树在决策树的基础上，增加了对条件发生概率的预测，和对结果收益的评估，然后加权平均得到一个“期望值”，用这个期望值，作为依据，辅助决策。两者是不同的概念，要分清~

0.1505

2

2

0

关注作者

收藏

hopeiagt

什么是Affinity Propogation算法?

Affinity Propogation最初是由Brendan Frey 和 Delbert Dueck于2007年在Science上提出的。相比其它的聚类算法，Affinity Propogation算法不需要预先指定聚类个数。其算法的原理可以简单的概括为：每一个数据点都会给其它的多有点发送信息，告知其它所有点每个目标对发送者（sender）的相对吸引力的目标值（target）。随后，鉴于从所有

18.7403

4

1

0

关注作者

收藏

hopeiagt

网格搜索中的best_score和对应模型最佳参数得出的score为何不同?

如下图代码所示,网格搜索中的best_score_是不同验证集下得分的均值,根据均值的大小,得出对应的最优参数. 而利用模型的最优参数对训练集和测试集进行训练,得出的分数是一次的结果,因此与best_socre_下计算的得分会有差异.

33.2258

5

3

0

关注作者

收藏

hopeiagt

scikit-learn中,逻辑回归的两种处理多分类问题的策略,有什么区别吗?

两种策略分别为”ovr”和” multinomial”,其中: “ovr”: 在处理多分类问题时,把其中一类标签作为正类,剩余数据作为负类;在测试时,若只有一个分类器预测为正类则预测结果为该类,若有多个分类器预测为正类,则根据各分类器的预测置信度,选择置信度最大的类别作为标记. “ovr”需要训练n个估计器.“multinomial”: 在处理多分类问题时,任选两类标签,其中一类作为正类,另外

14.6360

2

1

0

关注作者

收藏

赵娜0418

机器学习中学习率如何调整？

学习率的调整1、离散下降(discrete staircase) 对于深度学习来说，每 t 轮学习，学习率减半。对于监督学习来说，初始设置一个较大的学习率，然后随着迭代次数的增加，减小学习率。2、指数减缓(exponential decay) 对于深度学习来说，学习率按训练轮数增长指数差值递减。例如：又或者公式为：其中epoch_num为当前epoch的迭

33.7723

6

2

0

关注作者

收藏

赵娜0418

如何设置L0范数与L1范数？

L0范数是指向量中非0的元素的个数。如果我们用L0范数来规则化一个参数矩阵W的话，就是希望W的大部分元素都是0。这太直观了，太露骨了吧，换句话说，让参数W是稀疏的。OK，看到了“稀疏”二字，大家都应该从当下风风火火的“压缩感知”和“稀疏编码”中醒悟过来，原来用的漫山遍野的“稀疏”就是通过这玩意来实现的。但你又开始怀疑了，是这样吗？看到的papers世界中，稀疏不是都通过L1范数来实现吗？脑海里是不

19.3765

9

3

0

关注作者

收藏

赵娜0418

机器学习中岭回归、L2正则化（ridge regression）的区别

岭回归是一种可用于共线性数据分析的有偏估计回归方法，它是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对条件数很大（病态数据）的拟合要强于最小二乘法。在线性回归问题中，最小二乘法实际上是最小化问题： a 而岭回归则是加入了L2惩罚项： a 这样参数

19.3658

9

3

0

关注作者

收藏

hopeiagt

何时使用PCA(主成分分析法)?

(1) PCA技术在数据预处理阶段主要处理特征间的多重共线性问题; (2) PCA可以用于高维(有很多特征的情况); (3) PCA可以用于降噪和数据压缩.

0.0173

1

3

0

关注作者

收藏

liting李

如何让决策树停止分裂？

下面这六种情况都会停止分裂。其中第一种其实属于树的完全长成，但这会出现过拟合问题，所有之前很流行一种抑制这种情况的方法，叫树的剪枝。树的剪枝分为预剪枝和后剪枝，预剪枝，及早的停止树增长控制树的规模，方法可以参考如下6点停止分类的条件。后剪枝在已生成过拟合决策树上进行剪枝，删除没有意义的组，可以得到简化版的剪枝决策树，包括REP（设定一定的误分类率，减掉对误分类率上升不超过阈值的多余树）、PEP

18.0386

2

2

0

关注作者

收藏

hopeiagt

为什么Lasso regression可以用于特征选择?

Lasso regression 是通过给cost function增加惩罚项来计算回归系数,以达到减少模型中特征个数的目的.惩罚项是惩罚回归系数中不能对数据的变化做出解释的项,来进行特征选择.并且,Lasso还倾向于将对预测效果不好的特征系数设置接近于零.可以通过如下方式通俗的对Lasso的特征选择进行理解:由于添加L1正则项后,回归系数多出现在拐点,这意味着Lasso方法可以将部分特征的系数

13.7879

3

3

0

关注作者

收藏

hopeiagt

为什么岭回归(Ridge regression)可以抑制线性回归中的共线性问题?

以两个特征为例,假设有特征x1和x2,如果x1和x2之间没有共线性或仅有一点共线性(x1和x2在二维空间中展现非线性关系),此时,如果采用线性回归(y = a1x1 a2x2 a3)的方法,拟合的平面(其中y是第三个纬度)是无偏且”最好”的平面.如果x1和x2之间存在较为明显的共线性(x1可以用x2表示,则x1和x2呈一维图像而不是二维图像),如果仍用线性回归对数据进行拟合,会产生无数个与x1和x

13.7878

2

2

0

关注作者

收藏

shauna570392

岭回归回归系数公式里的I是什么？

Loss(β)=(Y−Xβ)T(Y−Xβ) λβTβλ是正则项的系数这个是凸问题，所以导数为0时取得解∂Loss∂β=2XTXβ−2XTY 2λIβ=0所以(XTX λI)β=XTYβ=(XTX λI)−1XTY里面的I是单位矩阵

18.0213

1

0

0

关注作者

收藏

赵娜0418

Python机器学习中mean_squared_error(Y, Y_pred)有什么含义？

计算均方误差回归损失sklearn.metrics.mean_squared_error(y_true, y_pred, sample_weight=None, multioutput=’uniform_average’)参数：y_true：真实值。y_pred：预测值。sample_weight：样本权值。multioutput：多维输入输出，默认为’uniform_average

14.9279

6

2

0

关注作者

收藏

<1…101112…69>

CDA考试动态

CDA报考指南