机器学习-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

dreamhappy2012

逻辑回归--Sigmoid函数公式及其特性

◼Sigmoid函数：✓对于二分类问题，我们想要一个函数能够接受所有输入然后预测出两种类别，可以通过输出0或者1。这个函数就是sigmoid函数，它是一种阶跃函数具体的计算公式如下: ◼Sigmoid函数特性：✓sigmoid函数连续，严格单调，以(0,0.5)中心对称，是一个非常良好的阈值函数✓当x为0时，Sigmoid函数值为0.5，随着x的增大对应的Sigmoid

0.0000

0

6

0

关注作者

收藏

dreamhappy2012

使用LASSO 回归拟合并绘图（python语言）

使用LASSO 回归拟合并绘图实现代码如下from sklearn.linear_model import Lasso alphas = np.linspace(-2,2,10)lasso_coefs = []for a in alphas:lasso = Lasso(alpha=a,fit_intercept=False)lasso.fit(x,y)lasso_coefs

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

LASSO回归拟合代码及解释？

sklearn.linear_model.Lasso(alpha=1.0, fit_intercept=True, normalize=False, precompute=False, copy_X=True, max_iter=1000, tol=0.0001, warm_start=False, positive=False, random_state=None, selection='cyc

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

LASSO回归原理？

当我们使用普通最小二乘法进行回归拟合时，如果特征变量间的相关性较强，则可能会导致某些 w 系数很大，而另一些系数变成很小的负数。所以，我们通过岭回归添加 L2 正则项来解决这个问题。与岭回归相似的是，LASSO 回归同样是通过添加正则项来改进普通最小二乘法，不过这里添加的是 L1 正则项。即：这里关于L1、L2没有做很详细的解释，如果需要可以参考这里，简单说下：L1：L1正则化最

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

岭回归模型的系数λ怎么选择？

λ选择：一般通过观察，选择喇叭口附近的值，此时各个回归系数趋于稳定，而且预测值与实际值的平方误差不太大。但是也不能选太大的λ，因为，随着λ的增大，回归系数的取值大小趋于稳定，但是实际对应的平方误差已经非常大了。为了定量地找到最佳参数值，还需要进行交叉验证。另外，要判断哪些变量对结果预测最有影响力，可以观察上图中对应系数的大小

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

岭回归python代码怎么实现？

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

关于线性回归与岭回归的联系与区别？

简单线性回归就是投影。对自变量做一个旋转，或者右乘一个p×p的矩阵（满秩，不一定正交，记为P），不影响投影的结果。回归系数等于原来的系数左乘P的逆。如果自变量之间相互独立，那就是分别往每个方向投影，投影结果再相加就是预测值，投影系数就是回归系数。如果自变量之间不独立，那就通过线性变换将自变量搞成独立（比如，SVD分解中的U），然后回到（3）。搞成独立后的变量（p个主成分，叫它新变量）

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

什么时候比较适合用岭回归？

岭回归是加了二阶正则项的最小二乘，主要适用于过拟合严重或各变量之间存在多重共线性的时候，岭回归是有bias的，这里的bias是为了让variance更小。岭回归的回归参数有先验分布，而最小二乘对参数没有限制。对参数进行先验分布限制，会使得得到的回归参数取值不会很病态。因为最小二乘法会出现不稳定的情况，这种情况下会有过拟合，所以需要通过一个shrinkage即缩减解决过拟合问题。如果最小二

0.0000

0

0

0

关注作者

收藏

dreamhappy2012

梯度下降法分类？

梯度下降法分类：1. 批量梯度下降算法（ BGD ， Batch gradient descent algorithm）2. 随机梯度下降算法（SGD，Stochastic gradient descent algorithm）3. 小批量梯度下降算法（ MBGD ， Mini-batch gradient descent algorithm）

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

线性回归中的误差分布的定义与特点？

误差分布的定义：✓ 真实值和预测值之间的差异：✓ 对于每个样本：误差分布的特点：✓独立：张三和李四同时贷款，互相没关系✓同分布：都是来自同一家银行贷款✓高斯分布：银行可能会多给，也可能少给，但是绝大多数情况下，这个浮动不会太大，极小情况下浮动会比较大，符合正常情况

0.0000

0

3

0

关注作者

收藏

dreamhappy2012

ROC曲线怎么理解？

ROC曲线：根据一系列不同的二分类方式（阈值或分界值），以真阳性率TPR（灵敏度）为纵坐标，假阳性率FPR（1-特异度）为横坐标绘制的曲线灵敏度越高，假阳性越低，ROC曲线下的面积值越大越好ROC曲线主要作用：1.ROC曲线能很容易地查出任意界限值时的对性能的识别能力。2.选择最佳的诊断界限值。ROC曲线越靠近左上角,试验的准确性就越高。最靠近左上角的ROC曲线的点是错误最少的最好

0.0000

0

1

0

关注作者

收藏

dreamhappy2012

机器学习的分类有哪些？

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构（利用数据或经验等）使之不断改善自身的性能。那么机器学习分为哪几类呢？机器学习的分类：✓ 监督学习（supervised learning）✓ 无监督学习（unsu

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

强化学习怎么理解？

✓ 定义：主要特点是通过试错来发现最优行为策略而不是带有标签的样本学习。如在没有老师提示的情况下，自己对预测的结果进行评估的方法。通过这样的自我评估，学生为了获得老师的最高评价将而不断的进行学习。强化学习被认为是人类主要的学习模式之一。✓ 最终目标：使计算机获得对没学习过的问题也可以做出正确解答的泛化能力✓ 应用：机器人的自动控制、计算机游戏中的人工智能、市场战略的最优化等✓ 典型任

0.0000

0

2

0

关注作者

收藏

dreamhappy2012

半监督学习

✓定义：在半监督学习方式下，训练数据有部分被标识，部分没有被标识，这种模型首先需要学习数据的内在结构，以便合理的组织数据来进行预测。算法上，包括一些对常用监督式学习算法的延伸，这些算法首先试图对标识数据进行建模，在此基础上再对未标识的数据进行预测✓ 例：给学生很多未分类的书本与少量的清单，清单上说明哪些书属于同一类别，要求对其他所有书本进行分类

31.5960

1

5

0

关注作者

收藏

dreamhappy2012

无监督学习怎么理解？

✓ 定义：主要特点是训练时只提供给学习系统训练样本，而没有样本对应的类别标签信息。例：没有老师的情况下，学生从书本或网络自学的过程✓ 最终目标：无监督学习不局限于解决有正确答案的问题，所以目标可以不必十分明确✓ 典型的无监督学习方法：聚类学习、自组织神经网络学习✓ 应用：人造卫星故障诊断、视频分析、社交网站解析、声音信号解析、数据可视化、监督学习的前处理工具等✓ 典型任务：聚类、异常检

31.5960

1

3

0

关注作者

收藏

dreamhappy2012

什么是监督学习？

监督学习定义：主要特点是要在训练模型时提供给学习系统训练样本以及样本对应的类别标签，因此又称为有导师学习。例：学生从老师那里获取知识、信息，老师提供对错指示、告知最终答案的学习过程最终目标：根据在学习过程中获得的经验技能，对没学习过的问题也可以做出正确解答，使计算机获得这种泛化能力✓ 典型的监督学习方法：决策树、支持向量机、监督式神经网络等分类算法和线性回归等回归算法✓ 应用：手写文字

0.0000

0

1

0

关注作者

收藏

詹惠儿

文本处理主要有哪几步？

语料库创建 - 它涉及创建包含文档和术语（或标记）的矩阵。文档可以被理解为每行具有产品描述并且每列具有术语。术语是指说明中的每个单词。通常，语料库中的文档数等于给定数据中的行数。文本清理 - 它涉及以下列方式清理文本：删除单词 - 如果使用Web抓取提取数据，您可能需要删除html标记。删除停用词 - 停用词是一组有助于句子构造并且没有任何真实信息的词。诸如a，an，the，they

178.9360

1

3

0

关注作者

收藏

PGC123

pyspark中调用jieba，显示没有那个包

pyspark中调用jieba，显示没有那个包。local模式运行没问题，但是使用standalone模式运行的时候显示import jieba 错误，这是啥原因？答：由于spark框架是一种并行运算框架，当以local模式运行时，程序只在当前节点运行，pyspark用的只有当前的python环境。但是当以集群模式运行的时候每个节点的python必须一致，因为同一段代码会在各个worker节点

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

怎么在R里自定义面板函数xyplot

library(lattice)displacement

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

准确的PCA和概率解释

PCA 用于对一组连续正交分量中的多变量数据集进行方差最大方向的分解。在 scikit-learn 中， PCA 被实现为一个变换对象，通过 fit方法可以降维成 n 个成分，并且可以将新的数据投影(project, 亦可理解为分解)到这些成分中。可选参数 whiten=True 使得可以将数据投影到奇异（singular）空间上，同时将每个成分缩放到单位方差。

0.0000

0

0

0

关注作者

收藏

<1…545556…69>

CDA考试动态

CDA报考指南