数据挖掘-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

809669515

机器学习中训练集，验证集，测试集比例配比

当数据量比较小时，可以使用 7 ：3 训练数据和测试数据(西瓜书中描述常见的做法是将大约 2/3 ~ 4/5 的样本数据用于训练，剩余样本用于测试）或者 6： 2 : 2 训练数据，验证数据和测试数据当数据量非常大时，可以使用 98 : 1 : 1 训练数据，验证数据和测试数据传统机器学习阶段（数据集在万这个数量级），一般分配比例为6：2：2而大数据时代，这个比例就不太适用

57.9135

1

0

0

关注作者

收藏

kejiayuan0806

如何处理分类中的训练数据集不均衡问题

什么是数据不均衡？在分类中，训练数据不均衡是指不同类别下的样本数目相差巨大。举两个例子：①在一个二分类问题中，训练集中class 1的样本数比上class 2的样本数的比值为60:1。使用逻辑回归进行分类，最后结果是其忽略了class 2，将所有的训练样本都分类为class 1。②在三分类问题中，三个类别分别为A，B，C，训练集中A类的样本占70%，B类的样本占25%，C类的样本占5%。最

0.0000

0

2

0

关注作者

收藏

kejiayuan0806

分别简述基于内容推荐算法和基于用户的协同过滤推荐算法的原理

基于内容推荐算法：基于物品或内容的特征，发现物品之间的相似性，然后基于用户以前的喜好记录推荐给用户相似的物品。本质是对物品或内容进行分析建立特征，基于用户对什么特征的内容感兴趣以及分析一个物品具备什么特征来做推荐。不考虑用户之间的关系，只关注物品本身的特征，根据Item获得与之特征相似的Item进行推荐。简单来说就是根据用户之前喜欢的物品，通过对特征的匹配分析，预测用户的喜好。基于用户的协同过滤

0.0000

0

0

0

关注作者

收藏

kejiayuan0806

余弦相似度越高越相似吗

问题描述协同过滤算法中计算相似度时，余弦相似度越高越相似吗？解答余弦相似度是通过计算两个向量的夹角余弦值来评估他们的相似度。余弦相似度将向量根据坐标值，绘制到向量空间中，求得他们的夹角，并得出夹角对应的余弦值，此余弦值就可以用来表征，这两个向量的相似性。夹角越小，余弦值越接近于1，它们的方向更加吻合，则越相似。余弦值的范围在[-1,1]之间，值越趋近于1，代表两个向量的方向越接近；越趋近于

0.0000

0

3

0

关注作者

收藏

kejiayuan0806

关联规则中支持度、置信度的相关概念

问题描述关联规则中，支持度是对项集的限制，置信度是对规则的，这个怎么理解呢？解答支持度表示项集{X,Y}在总项集里出现的概率，用来度量一个项集的出现频率。置信度表示在先决条件X发生的情况下，由关联规则“X→Y”推出Y的概率，用来度量一个关联规则的强弱。所以我们设置的最小支持度是对项集的限制，最小置信度是对规则的限制，表示我们只对某些项集和规则感兴趣。

0.0000

0

4

0

关注作者

收藏

kejiayuan0806

模型评价指标有哪些

分类模型评价指标：精确率、正确率、召回率、F值、ROC、AUC等指标。精确率(precision)是针对我们预测结果而言的，它表示的是预测为正的样本中有多少是真正的正样本，也就是precision=TP/(TP FP)。而召回率(recall)是针对我们原来的样本而言的，它表示的是样本中的正例有多少被预测正确了，也就是recall=TP/(TP FN)。一个分母是预测为正的样本数，另一个是原

0.0000

0

4

0

关注作者

收藏

啊啊啊啊啊吖

中文分词jieba的学习分享

jieba.cut 接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。jieba.cut 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用jieba.lcut 直接返

142.1984

5

0

0

关注作者

收藏

有福有德

核密度工作原理及实现

SAS的KDE过程实现核密度估计，功能及其说明如下：可以对单变量和双变量进行核密度估计，所谓的核（kernel）估计是一种非参数方法，是指从原始数据中观测到的概率密度函数（PDF）——平均的通过数据点，从而创建平滑曲线。 KDE过程使用高斯密度做为核，并假设其方差决定平滑的结果。其工作原理：选择带宽（bandwith），进而核密度估计，但完成这些工作前提是完成数据的分箱

214.5274

12

7

0

关注作者

收藏

东方祥

数据汇总：医学数据集及机器学习项目

机器学习医疗数据的策划清单。(此列表仅供参考，请确保您尊重此处列出的任何数据的任何和所有使用限制)1.医学影像数据医学图书馆向13,000名患者注释提供了53,000张医学图像的MedPix®数据库。需要注册。信息：https : //medpix.nlm.nih.gov/homeABIDE：自闭症脑成像数据交换：对自闭症内在大脑结构的大规模评估。539名患有ASD和573名典型对

647.6383

11

2

0

关注作者

收藏

有福有德

统计变换技术有感

正好刚刚学了点变换技术，希望同仁能给予批评和交流，共同学习。有些公式不好编辑所以截图分享。Spline与MSpline变换变量缺失部分的变换，Spline、MSpline变换与Linear、Monotone、Opscore、Untie的变换相同。变量非缺失部分的变换，即最优变换（Spline变换），为b-spline基向量的线性组合，而b-spline基可以精确（数量少，没有共线性）、有效

891.3256

9

0

0

关注作者

收藏

<1…151617

CDA考试动态

CDA报考指南