数据分析师-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

809669515

分类型模型评估之混淆矩阵

混淆矩阵显示分类模型与数据中的实际结果（目标值）相比所做的正确和不正确预测的数量。矩阵是 N × N ，其中 N 是目标值（类）的数量。通常使用矩阵中的数据来评估这些模型的性能。下表显示了两个类（正面和负面）的2x2混淆矩阵。准确性（accuracy）：正确的预测总数的比例。阳性预测值或精确度 (positive predictive value)：正确识别的阳性病例的比例。

0.0000

0

2

0

关注作者

收藏

809669515

如何去评估一个模型的优良？

方法一：拆分测试集和训练集将数据集拆分为单独的测试集和训练集。在前者上训练模型，在后者上评估模型（例如错误率，准确率，召回率，ROC、auc等）方法二：训练模型并调整（优化）其参数将数据集拆分为单独的测试和训练集。在训练集上使用诸如交叉验证之类的技术来为模型找到“最佳”超参数集。如果已完成超参数调整，使用独立测试集来获得其性能的无偏估计。方法三：构建不同的模型并比较不同的算

17.3451

1

2

0

关注作者

收藏

wangjuju123

决策树的生成和修剪

我们已经学习了从数据集构造决策树算法所需要的子功能模块，包括经验熵的计算和最优特征的选择，其工作原理如下：得到原始数据集，然后基于最好的属性值划分数据集，由于特征值可能多于两个，因此可能存在大于两个分支的数据集划分。第一次划分之后，数据集被向下传递到树的分支的下一个结点。在这个结点上，我们可以再次划分数据。因此我们可以采用递归的原则处理数据集。构建决策树的算法有很多，比如C4.5、ID3和CA

17.3451

1

5

0

关注作者

收藏

wangjuju123

决策树的构建

1. ID3算法ID3算法的核心是在决策树各个结点上对应信息增益准则选择特征，递归地构建决策树。具体方法是：1）从根结点(root node)开始，对结点计算所有可能的特征的信息增益，选择信息增益最大的特征作为结点的特征。2）由该特征的不同取值建立子节点，再对子结点递归地调用以上方法，构建决策树；直到所有特征的信息增益均很小或没有特征可以选择为止；3）最后得到一个决策树。2

0.0000

0

0

0

关注作者

收藏

wangjuju123

决策树的构造

决策树学习的算法通常是一个递归地选择最优特征，并根据该特征对训练数据进行分割，使得各个子数据集有一个最好的分类的过程。这一过程对应着对特征空间的划分，也对应着决策树的构建。1）开始：构建根节点，将所有训练数据都放在根节点，选择一个最优特征，按着这一特征将训练数据集分割成子集，使得各个子集有一个在当前条件下最好的分类。2）如果这些子集已经能够被基本正确分类，那么构建叶节点，并将这些子集分

0.0000

0

3

0

关注作者

收藏

809669515

power bi与mysql链接报错

报错截图：故障原因：MySQL Connector Net 版本太高解决办法：关闭 Power BI卸载MySQL Connector Net 8.0.11安装Install MySQL Connector Net 6.10.7 重新打开Power BI，再次链接mysql时就不会报错

0.0000

0

3

0

关注作者

收藏

809669515

如何从30部电影随机抽取5部出来?

我们可以使用python完成以上任务：首先建立一个列表，里面包含30部电影：>>> a = ['电影1','电影2','电影3','电影4',... '电影29','电影30']再用python产生一个产生一个数值范围内的不重复的随机数，可以使用random模块中的random.sample函数，其用法如下：>>>b = random.sample(a,5)>>>b['电影27',

0.0000

0

4

0

关注作者

收藏

wangjuju123

MYSQL 客户端与服务器关系

如果想要知道MySQL数据库客户端与服务器之间的关系.首先要明白什么是”数据库”.从字面意思理解,所谓”数据库”,就是存放数据的库.现实中,大家都知道仓库,粮食库,车库,快递库,它们是放各种实体东西的库.而数据库,放的只有数据.它是一个软件,它是一个能帮我们管理数据的地方.什么样的东西算数据?一篇文章,一个人的年龄,名字,一件商品的名称,数量,价格等等...把它们放在数据库中稳妥的管理起来

0.0000

0

2

0

关注作者

收藏

PGC123

如何设置jupyter notebook多行输出？

看到网上有代码截图，jupyter notebook可以多行输出，怎么设置呢？ 1、临时方法在notebook执行代码之前首先需要先执行下面代码以设置InteractiveShell.ast_node_interactivity参数from IPython.core.interactiveshell import InteractiveShellInteractiveShell.

53.8969

10

4

0

关注作者

收藏

809669515

Office阻止激活silverlight控件解决方案2

问题描述：昨天我电脑都装了，其他都可以用，就是这个Power View不能用，是什么原因呀？问题原因：出于安全考虑新生成的 Microsoft Office阻止激活的Silverlight控件上。除了直接安装注册表小程序的方法以外，还可以手动修改注册表具体解决方法如下：1、退出Microsoft Office 应用程序2、启动注册表编辑器中通过点击开始，键入regedit

0.0000

0

1

0

关注作者

收藏

zxq997

如何用Python来进行查询和替换一个文本字符串？

答：可以使用re模块中的sub()函数或者subn()函数来进行查询和替换，格式：sub(replacement, string[,count=0])（replacement是被替换成的文本，string是需要被替换的文本，count是一个可选参数，指最大被替换的数量）>>> import re>>>p=re.compile(‘blue|white|red’)>>>print(p.sub(

7.7801

1

1

0

关注作者

收藏

zxq997

LR和SVM的联系与区别。

联系： 1、LR和SVM都可以处理分类问题，且一般都用于处理线性二分类问题（在改进的情况下可以处理多分类问题） 2、两个方法都可以增加不同的正则化项，如l1、l2等等。所以在很多实验中，两种算法的结果是很接近的。区别： 1、LR是参数模型，SVM是非参数模型。 2、从目标函数来看，区别在于逻辑回归采用的是logistical loss，SVM采用的是hinge loss.这两个损失函数

17.3451

1

2

0

关注作者

收藏

zxq997

常见的反爬虫和应对方法

1）.通过Headers反爬虫从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测（一些资源网站的防盗链就是检测Referer）。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中；或者将Referer值修改为目标网站域名。对

7.7801

1

2

0

关注作者

收藏

PGC123

为啥random产生的随机数不随机？

在学习numpy的random模块的时候每次生成的随机数都是一样的这是为什么呢？代码如下图所示生成随机数时如果设置随机数种子，那么这次生成的随机是固定的，如果随机数种子函数np.random.seed()不传参数或者不调用np.random.seed()函数那么每次执行产生的结果是不一样的。设置随机数种子的目的是为了一些试验的可塑性，如果想要随机数不设置随机数种子即可。注：需要注意

0.0000

0

0

0

关注作者

收藏

zxq997

数据库的优化

1. 优化索引、SQL 语句、分析慢查询；2. 设计表的时候严格根据数据库的设计范式来设计数据库；3. 使用缓存，把经常访问到的数据而且不需要经常变化的数据放在缓存中，能节约磁盘IO；4. 优化硬件；采用SSD，使用磁盘队列技术(RAID0,RAID1,RDID5)等；5. 采用MySQL 内部自带的表分区技术，把数据分层不同的文件，能够提高磁盘的读取效率；6. 垂直分表；把一些不经

0.0000

0

3

0

关注作者

收藏

zxq997

常用的mysql引擎有哪些？各引擎间有什么区别？

主要 MyISAM 与 InnoDB 两个引擎，其主要区别如下：一、InnoDB 支持事务，MyISAM 不支持，这一点是非常之重要。事务是一种高级的处理方式，如在一些列增删改中只要哪个出错还可以回滚还原，而 MyISAM就不可以了；二、MyISAM 适合查询以及插入为主的应用，InnoDB 适合频繁修改以及涉及到安全性较高的应用；三、InnoDB 支持外键，MyISAM 不支持；四

7.7801

1

2

0

关注作者

收藏

zxq997

爬虫框架或者模块有哪些？

Python自带：urllib，urllib2第三方：requests框架：Scrapyurllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。urllib2.：urllib2.urlopen可以接受一个Request对象或者url，（在接受Request对象时候，并以此可以来设置一个URL 的headers），urllib.urlopen只接收一个url

7.7801

1

4

0

关注作者

收藏

zxq997

txt文件处理方法

a [[ 2.49870000e-01 2.50250000e-01 [ 3.64260000e 03 3.72430000e 03 [ 4.53960000e 03 4.50590000e 03 ..., [ 4.74110000e 01 4.89660000e 01 [ 4.10930000e 01 4.20480000e 01 [ 1.83510000e 01 1.6

0.0000

0

1

0

关注作者

收藏

kejiayuan0806

R语言字符串处理stringr包

stringr包主要功能处理字符串，对字符串进行分割、连接、转换等操作。install.packages('stringr')library(stringr)1、字符串拼接函数str_c(..., sep = "", collapse = NULL)，与str_join完全相同，与paste()行为不完全一致参数：sep: 把多个字符串拼接为一个大的字符串，用于字符串的分割符coll

6.9836

1

1

0

关注作者

收藏

zxq997

Excel文件处理方法。

1、读取方法一：使用Python的 xlrd包。#1、导入模块import xlrd#2、打开Excel文件读取数据data = xlrd.open_workbook('test_data.xlsx')# print('data',data)#3、使用技巧#获取一个工作表table = data.sheets()[0] #通过索引顺序获取# print('table',tab

0.0000

0

3

0

关注作者

收藏

<1…308309310…340>

CDA考试动态

CDA报考指南