数据科学专业问答社区，好文章，一字千金--CDA答疑社区

热线电话：13121318867

登录

wo56565

爬虫过程中验证码怎么处理?

1.scrapy自带2.付费接口

0.0000

0

0

0

关注作者

收藏

wo56565

分布式爬虫主要解决什么问题?

1)ip2)带宽3)cpu4)io

0.0000

0

3

0

关注作者

收藏

wo56565

常见的反爬虫和应对方法?

1).通过Headers反爬虫从用户请求的Headers反爬虫是最常见的反爬虫策略。很多网站都会对Headers的User-Agent进行检测，还有一部分网站会对Referer进行检测(一些资源网站的防盗链就是检测Referer)。如果遇到了这类反爬虫机制，可以直接在爬虫中添加Headers，将浏览器的User-Agent复制到爬虫的Headers中;或者将Referer值修改为目标网站域名。

29.1701

1

2

0

关注作者

收藏

wo56565

数据库的优化?

1. 优化索引、SQL 语句、分析慢查询;2. 设计表的时候严格根据数据库的设计范式来设计数据库;3. 使用缓存，把经常访问到的数据而且不需要经常变化的数据放在缓存中，能节约磁盘IO;4. 优化硬件;采用SSD，使用磁盘队列技术(RAID0,RAID1,RDID5)等;5. 采用MySQL 内部自带的表分区技术，把数据分层不同的文件，能够提高磁盘的读取效率;6. 垂直分表;把一些不经

0.0000

0

2

0

关注作者

收藏

wo56565

描述下scrapy框架运行的机制?

从start_urls里获取第一批url并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提取处理：1. 如果提取出需要的数据，则交给管道文件处理;2. 如果提取出url，则继续执行之前的步骤(发送url请求，并由引擎将请求交给调度器入队列...)，直到请求队列里没有请求，程序结束。

0.0000

0

3

0

关注作者

收藏

wo56565

你用过的爬虫框架或者模块有哪些?谈谈他们的区别或者优缺点?

Python自带：urllib，urllib2第三方：requests框架：Scrapyurllib和urllib2模块都做与请求URL相关的操作，但他们提供不同的功能。urllib2.：urllib2.urlopen可以接受一个Request对象或者url，(在接受Request对象时候，并以此可以来设置一个URL 的headers)，urllib.urlopen只接收一个url

0.0000

0

4

0

关注作者

收藏

wo56565

scrapy和scrapy-redis有什么区别?

1) scrapy是一个Python爬虫框架，爬取效率极高，具有高度定制性，但是不支持分布式。而scrapy-redis一套基于redis数据库、运行在scrapy框架之上的组件，可以让scrapy支持分布式策略，Slaver端共享Master端redis数据库里的item队列、请求队列和请求指纹集合。2) 为什么选择redis数据库，因为redis支持主从同步，而且数据都是缓存在内存中的，

0.0000

0

0

0

关注作者

收藏

zxq997

pandas apply和inplace dataframe

我有类似下面的数据框，并希望在pandas中使用下面的def''apply method'更改如下结果df。据我所知，'apply'方法使得系列不能替代原始df。id a b-------a 1 4b 2 5c 6 2if df['a'] > df['b'] : df['a'] = df['b']else : df['b'] = df['a']resu

0.0000

0

3

0

关注作者

收藏

zxq997

如何使用re.findall（）从文本文件中提取所有数字

这个问题的基本概要是读取文件，使用查找整数re.findall()，查找正则表达式，[0-9] 然后将提取的字符串转换为整数并总结整数。我有不同的结果它应该以（209）结束。另外，我如何简化我的代码？import rehand = open("regex_sum_167791.txt")total = 0count = 0for line in hand: count = cou

29.1701

1

1

0

关注作者

收藏

zxq997

如何打印出Random.Randint（）函数的相同返回值

我想帮助找出一种打印出Random.randint（）函数生成的相同数字的方法。我首先将值赋给变量，如下所示：randomPersuade = random.randint(200,5000)问题是，现在我必须在2个不同的print语句中打印出两次从此函数返回的相同值userDecide2=input("Since you decided to keep the box, I will

0.0000

0

0

0

关注作者

收藏

zxq997

卷积神经网络如何调用编译和拟合函数

调用编译和拟合函数：model = Model([inpx], layer7) model.compile(optimizer=keras.optimizers.Adadelta(), loss=keras.losses.categorical_crossentropy, metrics=['accuracy']) model.fit(x_train, y_train, e

0.0000

0

2

0

关注作者

收藏

zxq997

如何评估卷积神经网络

评估函数：model.evaluate提供测试数据的分数，即将测试数据提供给模型。现在，模型将预测数据的类，预测的类将与y_test标签匹配，以给我们准确性。score = model.evaluate(x_test, y_test, verbose=0) print('loss=', score[0]) print('accuracy=', score[1]) inpx = Inp

0.0000

0

2

0

关注作者

收藏

zxq997

pandas导入数据编码问题解决

问：mac电脑在使用pandas导入数据的时候，有时候会出现中文乱码问题，如图，怎么办？a答：一般在导入数据时，把格式调成python是可以成功导入的。使用参数：engine=‘python’。但是由于编码不同的原因，mac电脑使用不行。加入参数 encoding=‘utf-8’还是不能成功导入，说明里面存在非‘utf-8‘模式的编码。这时可以选择切换编码模式为 encoding=

0.0000

0

1

0

关注作者

收藏

zxq997

precision_score可以相等吗

我正在尝试使用sklearn库在python 3中构建逻辑回归模型。让我们坚持下面的短版本，dv - 因变量idv - 自变量现在我有idv1，idv2，idv3，idv4，idv5，idv6，idv7，idv8和idv9。其中idv6到idv9是分类变量（idv6和idv7有3个类别..其中idv8和idv9是布尔变量..是或没有变量[0或1]）而且dv又是一个布尔变量（

0.0000

0

0

0

关注作者

收藏

kejiayuan0806

MySQL恢复备份

问题描述：MySQL如何恢复备份？解决方法：1、进入MySQL Command Line Client，输入密码，进入到“mysql>”。2、输入命令"show databases；"，回车，看看有些什么数据库；建立你要还原的数据库，输入"createdatabase voice；"，回车。3、切换到刚建立的数据库，输入"use voice；"，回车；导入数据，输入"sourc

9.9571

1

2

0

关注作者

收藏

kejiayuan0806

内存表的应用的场景

问题描述：内存表的应用的场景有哪些?解决方法：内存表使用哈希散列索引把数据保存在内存中，因此具有极快的速度，适合缓存中小型数据库。1、heap对所有用户的连接是可见的，这使得它非常适合做缓存。2、一旦服务器重启，所有heap表数据丢失，但是heap表结构仍然存在，因为heap表结构是存放在实际数据库路径下的，不会自动删除。重启之后，heap将被清空，这时候对heap的查询结果都是

8.5311

1

3

0

关注作者

收藏

kejiayuan0806

MySQL中的内存表

问题描述：MySQL中的内存表是什么？解决方法：1、内存表:表结构建在磁盘里，数据在内存里，当停止服务后，表中的数据丢失，而表的结构不会丢失。内存表也可以被看作是临时表的一种。2、内存表的建立：CREATE TEMPORARY TABLE tmp_table (name VARCHAR(10) NOT NULL, value INTEGER NOT NULL )

8.5311

1

1

0

关注作者

收藏

kejiayuan0806

使用临时表的注意事项

1、临时表只在当前连接可见，当这个连接关闭的时候，会自动drop。这就意味着你可以在两个不同的连接里使用相同的临时表名，并且相互不会冲突，或者使用已经存在的表，但不是临时表的表名。(当这个临时表存在的时候，存在的表被隐藏了，如果临时表被drop，存在的表就可见了)。2、临时表只能用在 memory,myisam,merge,或者innodb引擎。3、临时表不支持mysql cluster

16.3218

2

2

0

关注作者

收藏

kejiayuan0806

临时表的运用场景

问题描述：临时表的运用场景是什么？解决方法：应用场景1：你在短期内有很多DML操作，比如京东淘宝亚马逊的购物车表，把东西放购物车（insert），变更数量（update），删除商品(delete)，一旦结算金钱后，这些数据就要清掉，这时需要用临时表应用场景2：在导出数据时，你可能不想导完整的数据库，或者表，你可能只想要导出符合某些条件的数据，那么你可以创建临时表，把select语句插

8.5311

1

3

0

关注作者

收藏

kejiayuan0806

MySQL中临时表的操作

MySQL中临时表的操作主要有：创建、查询、删除创建临时表：(1)定义字段CREATE TEMPORARY TABLE tmp_table (name VARCHAR(10) NOT NULL, value INTEGER NOT NULL) (2)直接将查询结果导入临时表CREATE TEMPORA

8.5311

1

4

0

关注作者

收藏

<1…382383384…531>

CDA考试动态

CDA报考指南