Python-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

马锦涛

反爬如何降低请求频率？

降低请求频率的做法，不仅仅是为了避开网站的侦测，更重要的是体现出了一个爬虫专家基本的素质。我们应该对能够获取免费数据心怀感恩，而不是恶意攻击网站，致其带来很大的带宽压力，甚至瘫痪。毕竟还是有许多网站，对爬虫还是比较宽容的。对于Scrapy框架来说，设置请求的频率（即下载延迟时间）非常简单。在配置文件settings.py中设置DOWNLOAD_DELAY即可，以下代码设置下载延迟时间为3秒，即两次

0.0000

0

0

0

关注作者

收藏

马锦涛

什么是Cookie？

Cookie是指某些网站为了辨别用户身份、进行会话跟踪而存储在本地终端上的数据。简单讲它有以下特点：由网站服务器生成。数据保存于用户本地。访问网站时，浏览器会自动附带并发送给网站服务器。对用户而言，一切都是自动完成。

0.0000

0

0

0

关注作者

收藏

马锦涛

OCR环境如何搭建？

要使用OCR识别验证码，需要完成以下验证码识别库的安装和配置。以Windows下安装为例。（1）Tesseract OCR的下载和安装。下载地址为http://digi.bib.uni-mannheim.de/tesseract。下载后按照提示安装即可。（2）安装Python支持的OCR库。使用pip命令安装pillow和pytesseract这两个库。pip install pillowpip

0.0000

0

0

0

关注作者

收藏

马锦涛

Splash作用是什么？

异步方式并行处理多个网页的渲染过程。获取渲染后的HTML源代码或屏幕截图。通过关闭图片渲染或者使用Adblock规则来加快页面渲染速度。可执行特定的JavaScript脚本。可通过Lua脚本来控制页面的渲染过程。获取渲染的详细过程并通过HAR（HTTP Archive）格式呈现。

0.0000

0

0

0

关注作者

收藏

马锦涛

Splash是什么？

Splash是一个Scrapy官方推荐的JavaScript渲染服务，是一个带有HTTP API的轻量级浏览器，同时它对接了Python中的Twisted和QT库。利用它，我们同样可以实现动态渲染页面的抓取。

0.0000

0

0

0

关注作者

收藏

马锦涛

ajax爬虫的缺点是什么？

很多接口地址既冗长又复杂，有的还经过加密甚至还有时效性。例如今日头条的新闻信息的接口地址为，从中很难找出规律，也就无法爬取更多的新闻信息。网站之所以这么做，无非是想避免爬虫等工具的侵扰，进一步加大爬虫的难度。

0.0000

0

0

0

关注作者

收藏

马锦涛

ajax爬虫的具体过程是怎么样的？

1、获取相关的js包2、找到js包之间的规律3、建立爬虫规则

0.0000

0

0

0

关注作者

收藏

马锦涛

Ajax爬虫的优点？

Ajax无刷新更新数据的技术，为其赢得了很多的优势：用户体验更好。节约了流量。减轻了服务器负担。Ajax的应用案例非常多，如新浪微博、谷歌地图、淘宝、京东商城及大麦网等。

0.0000

0

0

0

关注作者

收藏

马锦涛

什么是Ajax？

传统的网页，如果需要更新内容，必须重载整个页面。有了Ajax，便可以在不重新加载整个网页的情况下，对网页的某部分进行更新。Ajax，全称Asynchronous JavaScript and XML，即异步的JavaScript和XML。它不是新的编程语言，而是利用JavaScript在不重新加载整个页面的情况下，与服务器交换数据并更新部分网页内容的技术。

0.0000

0

0

0

关注作者

收藏

马锦涛

什么是动态页面爬虫

当我们发现要爬取的数据不在HTML文档中时，就应该考虑到数据可能会通过JavaScript加载。先来了解一下什么是JavaScript。JavaScript是互联网上最流行的客户端脚本语言。它运行于用户的浏览器中，被广泛用于Web应用开发。它嵌入于HTML中，常用来为HTML网页添加各种动态功能，为用户提供更流畅美观的浏览效果。JavaScript能够动态加载文本，并将文本嵌入到HTML文档中。而

0.0000

0

0

0

关注作者

收藏

詹惠儿

anaconda卸载残留的文件夹怎么在电脑找不到？

问：anaconda卸载残留的文件夹怎么在电脑找不到？答：在部分电脑上C:\ProgramData这个文件夹是隐藏文件夹，一般显示不可见，可直接在文件地址框中输入“C:\ProgramData\Anaconda3”，即可进入到Anaconda3的路径下。

46.1538

1

0

0

关注作者

收藏

詹惠儿

安装anaconda报错“ Directory 'C\ProgramData\Anaconda3' is not empty,

问：安装anaconda报错“Directory 'C\ProgramData\Anaconda3' is not empty,please choose a different location.”答：这是因为之前安装的anaconda没有卸载干净，有残留的文件夹，需要先按照提示的路径把残留的Anaconda3文件夹删除后，再进行安装。

46.1538

1

0

0

关注作者

收藏

liting李

python如何从字符串中提取数字

my_str = '123and456'number = filter(str.isdigit, my_str )# number = 123456 使用正则表达式：>>> import re>>> re.findall(r'\d+', 'hello 42 I\'m a 32 string 30')['42', '32', '30']这也将匹配42 bla42bla。如果您只想要按字边界（空格，

137.5007

1

0

0

关注作者

收藏

liting李

pandas库pd.read_excel操作读取excel文件参数整理与实例

除了使用xlrd库或者xlwt库进行对excel表格的操作读与写，而且pandas库同样支持excel的操作；且pandas操作更加简介方便。首先是pd.read_excel的参数：函数为：pd.read_excel(io, sheetname=0,header=0,skiprows=None,index_col=None,names=None, arse_cols=

137.5007

1

0

0

关注作者

收藏

LXM21

定义函数时提示类型错误

解决:del Cook再运行创建类的语句再进行实例化

137.5007

1

0

0

关注作者

收藏

LXM21

python 用正则提取到最后一个指定字符后的字符串

python 用正则怎么提取到最后一个指定字符后的字符串a = "Server.ServerCapabilities.aaaaa" b = "Server.ServerCapabilities.zzzzz.bbbbb"c = "Server.ServerCapabilities.rrrrrrr.ssssssss.cccccc"取到每个字符串最后一个 . 后的字符串

137.5007

1

0

0

关注作者

收藏

LXM21

python如何找到矩阵中某个元素对应的行列号

有一个以matrix形式存储的二维数组，想要找到其中某个元素对应的行列号，请问该如何编写？比如m=numpy.matrix([[1,2,3],[4,5,6],[7,8,9]])想找到元素6的下标号

137.5007

1

0

0

关注作者

收藏

LXM21

python怎么在输出变量时加上引号

a=3print (a)在打印时，将3的值的输出为'3'将数值型转换为字符串型方法:

10.1140

1

0

0

关注作者

收藏

LXM21

python中的%a是什么意思？

python中的%a是什么意思？字符串的格式化使用%操作符格式化字符串时，Python使用一个字符串作为模板。模板中有格式符（如%s和%d），这些格式符为真实值预留位置，并说明真实数值应该呈现的格式。Python用一个tuple将多个值传递给模板，每个值对应一个格式符。

137.5007

1

0

0

关注作者

收藏

LXM21

python字典增加键值对的方式

通过键直接赋值方式二 dict.setdefault()

10.1140

1

0

0

关注作者

收藏

<1…282930…39>

CDA考试动态

CDA报考指南