2021-01-28
阅读量:
448
反爬如何降低请求频率？
降低请求频率的做法，不仅仅是为了避开网站的侦测，更重要的是体现出了一个爬虫专家基本的素质。我们应该对能够获取免费数据心怀感恩，而不是恶意攻击网站，致其带来很大的带宽压力，甚至瘫痪。毕竟还是有许多网站，对爬虫还是比较宽容的。
对于Scrapy框架来说，设置请求的频率（即下载延迟时间）非常简单。在配置文件settings.py中设置DOWNLOAD_DELAY即可，以下代码设置下载延迟时间为3秒，即两次请求间隔3秒。
DOWNLOAD_DELAY = 3#设置下载延迟时间为3秒
0.0000
0
0
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-04-21
0条评论
CDA持证人阿涛哥
2024-12-07
0条评论
CDA持证人阿涛哥
2024-10-26
0条评论