为什么你的Python爬虫经常被封？

wangjuju123

2018-10-30 阅读量: 955

为什么你的Python爬虫经常被封？

如果你一直被网站封杀却找不到原因，那么这篇文章获取能帮助到你。今天小编重点给大家讲一下，网络爬虫被封的常见原因。

　　一、检查JavaScript

　　如果出现页面空白、缺少信息情况，很有可能是因为网站创建页面的JavaScript出现问题。

　　二、检查cookie

　　如果出现登录不了、无法保持登录状态情况，请检查你的cookie.

　　三、IP地址被封

　　如果出现页面无法打开、403禁止访问错误，很有可能是IP地址被网站封禁，不再接受你的任何请求。你可以等待IP地址从网站黑名单里移除，也可以选择使用像代理云这种代理IP资源，一旦出现IP被封情况，可以随时更换新的IP来解决。

　　除上述三点以外，在进行Python爬虫抓取页面信息时还应尽量放慢速度，过快的采集，不仅更容易被反爬虫阻拦，还会对网站造成沉重负担。尽量给你的爬虫增加延迟，尽量让它们在夜深人静时运行，这是一种网络美德。

0.0000

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子