2020-06-22
阅读量:
1111
有哪些反爬虫技术？
以下主要介绍四种方式：
1.通过User-Agent来控制访问
2.通过IP限制来反爬虫：简单的说，就是通过ip代理，从不同的ip进行访问，这样就不会被封掉ip了。可是ip代理的获取本身就是一个很麻烦的事情，网上有免费和付费的，但是质量都层次不齐。如果是企业里需要的话，可以通过自己购买集群云服务来自建代理池。
3.通过JS脚本来防止爬虫：PhantomJS是一个Python包，他可以在没有图形界面的情况下，完全模拟一个”浏览器“，js脚本验证什么的再也不是问题了。
4.通过robots.txt来限制爬虫
参考链接：https://www.cnblogs.com/qiguaideta/p/11589710.html
61.5378
3
2
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2023-06-26
0条评论
CDA持证人阿涛哥
2022-07-20
1条评论