2018-11-28
阅读量:
792
爬虫怎么贴加headers
在请求头中, User-Agent 项会记录用户的使用系统和浏览器版本,如果使用python请求, 则网站能够得知用户在使用爬虫程序访问, 可能会禁止你继续访问.
所以我们编写爬虫的时候, 通常会手动添加Headers, 改成正常浏览器的User-Agent 内容, 伪装成一个普通的用户
headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.62 Safari/537.36'}
r = requests.get('http://httpbin.org/get',headers=headers)
print(r.text)
0.0000
1
3
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2024-10-29
0条评论
CDA持证人阿涛哥
2024-04-14
0条评论
CDA持证人阿涛哥
2024-04-01
1条评论
