热线电话:13121318867

登录
2018-10-30 阅读量: 882
urllib2 实现下载网页的三种方式
#!/usr/bin/python
# -*- coding: UTF-8 -*-

importcookielib
importurllib2

url = "http://www.baidu.com"
response1 = urllib2.urlopen(url)
print"第一种方法"
#获取状态码,200表示成功
printresponse1.getcode()
#获取网页内容的长度
printlen(response1.read())

print"第二种方法"
request = urllib2.Request(url)
#模拟Mozilla浏览器进行爬虫
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib2.urlopen(request)
printresponse2.getcode()
printlen(response2.read())

print"第三种方法"
cookie = cookielib.CookieJar()
#加入urllib2处理cookie的能力
opener =urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))

urllib2.install_opener(opener)
response3 = urllib2.urlopen(url)
printresponse3.getcode()
printlen(response3.read())
printcookie
0.0000
2
关注作者
收藏
评论(0)

发表评论

暂无数据
推荐帖子