几款优秀制作爬虫的辅助工具

dreamhappy2012

2019-06-27 阅读量: 941

几款优秀制作爬虫的辅助工具

问、几款优秀制作爬虫的辅助工具

答：

由于我是采用python3.6开发的，然后从上文的介绍中，也该知道了一只爬虫是需要从HTML中提取内容，以及需要和网页做交互等。

　　　如果不采用爬虫框架的话，我建议采用:

　　　 BeautifulSoup 库，一款优秀的HTML/XML解析库，采用来做爬虫，

　　　　　　　　　不用考虑编码，还有中日韩文的文档，其社区活跃度之高，可见一斑。

　　　　　　　　　　　[注] 这个在解析的时候需要一个解析器，在文档中可以看到，推荐lxml

　　　 Requests 库，一款比较好用的HTTP库，当然python自带有urllib以及urllib2等库，

　　　　　　　　　但用起来是绝对没有这款舒服的，哈哈

　　　 Fiddler. 工具，这是一个HTTP抓包软件，能够截获所有的HTTP通讯。

　　　　　　　如果爬虫运行不了，可以从这里寻找答案，官方链接可能进不去，可以直接百度下载

爬虫的辅助开发工具还有很多，比如Postman等，这里只用到了这三个，相信有了这些能减少不少开发阻碍。

19.6521

关注作者

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子