怎么搭建Web Scraper？

2018-11-27 阅读量: 601

扫码加入数据分析学习群

必需的模块

在BeautifulSoup从类bs4将处理网页的解析。该datetime模块提供日期操作。Tinydb为NoSQL数据库提供API，该urllib3模块用于发出http请求。最后，xlsxwriterAPI用于创建Excel电子表格。

craigslist.py在文本编辑器中打开并添加必要的import语句：

在import语句之后，添加全局变量和配置选项：

url存储要抓取的网页的URL，并total_added用于跟踪添加到数据库的结果总数。该urllib3.disable_warnings()函数忽略任何SSL证书警告。

添加CDA认证专家【维克多阿涛】，微信号：【cdashijiazhuang】，提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流，共同成长！

0.0000 0 3 踩关注作者收藏

暂无数据

评论(0)