2018-11-27
阅读量:
850
怎么搭建Web Scraper？
必需的模块
在BeautifulSoup从类bs4将处理网页的解析。该datetime模块提供日期操作。Tinydb为NoSQL数据库提供API，该urllib3模块用于发出http请求。最后，xlsxwriterAPI用于创建Excel电子表格。
craigslist.py在文本编辑器中打开并添加必要的import语句：
添加全局变量
在import语句之后，添加全局变量和配置选项：
url存储要抓取的网页的URL，并total_added用于跟踪添加到数据库的结果总数。该urllib3.disable_warnings()函数忽略任何SSL证书警告。
0.0000
0
3
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
CDA持证人阿涛哥
2025-05-24
0条评论
CDA持证人阿涛哥
2025-05-14
0条评论
CDA持证人阿涛哥
2024-10-29
0条评论