scrapy框架运行的机制

2018-11-11 阅读量: 605

数据分析师 Python数据分析 Python编程

扫码加入数据分析学习群

从 start_urls 里获取第一批 url 并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度

器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提

取处理：

1. 如果提取出需要的数据，则交给管道文件处理；

2. 如果提取出 url，则继续执行之前的步骤（发送 url 请求，并由引擎将请求交给调度器入队列...)，

直到请求队列里没有请求，程序结束。

添加CDA认证专家【维克多阿涛】，微信号：【cdashijiazhuang】，提供数据分析指导及CDA考试秘籍。已助千人通过CDA数字化人才认证。欢迎交流，共同成长！

0.0000 0 4 踩关注作者收藏

暂无数据

评论(0)