scrapy框架运行的机制_CDA答疑社区

热线电话：13121318867

登录

啊啊啊啊啊吖

2018-11-11 阅读量: 804

scrapy框架运行的机制

从 start_urls 里获取第一批 url 并发送请求，请求由引擎交给调度器入请求队列，获取完毕后，调度

器将请求队列里的请求交给下载器去获取请求对应的响应资源，并将响应交给自己编写的解析方法做提

取处理：

1. 如果提取出需要的数据，则交给管道文件处理；

2. 如果提取出 url，则继续执行之前的步骤（发送 url 请求，并由引擎将请求交给调度器入队列...)，

直到请求队列里没有请求，程序结束。

0.0000

0

4

关注作者

收藏

评论(0)

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子