Python-数据科学专业问答社区-CDA答疑社区

热线电话：13121318867

登录

马锦涛

scrapy中pipeline如何处理数据？

清理数据。验证数据的有效性。查重并丢弃。将数据按照自定义的格式存储到文件中。将数据保存到数据库中。

0.0000

0

0

0

关注作者

收藏

马锦涛

使用ItemLoader填充数据？

目前为止我们爬取的数据的字段较少，但是当项目很大，提取的字段数以百计时，数据的提取规则也会越来越多，再加上还要对提取到的数据做转换处理，代码就会变得庞大，维护起来十分困难。为了解决这个问题，Scrapy提供了项目加载器（ItemLoader）这样一个填充容器。通过填充容器，可以配置Item中各个字段的提取规则，并通过函数分析原始数据，最后对Item字段赋值，使用起来非常便捷。2、Item和Item

0.0000

0

0

0

关注作者

收藏

马锦涛

什么是scrapy的item方法？

1、 Item对象是一个简单的容器，用于收集抓取到的数据，其提供了类似于字典（dictionary-like）的API，并具有用于声明可用字段的简单语法。2、优点：类QidianHotItem继承于Scrapy的Item类。name、author、type和form为小说的各个字段名。scrapy.Field()生成一个Field对象，赋给各自的字段。Field对象用于指定每个字段的元数据，

0.0000

0

0

0

关注作者

收藏

马锦涛

scrapy如何封装数据？

们使用Spider从页面中提取数据的方法，并且将提取出来的字段保存于字典中。字典使用虽然方便，但也有它的缺陷：字段名拼写容易出错且无法检测到这些错误。返回的数据类型无法确保一致性。不便于将数据传递给其他组件（如传递给用于数据处理的pipeline组件）。所以我们可以使用item封装数据

0.0000

0

0

0

关注作者

收藏

马锦涛

如何使用Spider提取数据？

Response用来描述一个HTTP响应，它只是一个基类。当下载器下载完网页后，下载器根据HTTP响应头部的Content-Type自动创建Response的子类对象。子类主要有：TextResponseHtmlResponse XmlResponse

0.0000

0

0

0

关注作者

收藏

马锦涛

使用Spider怎样提取数据？

Scrapy提取数据有自己的一套机制，被称作选择器（Selector类），它能够自由“选择”由XPath或CSS表达式指定的HTML文档的某些部分。Scrapy的选择器短小简洁、解析快、准确性高，使用其内置的方法可以快速地定位和提取数据。

0.0000

0

0

0

关注作者

收藏

马锦涛

Request对象参数有哪些？

参数说明urlHTTP请求的网址methodHTTP请求的方法，如“GET”、“POST”、“PUT”等，默认为“GET”，必须大写。bodyHTTP的请求体，类型为str或unicode。headersHTTP的请求头，字典型。cookies请求的Cookie值，字典型或列表型，可以实现自动登录的效果。encoding请求的编码方式，默认为UTF-8。callback指定回调函数，即确定页面解析

0.0000

0

0

0

关注作者

收藏

马锦涛

如何避免爬虫被网站识别出来导致被禁呢？

可以重写（override）start_requests()方法，手动生成一个功能更强大的Request对象。因为伪装浏览器、自动登录等功能都是在Request对象中设置的。

0.0000

0

0

0

关注作者

收藏

马锦涛

引擎是怎么知道要将下载好的页面发送给parse()方法而不是其他方法？能否自定义这个方法？

引擎之所以能自动定位，是因为在Request对象中，指定了解析数据的回调函数，而默认情况下，Request指定的解析函数就是parse()方法。

0.0000

0

0

0

关注作者

收藏

马锦涛

Scrapy执行流程

第①步：爬虫（Spider）使用URL（要爬取页面的网址）构造一个请求（Request）对象，提交给引擎（ENGINE）。如果请求要伪装成浏览器，或者设置代理IP，可以先在爬虫中间件中设置，再发送给引擎。第②步：引擎将请求安排给调度器，调度器根据请求的优先级确定执行顺序。第③步：引擎从调度器获取即将要执行的请求。第④步：引擎通过下载器中间件，将请求发送给下载器下载页面。第⑤步：页面完成下载后，下载

0.0000

0

0

0

关注作者

收藏

马锦涛

return和yield返回的结果有什么区别？

1、rutnrn返回的结果后，程序就停止运行了2、yield返回结果后，程序会继续运行

75.4669

1

0

0

关注作者

收藏

马锦涛

一个scrapy流程一般是怎样的？

新建项目-》进入项目-》新建爬虫文件-》明确抓取的内容，写item-》写爬虫程序，爬取数据-》交给管道处理数据-》调整全局配置setting-》执行爬虫程序，可以通过终端或者在程序里写一个run程序

0.0000

0

0

0

关注作者

收藏

马锦涛

如何创建一个scrapy 项目

1、在命令行中输出scrapy crawl 爬虫名2、这个命令会自动在当前目录创建一个项目它是由多个文件夹组成，每个文件夹对应一个scrapy的组件，我们可以在各个组件完成各自代码的编写

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的Scrapy中间件？

1、中间件分为两种，分别为爬虫中间件和下载器中间件，其中最重要的是下载器中间，他可以获取引擎传来信息，并且对于数据进行处理，比如设置响应时间。2、同时他也可以获取下载器的信息，进行处理

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的Scrapy引擎(Scrapy Engine)？

1、Scrapy引擎是整个框架的核心.它用来控制调试器、下载器、爬虫。实际上，引擎相当于计算机的CPU,它控制着整个流程。2、引擎负责将整个scrapy串联起来，相当于军队里面的作战指挥室，

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的实体管道(Item Pipeline):？

1、实体管道，用于处理爬虫(spider)提取的实体。主要的功能是持久化实体、验证实体的有效性、清除不需要的信息2、管道实际上是一个对于数据进行处理的程序，例如对于数据缺失值进行填充，将图片链接直接变成图片

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的爬虫（Spider）？

1、爬虫，是用户最关心的部份。用户定制自己的爬虫(通过定制正则表达式等语法)，用于从特定的网页中提取自己需要的信息，即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面。2、需要注意的是我们在编写完之后会先把请求发送给引擎，然后传递给下载器下载相关数据

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的下载器(Downloader)？

1、下载器，是所有组件中负担最大的，它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂，但效率高，主要的原因是Scrapy下载器是建立在twisted这个高效的异步模型上的(其实整个框架都在建立在这个模型上的)。2、下载器的主要作用是对于爬虫的请求进行响应，把用户需要数据从服务器下载下来，然后传到爬虫或者管道做进一步处理

0.0000

0

0

0

关注作者

收藏

马锦涛

如何理解scrapy里的调度器(Scheduler)？

1、调度器，说白了把它假设成为一个URL（抓取网页的网址或者说是链接）的优先队列，由它来决定下一个要抓取的网址是什么，同时去除重复的网址（不做无用功）。用户可以自己的需求定制调度器。2、用户可能向服务器发送的请求不是一个，而是多个，多个请求如何排序，优先执行哪个请求，这些都是有Scheduler决定。

0.0000

0

0

0

关注作者

收藏

马锦涛

Scrapy基本构成？

(1)、调度器(Scheduler):调度器，说白了把它假设成为一个URL（抓取网页的网址或者说是链接）的优先队列，由它来决定下一个要抓取的网址是什么，同时去除重复的网址（不做无用功）。用户可以自己的需求定制调度器。(2)、下载器(Downloader):下载器，是所有组件中负担最大的，它用于高速地下载网络上的资源。Scrapy的下载器代码不会太复杂，但效率高，主要的原因是Scrapy下载器是建

0.0000

0

1

0

关注作者

收藏

<1…303132…39>

CDA考试动态

CDA报考指南