热线电话:13121318867

登录
首页大数据时代scrapy是什么?如何进行安装?
scrapy是什么?如何进行安装?
2020-07-15
收藏

scrapy一个开源和协作的框架,最初的设计目的为:页面抓取(更准确来说是网络抓取),因此scrapy能够以简便、快捷·、可扩展的方式从网站中提取所需的信息。现阶段scrapy的应用十分广泛,能够用于挖掘、监测和自动化测试等许多领域,也可以被用在API所返回的数据,就像:Amazon Associates Web Services,或者通用的网络爬虫等方面。  scrapy是基于twisted框架而开发出来的,twisted是一个流行的事件驱动的python网络框架,所以通过利用一种非阻塞(又被称为异步)的代码来实现并发。

一、scrapy架构

scrapy框架主要由以下·六大组件组成:调试器(Scheduler)、下载器(Downloader)、爬虫(Spider)、中间件(Middleware)、实体管道(Item Pipeline)和Scrapy引擎(Scrapy Engine)

1、Scrapy Engine(引擎): 主要负责控制所有组件间的数据流,并在相应动作触发事件时进行处理。

2、Scheduler(调度器): 调度器从引擎接受请求,并将这些请求放入队列中,并在之后返回给引擎。

3、Downloader(下载器): 下载器负责根据引擎的请求,获取页面数据并反应给引擎,之后提供给spider。

4、Spider(爬虫): 每一个spider负责处理一个(或一些)特定网站,Spider发出请求,并对引擎返回给它下载器响应数据进行处理,以items和规则内的数据请求(urls)返回给引擎。

5、Item Pipeline(管道): Item Pipeline负责处理被spider提取出来的数据,并将数据持久化。

6、Downloader Middlewares(下载中间件): 下载器中间件是在引擎及下载器之间的交互组件,也被称为特定钩子(specific hook),能够代替接收请求、处理数据的下载, 并将结果提供给引擎。

7、Spider Middlewares(Spider中间件): Spider中间件是在引擎及Spider之间的特定钩子(specific hook),处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制,通过插入自定义代码来扩展Scrapy功能。

二、scrapy安装

windows环境配置

scrapy依赖包(或者到官网单独下载各文件安装):

1.lxml: pip install wheel

2.zope.interface:pip install zope.interface-4.3.3-cp35-cp35m-win_amd64.whl

3.pyOpenSSL:pip install pyOpenSSL

4.Twisted:pip install Twisted

5.Scrapy:pip install Scrapy

如果还没安装,Anoconda+Pycharm+Scrapy Anaconda,先到http://www.continuum.io/downloads下载对应平台的包安装。如果已经安装,直接通过conda命令安装Scrapy。conda install scrapy

数据分析咨询请扫描二维码

最新资讯
更多
客服在线
立即咨询